[Registration] SuperPoint & MagicPoint
Reference
SuperPoint: Self-Supervised Interest Point Detection and Description
MagicPoint
The MagicPoint architecture is the SuperPoint architecture without the descriptor head.
MagicPoint๋ SuperPoint ์ํคํ ์ฒ์์ descriptor head๋ฅผ ์ ์ธํ ๋ฒ์ ์ผ๋ก, ์ฃผ๋ก ๊ด์ฌ์ (interest point) ๊ฒ์ถ์ ์ด์ ์ ๋ง์ถ ๋ชจ๋ธ์ ๋๋ค.
MagicPoint์ ์ฃผ์ ํน์ง์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค:
- ํฉ์ฑ ๋ฐ์ดํฐ ํ์ต: ๋จ์ํ ๊ธฐํํ์ ๋ํ๋ค๋ก ๊ตฌ์ฑ๋ Synthetic Shapes ๋ฐ์ดํฐ์ ์ ์ฌ์ฉํ์ฌ ํ์ต๋ฉ๋๋ค.
- VGG ์คํ์ผ ์ธ์ฝ๋: ์ด๋ฏธ์ง์ ์ฐจ์์ ์ถ์ํ๊ธฐ ์ํด VGG ์คํ์ผ์ ์ธ์ฝ๋๋ฅผ ์ฌ์ฉํฉ๋๋ค.
- ์ ํต์ ๋ฐฉ์ ๋๋น ์ฐ์ํ ์ฑ๋ฅ: FAST, Harris, Shi-Tomasi์ ๊ฐ์ ์ ํต์ ์ธ keypoint ๊ฒ์ถ๊ธฐ๋ณด๋ค ์ฐ์ํ ์ฑ๋ฅ์ ๋ณด์ ๋๋ค.
- ๋ ธ์ด์ฆ ๊ฐ์ธ์ฑ: ํนํ ๋ ธ์ด์ฆ๊ฐ ์๋ ์ํฉ์์ ์ข์ ์ฑ๋ฅ์ ๋ณด์ ๋๋ค.
- SuperPoint์ ๊ธฐ์ด: MagicPoint๋ ์ค์ ์ด๋ฏธ์ง์ ๋ํ fine-tuning๊ณผ augmentation supervision์ ๊ฑฐ์ณ SuperPoint๋ก ๋ฐ์ ํฉ๋๋ค.
MagicPoint๋ SuperPoint ๊ฐ๋ฐ์ ์ค์ํ ์ฒซ ๋จ๊ณ๋ก, ํฉ์ฑ ๋ฐ์ดํฐ๋ฅผ ํตํด ํ์ต๋ ๊ฐ๋ ฅํ ๊ด์ฌ์ ๊ฒ์ถ๊ธฐ์ ์ญํ ์ ํฉ๋๋ค.
MagicPoint vs SuperPoint(=MagicPoint + Homographic Adaptation)
In summary, the Homographic Adaptation technique used to transform MagicPoint into SuperPoint gives a large boost in repeatability, especially under large viewpoint changes.
SuperPoint๋ ์กฐ๋ช ๋ณํ์ ๊ฐ์ฅ ๋ฐ๋ณต์ ์ผ๋ก ๋์ํ๋ฉฐ, ์์ ๋ณํ์์๋ ๊ฒฝ์๋ ฅ์ ๋ณด์ด๊ณ , ๋ชจ๋ ์๋๋ฆฌ์ค์์ MagicPoint๋ฅผ ๋ฅ๊ฐํฉ๋๋ค.
Leave a comment