[Registration] LIFT: Learned Invariant Feature Transform

Reference

특징 추출을 이용한 이미지 매칭 기술의 최근 동향 분석

SuperPoint: Self-Supervised Interest Point Detection and Description

On the other end, LIFT [32], a recently introduced convolutional replacement for SIFT stays close to the traditional patch-based detect then describe recipe. The LIFT pipeline contains interest point detection, orientation estimation and descriptor computation, but additionally requires supervision from a classical SfM system.

LIFT(Learned Invariant Feature Transform)는 딥러닝 기반의 특징점 추출 및 매칭 기법입니다.

• CNN 기반 구조: Convolutional Neural Network(CNN)를 사용하여 특징점 추출, 방향 추정, 디스크립터 생성을 수행합니다.
• 세 가지 주요 구성 요소:
  • Detector: 특징점 위치 검출
  • Orientation Estimator: 특징점의 방향 추정
  • Descriptor: 특징점 주변 영역의 특성 기술
• 통합 학습: 세 구성 요소를 함께 학습시켜 전체적인 성능을 최적화합니다.
• 데이터 기반 학습: 대량의 데이터를 사용하여 학습하므로 높은 특징점 매칭 정확도와 일반화 성능을 제공합니다.
• 강인성: 스케일, 회전, 시점 변화, 노이즈, 조명 변화 등에 강인한 특징을 추출합니다.
• 패치 기반 처리: 이미지 전체가 아닌 패치 단위로 처리하여 학습의 효율성을 높입니다.

LIFT는 전통적인 SIFT와 유사한 접근 방식을 취하지만, 딥러닝을 활용하여 더 나은 성능을 달성하고자 합니다. 특히 뷰포인트 변화가 큰 경우에도 좋은 성능을 보이는 것이 특징입니다.