[3D CV] RANSAC

[Blog]

본 포스트는 위 블로그 내용을 참조하여 정리한 내용임을 밝힙니다.

RANSAC의 장단점

① RANSAC의 가장 큰 장점은 outlier에 강건한 모델이라는 점입니다. 이 장점이 RANSAC을 사용하는 가장 큰 이유이기도 합니다. 따라서 outlier가 어느 정도 섞여있어도 그것들을 무시하고 모델링 할 수 있습니다.

② RANSAC은 outlier에 강건한 모델을 설계하는 방법 중 가장 쉬운 방법입니다. inlier의 갯수만 세면 되기 때문에 구현도 쉽고 어떠한 모델이라도 적용하기도 쉽습니다.

반면 ① RANSAC은 랜덤 샘플이라는 방법을 이용하므로 Non-deterministic하다는 단점이 있습니다. 즉, 같은 데이터 셋을 이용하여 모델링하더라도 매번 실행 결과가 다를 수 있다는 것입니다. 이 점은 관점에 따라서 RANSAC의 장점이 될 수도 있고 단점이 될 수도 있다고 생각합니다. 하지만 모델의 재현성 관점에서는 단점이라고 볼 수 있습니다.

두번째 단점은 RANSAC의 가장 치명적인 단점입니다. 만약 outlier가 노이즈 처럼 생기지 않고 특정 분포를 가지게 되면 모델이 outlier를 fitting 할 수 있습니다. 따라서 데이터 셋을 미리 확인하고 outlier가 얼만큼 있는 지와 outlier가 특정 패턴 및 분포를 가지는 지 사전에 확인하는 것은 매우 중요합니다. 만약 특정 분포를 가진다면 오히려 다른 방법으로 outlier를 사전에 제거하는 것도 좋은 접근이 될 수 있기 때문입니다. 또한 RANSAC은 threshold 파라미터에 큰 영향을 받는다는 단점이 있습니다. threshold를 너무 작게 설정하면 모델이 안정적으로 fitting이 되지 않을 수 있고 데이터의 변화에 민감하게 반응합니다. 반면 threshold를 크게 잡으면 outlier까지 inlier로 판단할 수 있으므로 모델이 정상적으로 fitting할 수 없게됩니다. 뿐만 아니라 inlier의 분포가 계속 변하게 된다면 threshold 기준 또한 adaptive하게 변해야 할 수 있습니다. 이러한 모든 것들을 반영하여 threshold를 정하는 것이 어렵다는 것이 RANSAC의 주요 단점 중의 하나입니다.

마지막으로 RANSAC은 Loss를 기반으로 동작하는 L1, L2 Loss와는 다르게 Loss를 기반으로 모델 fitting을 하지 않습니다. 이러한 동작 방식이 다른 알고리즘과 연계되어 한번에 Loss를 계산하는 pipeline에 연결시킬 수 없다는 점이 단점이 될 수 있습니다. 왜냐하면 다양한 알고리즘이 머신러닝, 딥러닝 방식의 학습 방식으로 이루어지기 때문에 같은 pipeline으로 연결할 수 있으면 한번에 전체 pipeline을 학습할 수 있어서 효율적이기 때문입니다.

Computer Vision에서의 RANSAC 활용

컴퓨터 비전에서 RANSAC을 사용하는 대표적인 사례는 유사한 2개의 이미지에서 같은 위치를 나타내는 점들을 이용하여 homography H 행렬을 구하거나 fundamental matrix 등을 구하는 것에 많이 사용됩니다. 왜냐하면 각각의 이미지에서 같은 위치의 점인 Feature point를 찾고 어떤 점이 같은 점인 지 매칭을 해주는 Feature matching 단계까지 outlier들이 많이 발생하기 때문입니다. 따라서 outlier에 강건한 RANSAC을 많이 사용합니다. 다음 2가지 예제를 살펴보도록 하겠습니다.

위 예제에서는 2개의 이미지를 이어붙이는 이미지 스티칭을 위하여 연결해야 하는 지점을 찾은 후 오른쪽 이미지를 왼쪽 이미지에 이어 붙일 수 있도록 변환하는 homography를 찾는 과정으로 볼 수 있습니다. 2번째 과정에서의 feature matning 결과를 보면 잘 연결이 된 점들도 있지만 연결이 잘못된 outlier들도 생긴것을 볼 수 있습니다. 이러한 점들을 제거한 후 homography를 구하고자 RANSAC을 사용합니다.

이번 예제도 앞의 예시와 유사합니다. 촬영 위치가 다른 2개의 이미지에서 같은 이미지 지점을 찾는 것이 목적이 됩니다. 따라서 feature point를 추출하여 이미지 상의 어떤 지점을 기준으로 같은 이미지 지점을 비교할 지 정합니다. 그 다음 feature matching을 이용하여 feature들을 연결한 것이 두번째 그림입니다. 이번 예시에서도 잘 연결된 feature들이 있지만 잘못 연결된 점들도 보입니다. 이러한 점들을 inlier, outlier로 구분하여 필요한 inlier를 사용하는 것이 RANSAC의 실제 사용 사례가 될 수 있습니다.

Homography is a subset of Projective Transformation

Homography와 Projective Transformation의 주요 차이점은 스케일 변환과 회전에 있습니다.

1) Homography는 보통 두 개의 2D 평면 사이의 변환을 나타내는 데 사용되며, 이 변환은 평행선을 포함하여 선의 평행성을 유지합니다. 즉, 스케일 변환과 회전을 포함하지 않습니다.

2) 반면에 Projective Transformation은 스케일 변환과 회전을 포함한 3D 공간의 한 점을 다른 3D 공간의 한 점으로 변환합니다.

따라서 Projective Transformation은 Homography보다 일반적인 변환을 나타내며, 3D 공간에서의 위치 및 방향을 변환할 수 있습니다.

Homography와 [R|t]의 차이

Homography를 구한다는 것은 두 이미지 간의 관계를 나타내는 변환 행렬을 찾는 것을 의미합니다. 이 변환 행렬은 한 이미지의 좌표를 다른 이미지의 좌표로 매핑하는 데 사용됩니다. 주로 평면에 있는 물체의 이미지나 같은 평면에 투영되는 물체의 이미지 간의 관계를 설명할 때 사용됩니다.

이를 구현할 때는 일반적으로 여러 대응점(예: 두 이미지에서 서로 대응하는 점)을 사용하여 계산합니다. 대응점들을 통해 최소한 4개의 점을 사용하여 3x3 크기의 homography 행렬 H를 구할 수 있습니다.

반면, [R|t]는 회전(Rotation)과 이동(Translation)을 나타내는 것으로, 주로 3D 공간에서의 변환을 설명할 때 사용됩니다. 이는 객체나 카메라가 3D 공간에서 어떻게 움직이는지를 나타내며, 특히 스테레오 비전이나 3D 재구성에서 중요합니다.

Homography는 주로 2D 이미지 평면에서의 관계를 설명하고, [R|t]는 3D 공간의 변환을 다룹니다.

Homography는 평면 내에서의 변환을 포괄할 수 있지만, 3D 회전과 이동을 직접적으로 설명하지는 않습니다. 따라서 두 개념은 서로 관련은 있으나, 다루는 차원과 적용 분야에서 차이가 있습니다.