R-CNN 계열 객체 탐지 모델의 발전: R-CNN부터 Mask R-CNN까지

객체 탐지 및 이미지 분할 분야에서 R-CNN(Region-based Convolutional Neural Networks) 계열 모델은 중요한 발전을 이끌었다. 이 계열은 R-CNN(2014)을 시작으로 Fast R-CNN(2015), Faster R-CNN(2016)을 거쳐 Mask R-CNN(2017)에 이르기까지, 초기 모델의 한계를 극복하며 속도와 정확도를 지속적으로 개선하고 적용 범위를 확장했다. 각 모델은 이전 버전의 병목 현상을 해결하며 더욱 효율적이고 강력한 컴퓨터 비전 솔루션을 제시한다.

R-CNN은 이미지 내 객체 영역 후보를 식별하고 각 영역에서 CNN 특징을 추출하여 분류하는 두 단계 접근 방식을 사용한다. 먼저, 선택적 탐색(selective search) 알고리즘을 통해 이미지당 약 2,000개의 객체 영역 후보(Region of Interest, RoI)를 제안한다. 이후, 이미지 분류 작업으로 사전 학습된 CNN(예: ImageNet으로 학습된 VGG 또는 ResNet)을 활용하여 각 RoI에서 특징 벡터를 추출한다. 추출된 특징 벡터는 각 클래스에 대해 독립적으로 학습된 이진 SVM(Support Vector Machine) 분류기를 통해 객체 여부를 판단한다. 또한, 예측된 바운딩 박스의 위치 오류를 수정하기 위해 CNN 특징을 사용하는 회귀 모델이 학습된다. 이 과정에서 동일 객체에 대한 중복 탐지를 줄이기 위해 비최대 억제(Non-Maximum Suppression, IoU 임계값 0.5 초과 시 제거)와 분류기 성능 향상을 위한 하드 네거티브 마이닝(Hard Negative Mining)과 같은 기법이 적용된다.

R-CNN은 객체 탐지 분야에 CNN을 성공적으로 도입했지만, 여러 단계에서 속도 병목 현상을 겪었다. 첫째, 이미지당 2,000개의 영역 후보를 제안하는 선택적 탐색 과정이 많은 시간을 소모한다. 둘째, 각 영역 후보에 대해 CNN 특징 벡터를 독립적으로 생성해야 하므로, 동일 이미지의 중복된 영역에 대한 계산이 반복되어 비효율적이다. 셋째, 이미지 분류를 위한 CNN, 객체 식별을 위한 SVM 분류기, 바운딩 박스 조정을 위한 회귀 모델 등 세 가지 모델이 별도로 학습되고 통합된 계산 공유가 부족하여 전체 학습 및 추론 과정이 느리다. 이러한 한계는 R-CNN의 실시간 적용을 어렵게 만들었다.

Fast R-CNN은 R-CNN의 속도 병목 현상을 해결하기 위해 세 가지 독립적인 모델을 하나의 통합된 프레임워크로 결합하고 계산 공유를 늘렸다. 이 모델은 전체 이미지에 대해 단 한 번의 CNN 순방향 전달을 수행하여 특징 맵을 생성하고, 이 특징 맵을 모든 영역 제안이 공유하도록 한다. 핵심 개선 사항은 RoI 풀링(RoI Pooling) 계층의 도입이다. RoI 풀링은 다양한 크기의 투영된 이미지 영역 특징을 고정된 크기(H x W)의 특징 벡터로 변환한다. 이는 입력 영역을 H x W 그리드로 나누고 각 그리드에서 최대 풀링을 적용하여 이루어진다. Fast R-CNN의 워크플로우는 사전 학습된 CNN의 마지막 최대 풀링 계층을 RoI 풀링 계층으로 대체하고, 마지막 완전 연결 계층과 소프트맥스 계층을 K+1 클래스(배경 포함)에 대한 소프트맥스 추정기와 K개 클래스 각각에 대한 바운딩 박스 회귀 모델로 분기하는 방식으로 구성된다. 모델은 분류 손실($\mathcal{L}_\text{cls}$)과 바운딩 박스 손실($\mathcal{L}_\text{box}$)을 결합한 다중 작업 손실 함수로 최적화되며, 바운딩 박스 손실에는 이상치에 덜 민감한 smooth L1 손실 함수가 사용된다.

Fast R-CNN은 R-CNN에 비해 학습 및 테스트 시간을 크게 단축했지만, 여전히 속도 개선에 한계가 있었다. 이는 영역 제안(region proposal) 단계가 여전히 선택적 탐색과 같은 외부 알고리즘에 의존했기 때문이다. 선택적 탐색은 여전히 계산 비용이 높은 과정으로 남아 있었고, 이로 인해 전체 시스템의 실시간 성능 향상에는 제약이 따랐다. 즉, CNN 내부에서 특징 추출 및 분류는 빨라졌지만, 객체 후보 영역을 찾는 과정은 여전히 외부에서 독립적으로 수행되어 전체 파이프라인의 병목 현상으로 작용했다.

Faster R-CNN은 영역 제안 알고리즘을 CNN 모델 내부에 통합하여 Fast R-CNN의 한계를 극복했다. 이 모델은 RPN(Region Proposal Network)과 Fast R-CNN을 공유된 컨볼루션 특징 계층으로 구성된 단일 통합 모델로 결합한다. RPN은 전체 이미지의 컨볼루션 특징 맵 위로 작은 n x n 공간 윈도우를 슬라이딩하며 작동한다. 각 슬라이딩 윈도우의 중심에서 다양한 스케일과 비율을 가진 여러 영역(앵커)을 동시에 예측한다. 예를 들어, 3가지 스케일과 3가지 비율을 조합하여 각 위치에서 9개의 앵커를 생성한다. 학습은 RPN과 Fast R-CNN을 번갈아 가며 미세 조정하는 방식으로 이루어지며, 이 과정에서 컨볼루션 계층은 공유된다. RPN 학습 시에는 IoU가 0.7을 초과하는 샘플을 양성으로, 0.3 미만인 샘플을 음성으로 간주한다. Faster R-CNN의 손실 함수는 분류 손실과 바운딩 박스 회귀 손실을 결합한 다중 작업 손실 함수를 사용하며, RPN의 분류 손실은 이진 교차 엔트로피 손실로, 바운딩 박스 회귀 손실은 smooth L1 손실로 구성된다. 이 손실 함수는 미니 배치 크기($N_\text{cls}$ 약 256)와 앵커 위치 수($N_\text{box}$ 약 2400)로 정규화되며, 분류와 회귀 손실의 균형을 맞추기 위해 $\lambda$ 값(약 10)이 사용된다.

Mask R-CNN은 Faster R-CNN을 픽셀 단위 이미지 분할(instance segmentation)로 확장한 모델이다. 이 모델은 Faster R-CNN 프레임워크에 객체 마스크 예측을 위한 세 번째 브랜치를 추가하여 분류 및 위치 파악과 병렬로 작동하도록 한다. 마스크 브랜치는 각 RoI에 적용되는 작은 완전 연결 네트워크로, 픽셀 단위로 분할 마스크를 예측한다. 픽셀 수준의 정밀한 정렬이 요구되므로, Mask R-CNN은 RoI 풀링 계층을 개선한 RoIAlign 계층을 도입한다. RoIAlign은 RoI 풀링에서 발생하는 양자화(quantization)로 인한 위치 불일치를 해결한다. 예를 들어, [x/16] 대신 x/16을 사용하여 추출된 특징이 입력 픽셀과 정확히 정렬되도록 하며, 부동 소수점 위치 값을 계산하기 위해 이중 선형 보간법(bilinear interpolation)을 사용한다. Mask R-CNN의 다중 작업 손실 함수는 분류 손실($\mathcal{L}_\text{cls}$), 바운딩 박스 손실($\mathcal{L}_\text{box}$), 그리고 마스크 손실($\mathcal{L}_\text{mask}$)을 결합한다. $\mathcal{L}_\text{cls}$와 $\mathcal{L}_\text{box}$는 Faster R-CNN과 동일하며, $\mathcal{L}_\text{mask}$는 각 클래스에 대해 m x m 크기의 마스크를 생성하고, 해당 영역이 실제 클래스 k와 연관될 때만 k번째 마스크를 포함하는 평균 이진 교차 엔트로피 손실로 정의된다.

R-CNN 계열 모델의 발전은 객체 탐지 및 이미지 분할 기술의 중요한 이정표를 제시한다. R-CNN은 영역 기반 접근 방식의 가능성을 열었고, Fast R-CNN은 계산 효율성을 크게 향상시켰다. Faster R-CNN은 영역 제안 과정을 네트워크 내부에 통합하여 실시간 객체 탐지의 기반을 마련했으며, Mask R-CNN은 이를 픽셀 단위의 정교한 인스턴스 분할로 확장했다. 각 모델은 이전 모델의 핵심 병목 현상을 해결하며, 특징 공유와 통합된 학습 프레임워크를 통해 성능과 효율성을 지속적으로 개선했다. 이러한 발전은 개발자들이 더욱 정확하고 효율적인 컴퓨터 비전 시스템을 구축할 수 있는 강력한 툴킷을 제공하며, 자율 주행, 의료 영상 분석, 로봇 공학 등 다양한 분야에서 객체 인식 및 이해 능력을 향상시키는 데 기여한다.