어안 렌즈(fisheye) 카메라는 이동 로봇에게 단일 센서 기반의 저비용 주변 시야를 제공하지만, 실무에서 흔히 재사용되는 COCO 사전학습 탐지기는 이러한 카메라에서 제대로 작동하지 않는다. 강한 방사 왜곡(radial distortion)이 국소적 이미지 구조를 뒤틀리게 하고 경계부 압축으로 인해 객체가 거의 보이지 않는 크기로 줄어들기 때문이다. 전체 미세조정(fine-tuning)을 수행하면 이러한 격차를 크게 줄일 수 있지만 대량의 어안 라벨과 연산 자원이 필요하다. 본 논문에서는 백본(backbone)이 동결된 COCO 사전학습 초대형 YOLO26 탐지기(YOLO26-x)를 어안 탐지기로 전환하는 경량 학습 프레임워크인 FUSEye를 제안한다. FUSEye는 삽입된 모듈과 사전학습된 탐지 헤드를 업데이트하면서 약 22만 7천 개의 새로운 파라미터만을 추가한다. 또한 인과적으로 연결된 세 가지 수준에서 전이 격차를 해결한다. 입력 수준에서는 중첩 그리드 뷰 생성 및 박스 재매핑(GridViews)을 통해 압축된 경계 영역을 확대한다. 특징(feature) 수준에서는 제로 초기화 잔차 어댑터(Z-Adapters)가 왜곡으로 인해 유발된 특징 불일치를 교정한다. 결정 수준에서는 학습된 교차 투영 일치도 융합(AgreeFusion)을 통해 여러 뷰에 걸쳐 일관된 근거로 뒷받침되는 경우에만 낮은 신뢰도의 탐지 결과를 승격시킨다. WoodScape 서라운드 뷰 어안 벤치마크에서 FUSEye는 YOLO26-x의 mAP50을 0.148에서 0.266으로 끌어올렸으며 전체 미세조정 정확도의 84.3%를 유지했다. 나아가 라벨링된 학습 이미지의 25%만 무작위로 사용했을 때도 0.2597 mAP50을 달성하여 전체 라벨 사용 성능의 97.6%를 보존했다. 또한 FUSEye는 YOLOv8부터 YOLO11까지의 탐지기 성능을 일관되게 향상시켜 이 기법이 아키텍처에 구애받지 않음을 보였다. 소스 코드는 https://github.com/Su-wenya/FUSEye 에서 공개될 예정이다.
다중 피시아이 카메라 리그를 이용한 전방위 깊이 추정은 가시성 충돌로 인해 복잡해진다. 광폭 기선(wide baseline)은 카메라마다 동일 객체의 서로 다른 부분, 심지어 다른 면을 관측하게 만들어, 고정 투영 방식으로 이들 특징을 통합 등장방형(ERP) 표현으로 집계하면 폐색 경계 및 얇은 구조물 근처에서 모호한 매칭 근거가 발생한다. 기존 방법들은 신뢰도 낮은 뷰의 가중치를 줄여 이를 완화하지만, 컨텍스트 형성과 교차 뷰 융합이 여전히 고정된 피시아이-ERP 샘플링에 종속되어 있어 근본적인 불일치는 해소하지 못한다. 본 논문에서는 동적 컨텍스트 융합과 합의 기반 다중 뷰 유사도를 결합함으로써 경직된 집계 방식을 대체하는 반복적 깊이 정제 프레임워크 OmniDS를 제안한다. 이중 스트림 인코더는 기하학적 세부 정보를 위한 경량 CNN과 의미론적 사전(prior) 제공을 위한 고정된 DINOv3를 결합하며, 각 정제 단계에서 학습된 뷰 가중치와 기하학적 왜곡 바이어스를 적용한 변형 가능 교차 어텐션을 통해 특징을 ERP 공간으로 재투영한다. 동시에, 다중 뷰 합의 볼륨은 그룹별 상관관계와 특징 분산을 통해 카메라 간 전역 합의를 포착하며, 3D U-Net으로 정규화된다. 효율적인 배포를 위해 이중 스트림 표현을 단일 MobileNet 기반 인코더로 지식 증류한다. OmniDS는 OmniThings, OmniHouse, Sunny 벤치마크에서 최첨단 성능을 달성하는 동시에 경쟁력 있는 추론 속도를 유지한다. 프로젝트 페이지 및 코드는 https://parkchaesong.github.io/omnids 에서 확인할 수 있다.
DUSt3R, MASt3R, VGGT, $π^3$, Depth Anything 3와 같은 최근 3D 기반 모델들은 핀홀 이미지에서 강력한 피드포워드 깊이 및 포즈 추정을 제공하지만, 피시아이 카메라 기하학에서는 성능이 급격히 저하된다. 본 연구는 이러한 실패가 부분적으로 사전학습된 3D 기반 모델의 위치 인코딩에 내재된 핀홀 카메라 바이어스에 기인함을 보이고, 경량 카메라 적응 접근법인 RayTun3R을 제안한다. RayTun3R은 사전학습된 네트워크를 고정한 채 토큰 위치 및 카메라 기하학과 연관된 경량 구성요소만 적응시킨다. 이 방법은 절대적 위치 인코딩과 회전 위치 인코딩에 대한 매개변수 효율적인 잔차 보정을 학습하며, 잔여 핀홀 가정을 제거하는 매개변수 없는 토큰화 및 예측 그리드 좌표 보정을 함께 수행한다. 결과로 얻는 어댑터는 학습 가능한 매개변수가 10,752개에 불과하며, 기하학적 손실을 이용해 짧은 시간 구간에서 학습할 수 있다. 적응 후 RayTun3R은 추가적인 런타임 비용 없이 시퀀스의 나머지 프레임에 효과적으로 전이된다. 시야각이 $110^\circ$에서 $200^\circ$까지 다양한 피시아이 데이터셋에서, 본 어댑터는 적응되지 않은 모델 대비 회전 오차를 $2$~$12$배 감소시키고, 학습 가능한 매개변수를 약 $14$배 적게 사용하면서도 LoRA를 능가하며, 다중 뷰 추론 비용을 회피하면서도 적응 없는 기준선보다 포즈 성능을 향상시키고, 깊이 정확도에서도 경쟁력을 유지한다.