EmbPASS: 교차 임바디먼트 개방형 파노라마 분할을 향하여
EmbPASS: Towards Cross-Embodiment Open Panoramic Segmentation
파노라마 이미지는 완전한 360도 시야각을 제공하여 임바디드 지각(embodied perception)을 위한 종합적인 장면 이해를 가능하게 합니다. 그러나 서로 다른 이종 임바디드 플랫폼들은 관측 시점과 공간적 배치에서 상당한 차이를 보여 교차 임바디먼트 관측 변화(cross-embodiment observation shift)를 야기하며, 이는 일관되고 신뢰할 수 있는 파노라마 지각에 추가적인 문제를 제기하지만 이 문제에 대한 체계적인 연구는 여전히 제한적입니다. 이러한 격차를 해소하기 위해, 본 논문에서는 교차 임바디먼트 개방형 파노라마 분할(Cross-Embodiment Open Panoramic Segmentation)이라는 새로운 과제를 도입합니다. 아울러 통합된 시맨틱 분류 체계 아래 차량(Vehicle), 드론(Drone), 웨어러블(Wearable), 사족보행 로봇(Quadruped) 플랫폼을 아우르는 다중 플랫폼 파노라마 시맨틱 분할 벤치마크인 EmbPASS를 구축하여, 교차 임바디먼트 파노라마 지각을 체계적으로 연구할 수 있는 테스트베드를 제공합니다. 나아가 이종 임바디드 관측 환경에서 공간 모델링과 의미론적 전이를 강화하기 위해 관계 인식 메트릭 어댑터(RAMA)와 콘텐츠 적응형 시맨틱 전이(CAST)를 통합한 개방형 어휘(open-vocabulary) 파노라마 시맨틱 분할 네트워크인 EPONet을 제안합니다. 광범위한 실험을 통해 EPONet이 EmbPASS에서 35.82%의 mIoU로 가장 플랫폼 균형 잡힌 성능을 달성하여 가장 강력한 기준선(baseline) 대비 1.10% 우수한 성능을 보임과 동시에 기존 파노라마 분할 벤치마크에서도 경쟁력을 유지함을 보여줍니다. 소스 코드와 EmbPASS 벤치마크는 https://github.com/guopj1/EmbPASS 에서 공개될 예정입니다.