PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03248v1cs.CV

EmbPASS: 교차 임바디먼트 개방형 파노라마 분할을 향하여

EmbPASS: Towards Cross-Embodiment Open Panoramic Segmentation

파노라마 이미지는 완전한 360도 시야각을 제공하여 임바디드 지각(embodied perception)을 위한 종합적인 장면 이해를 가능하게 합니다. 그러나 서로 다른 이종 임바디드 플랫폼들은 관측 시점과 공간적 배치에서 상당한 차이를 보여 교차 임바디먼트 관측 변화(cross-embodiment observation shift)를 야기하며, 이는 일관되고 신뢰할 수 있는 파노라마 지각에 추가적인 문제를 제기하지만 이 문제에 대한 체계적인 연구는 여전히 제한적입니다. 이러한 격차를 해소하기 위해, 본 논문에서는 교차 임바디먼트 개방형 파노라마 분할(Cross-Embodiment Open Panoramic Segmentation)이라는 새로운 과제를 도입합니다. 아울러 통합된 시맨틱 분류 체계 아래 차량(Vehicle), 드론(Drone), 웨어러블(Wearable), 사족보행 로봇(Quadruped) 플랫폼을 아우르는 다중 플랫폼 파노라마 시맨틱 분할 벤치마크인 EmbPASS를 구축하여, 교차 임바디먼트 파노라마 지각을 체계적으로 연구할 수 있는 테스트베드를 제공합니다. 나아가 이종 임바디드 관측 환경에서 공간 모델링과 의미론적 전이를 강화하기 위해 관계 인식 메트릭 어댑터(RAMA)와 콘텐츠 적응형 시맨틱 전이(CAST)를 통합한 개방형 어휘(open-vocabulary) 파노라마 시맨틱 분할 네트워크인 EPONet을 제안합니다. 광범위한 실험을 통해 EPONet이 EmbPASS에서 35.82%의 mIoU로 가장 플랫폼 균형 잡힌 성능을 달성하여 가장 강력한 기준선(baseline) 대비 1.10% 우수한 성능을 보임과 동시에 기존 파노라마 분할 벤치마크에서도 경쟁력을 유지함을 보여줍니다. 소스 코드와 EmbPASS 벤치마크는 https://github.com/guopj1/EmbPASS 에서 공개될 예정입니다.

arXiv:2609.22687v1cs.CV

PanoSeg3R: 자동 데이터 큐레이션 파이프라인을 갖춘 파노라마 이미지용 피드포워드 3D 시맨틱 세그멘테이션

PanoSeg3R: Feed-Forward 3D Semantic Segmentation for Panoramic Images with an Automatic Data Curation Pipeline

본 논문은 파노라마 3D 시맨틱 세그멘테이션을 위한 피드포워드(feed-forward) 프레임워크인 PanoSeg3R를 제안한다. 원근 투영(perspective) 입력을 위해 설계된 기존 방법들과 달리, PanoSeg3R는 단 한 번의 순전파(forward pass)만으로 3D 기하 구조와 다중 시점 시맨틱 세그멘테이션을 동시에 예측한다. 파노라마 이미지를 지원하는 사전학습된 재구성 백본(backbone) 위에 구축된 본 방법은 쿼리 기반 마스크 디코더를 통해 피드포워드 3D 재구성을 확장한다. 또한, 기성(off-the-shelf) 파운데이션 모델들의 상호 보완적인 강점을 활용하여 신뢰할 수 있는 의사(pseudo) 시맨틱 주석을 생성하는 자동 파노라마 데이터 큐레이션 파이프라인을 도입함으로써 학습 데이터를 대폭 확장하고 제로샷(zero-shot) 일반화 성능을 향상시킨다. PanoSeg3R는 파노라마 3D 시맨틱 세그멘테이션에서 최고 수준의 성능을 달성하며, ScanNet++에서 3D mIoU를 최대 16.02까지 향상시킨다. 또한 큐레이션된 학습 데이터는 Stanford2D3D와 ToF-360에서 각각 최대 4.26 및 43.28 mIoU만큼 제로샷 성능을 추가로 향상시킨다. 웹사이트: https://harryyoon777.github.io/PanoSeg3R/