EmbPASS: 교차 임바디먼트 개방형 파노라마 분할을 향하여
EmbPASS: Towards Cross-Embodiment Open Panoramic Segmentation
한국어 초록
파노라마 이미지는 완전한 360도 시야각을 제공하여 임바디드 지각(embodied perception)을 위한 종합적인 장면 이해를 가능하게 합니다. 그러나 서로 다른 이종 임바디드 플랫폼들은 관측 시점과 공간적 배치에서 상당한 차이를 보여 교차 임바디먼트 관측 변화(cross-embodiment observation shift)를 야기하며, 이는 일관되고 신뢰할 수 있는 파노라마 지각에 추가적인 문제를 제기하지만 이 문제에 대한 체계적인 연구는 여전히 제한적입니다. 이러한 격차를 해소하기 위해, 본 논문에서는 교차 임바디먼트 개방형 파노라마 분할(Cross-Embodiment Open Panoramic Segmentation)이라는 새로운 과제를 도입합니다. 아울러 통합된 시맨틱 분류 체계 아래 차량(Vehicle), 드론(Drone), 웨어러블(Wearable), 사족보행 로봇(Quadruped) 플랫폼을 아우르는 다중 플랫폼 파노라마 시맨틱 분할 벤치마크인 EmbPASS를 구축하여, 교차 임바디먼트 파노라마 지각을 체계적으로 연구할 수 있는 테스트베드를 제공합니다. 나아가 이종 임바디드 관측 환경에서 공간 모델링과 의미론적 전이를 강화하기 위해 관계 인식 메트릭 어댑터(RAMA)와 콘텐츠 적응형 시맨틱 전이(CAST)를 통합한 개방형 어휘(open-vocabulary) 파노라마 시맨틱 분할 네트워크인 EPONet을 제안합니다. 광범위한 실험을 통해 EPONet이 EmbPASS에서 35.82%의 mIoU로 가장 플랫폼 균형 잡힌 성능을 달성하여 가장 강력한 기준선(baseline) 대비 1.10% 우수한 성능을 보임과 동시에 기존 파노라마 분할 벤치마크에서도 경쟁력을 유지함을 보여줍니다. 소스 코드와 EmbPASS 벤치마크는 https://github.com/guopj1/EmbPASS 에서 공개될 예정입니다.
원문 초록
Panoramic images provide a complete 360-degree field of view, enabling comprehensive scene understanding for embodied perception. However, heterogeneous embodied platforms exhibit substantial differences in observation viewpoints and spatial layouts, giving rise to cross-embodiment observation shifts that pose additional challenges to consistent and reliable panoramic perception, while systematic studies of this problem remain limited. To bridge this gap, we introduce a new task, termed Cross-Embodiment Open Panoramic Segmentation. Meanwhile, we establish EmbPASS, a multi-platform panoramic semantic segmentation benchmark spanning Vehicle, Drone, Wearable, and Quadruped platforms under a unified semantic taxonomy, providing a testbed for systematically studying cross-embodiment panoramic perception. We further propose EPONet, an open-vocabulary panoramic semantic segmentation network that integrates Relation-Aware Metric Adapter (RAMA) and Content-Adaptive Semantic Transfer (CAST) to enhance spatial modeling and semantic transfer under heterogeneous embodied observations. Extensive experiments show that EPONet achieves the best platform-balanced performance on EmbPASS with 35.82% mIoU, outperforming the strongest baseline by 1.10%, while remaining competitive on existing panoramic segmentation benchmarks. The source code and EmbPASS benchmark will be made publicly available at https://github.com/guopj1/EmbPASS.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Lang3DSeg: 포인트 트랜스포머 기반의 주석 없는 오픈 보캐블러리 3D 분할
Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers
정확한 3D 시맨틱 인지는 안전한 자율 주행에 매우 중요합니다. 그러나 지도학습 기반 LiDAR 분할(segmentation)은 닫힌 분류 체계(closed taxonomy)와 포인트별 수동 주석(annotation) 비용에 여전히 얽매여 있습니다. 오픈 보캐블러리(open-vocabulary) 방식은 2D 비전-언어 모델(vision-language model)의 출력을 LiDAR에 투영하고 이를 3D 네트워크로 증류함으로써 이러한 비용을 피합니다. 이러한 방식들은 거의 전적으로 복셀 기반 희소 합성곱(sparse convolution)에 의존하며, 포인트 트랜스포머(point transformer)는 지금까지 3D 데이터가 조밀하고 경계가 제한된 실내 환경으로 국한되어 왔습니다. 본 논문에서는 포인트 트랜스포머를 실외 3D LiDAR의 주석 없는(annotation-free) 오픈 보캐블러리 분할 백본으로 확립하고, 기하학적 사전학습(pre-training) 없이 처음부터 학습(training)하는 Lang3DSeg를 제시합니다. 이러한 학습 패러다임은 2D-to-3D 레이블 투영에 내재된 노이즈를 해결해야만 합니다. 구체적으로 단순한 투영은 깊이 모호성(depth ambiguity)으로 인해 물체 뒤에 있는 포인트에 해당 물체의 시맨틱 레이블이 잘못 할당되는 문제가 자주 발생합니다. 따라서 본 연구에서는 명시적인 클래스 우선순위 규칙을 사용해 마스크를 합성하고, 투영된 각 인스턴스를 깊이 분포의 첫 번째 간극에서 잘라냄으로써(truncate), 정합된 시퀀스 전체에 걸쳐 평균을 내는 대신 투영 오류를 직접적으로 보정합니다. Lang3DSeg는 nuScenes 검증(validation)에서 52.8% mIoU, SemanticKITTI에서 41.4%를 달성하여 두 벤치마크 모두에서 발표된 주석 없는 방법 중 가장 높은 성능을 기록했습니다. 모든 3D 시맨틱 분할은 단일 LiDAR 스윕(sweep)에서 수행되며, 추론(inference)은 비전-언어 모델을 실행하지 않고 실시간으로 동작합니다.
PanoSeg3R: 자동 데이터 큐레이션 파이프라인을 갖춘 파노라마 이미지용 피드포워드 3D 시맨틱 세그멘테이션
PanoSeg3R: Feed-Forward 3D Semantic Segmentation for Panoramic Images with an Automatic Data Curation Pipeline
본 논문은 파노라마 3D 시맨틱 세그멘테이션을 위한 피드포워드(feed-forward) 프레임워크인 PanoSeg3R를 제안한다. 원근 투영(perspective) 입력을 위해 설계된 기존 방법들과 달리, PanoSeg3R는 단 한 번의 순전파(forward pass)만으로 3D 기하 구조와 다중 시점 시맨틱 세그멘테이션을 동시에 예측한다. 파노라마 이미지를 지원하는 사전학습된 재구성 백본(backbone) 위에 구축된 본 방법은 쿼리 기반 마스크 디코더를 통해 피드포워드 3D 재구성을 확장한다. 또한, 기성(off-the-shelf) 파운데이션 모델들의 상호 보완적인 강점을 활용하여 신뢰할 수 있는 의사(pseudo) 시맨틱 주석을 생성하는 자동 파노라마 데이터 큐레이션 파이프라인을 도입함으로써 학습 데이터를 대폭 확장하고 제로샷(zero-shot) 일반화 성능을 향상시킨다. PanoSeg3R는 파노라마 3D 시맨틱 세그멘테이션에서 최고 수준의 성능을 달성하며, ScanNet++에서 3D mIoU를 최대 16.02까지 향상시킨다. 또한 큐레이션된 학습 데이터는 Stanford2D3D와 ToF-360에서 각각 최대 4.26 및 43.28 mIoU만큼 제로샷 성능을 추가로 향상시킨다. 웹사이트: https://harryyoon777.github.io/PanoSeg3R/
SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원
SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery
원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.
픽셀 수준 로컬라이제이션을 위한 CLIP 재활용
Repurposing CLIP to Localize at Pixel Level
CLIP과 같은 대규모 비전-언어(Vision-Language) 모델은 이미지 수준에서 인상적인 오픈셋 로컬라이제이션 능력을 보여주었다. 그러나 이 능력을 픽셀 수준의 밀집 예측(dense prediction)에 적용하는 것은 전역 특징(feature) 편향으로 인해 어려움이 따른다. 본 논문에서는 CLIP을 픽셀 수준 로컬라이제이션에 활용하도록 재구성하는 간단하면서도 효과적인 프레임워크인 CLIPix를 소개한다. CLIPix는 CLIP의 분류(classification) 과정을 역추적하여 객체별 어텐션 영역을 식별하고, 이를 픽셀 수준 로컬라이제이션 단서로 재활용한다. 전역 편향으로 인해 발생하는 노이즈를 해결하기 위해, 이러한 단서를 정제하여 더 정밀한 분할을 가능하게 하는 노이즈 저항 보정(Noise-Resistant Correction) 전략을 제안한다. 또한 로컬라이제이션 임베딩(Localization Embedding) 전략을 도입하여 로컬라이제이션 정보와 풍부한 세부 정보를 통합함으로써 정확하고 고해상도의 분할을 실현한다. 제안된 접근법은 CLIP의 일반화 능력을 보존하면서 임의의 객체를 분할하는 잠재력을 이끌어낸다. PASCAL 및 COCO 데이터셋에 대한 광범위한 실험을 통해 CLIPix가 최첨단 성능을 달성함을 입증하며, 그 효과성을 확인하였다.
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 5 figures