파노라마 이미지는 완전한 360도 시야각을 제공하여 임바디드 지각(embodied perception)을 위한 종합적인 장면 이해를 가능하게 합니다. 그러나 서로 다른 이종 임바디드 플랫폼들은 관측 시점과 공간적 배치에서 상당한 차이를 보여 교차 임바디먼트 관측 변화(cross-embodiment observation shift)를 야기하며, 이는 일관되고 신뢰할 수 있는 파노라마 지각에 추가적인 문제를 제기하지만 이 문제에 대한 체계적인 연구는 여전히 제한적입니다. 이러한 격차를 해소하기 위해, 본 논문에서는 교차 임바디먼트 개방형 파노라마 분할(Cross-Embodiment Open Panoramic Segmentation)이라는 새로운 과제를 도입합니다. 아울러 통합된 시맨틱 분류 체계 아래 차량(Vehicle), 드론(Drone), 웨어러블(Wearable), 사족보행 로봇(Quadruped) 플랫폼을 아우르는 다중 플랫폼 파노라마 시맨틱 분할 벤치마크인 EmbPASS를 구축하여, 교차 임바디먼트 파노라마 지각을 체계적으로 연구할 수 있는 테스트베드를 제공합니다. 나아가 이종 임바디드 관측 환경에서 공간 모델링과 의미론적 전이를 강화하기 위해 관계 인식 메트릭 어댑터(RAMA)와 콘텐츠 적응형 시맨틱 전이(CAST)를 통합한 개방형 어휘(open-vocabulary) 파노라마 시맨틱 분할 네트워크인 EPONet을 제안합니다. 광범위한 실험을 통해 EPONet이 EmbPASS에서 35.82%의 mIoU로 가장 플랫폼 균형 잡힌 성능을 달성하여 가장 강력한 기준선(baseline) 대비 1.10% 우수한 성능을 보임과 동시에 기존 파노라마 분할 벤치마크에서도 경쟁력을 유지함을 보여줍니다. 소스 코드와 EmbPASS 벤치마크는 https://github.com/guopj1/EmbPASS 에서 공개될 예정입니다.
언어 및 멀티모달리티(multimodality) 분야의 파운데이션 모델들은 통일된 공식(formulation) 하에 이질적인 데이터를 정렬하고 대규모로 학습함으로써 강력한 일반화를 달성합니다. 본 보고서에서는 이러한 스케일링 방법론을 로봇 조작에 적용하여 진정한 일반화를 달성할 수 있는지 조사합니다. 이는 도전적인 과제인데, 텍스트와 달리 조작 데이터는 본질적으로 이질적이며 수집 비용이 비싸고 다양성이 제한적이어서 정렬과 스케일링을 동시에 달성하기 어렵기 때문입니다. 우리는 Qwen-VL을 기반으로 구축된 일반화 가능한 비전-언어-액션(Vision-Language-Action) 파운데이션 모델인 Qwen-RobotManip을 제안합니다. Qwen-RobotManip은 조작의 표현, 모션, 행동 차원에 걸쳐 통일된 정렬(alignment) 프레임워크를 도입하여, 대규모 다중 소스 학습이 충돌하는 것이 아니라 일관되게 이루어지도록 합니다. 이러한 정렬 능력은 차례로 Qwen-RobotManip이 이전의 학습 방식에서는 감당할 수 없었던 규모의 조작 데이터를 흡수할 수 있게 합니다. 인간-로봇 합성 파이프라인은 15개 플랫폼에 걸쳐 1인칭(egocentric) 손 시연을 로봇 궤적으로 변환하고, 엄격한 큐레이션 파이프라인은 이질적인 데이터셋을 통합합니다. 독점 데이터 수집 없이 오픈 소스 데이터셋과 인간 비디지만을 사용하여, Qwen-RobotManip은 약 38,100시간 분량의 사전학습 말뭉치를 구축하고 제로샷 인스트럭션 따르기(instruction following), 섭동에 대한 강건성, 반응형 오류 복구, 크로스-임보디먼트 전이(cross-embodiment transfer)를 포함한 창발적 일반화 능력을 보여줍니다. 우리는 표준 벤치마크가 사전학습 품질을 제대로 포착하지 못한다는 것을 발견했고, 대신 RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF, 및 RoboTwin-XE를 포함하는 OOD(분포 외) 설정을 채택했습니다. Qwen-RobotManip은 모든 OOD 설정에서 $π$0.5를 포함한 이전의 최첨단(SOTA) 모델들을 현저히 능가하며, RoboChallenge에서 20%의 상대적 향상으로 1위를 차지했고, AgileX ALOHA, Franka, UR, 및 ARX를 포함한 실제 로봇 플랫폼에서 검증되었습니다.