PyTorchKR Papers

최신 논문

총 2,147편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27076v1cs.CV

Pro-Bench: 실세계 이종 환경 전반의 프롬프트 강건 오픈어휘 시각적 그라운딩

Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments

오픈어휘 시각적 그라운딩(visual grounding)은 사전 정의된 지각 분류체계(taxonomy)에 의존하지 않고 자연어 쿼리로부터 과제 관련 개체의 위치를 특정함으로써 로봇이 작업할 수 있게 한다. 그러나 기존 벤치마크는 대부분 짧은 카테고리 라벨과 웹에서 수집한 이미지에 의존하여, 오픈어휘 모델이 실제 배포 환경에서 다양한 쿼리와 시각적 조건 하에 견고하게 그라운딩할 수 있는지는 불분명하다. 본 논문은 이종의 실세계 환경에서 오픈어휘 시각적 그라운딩을 위한 프롬프트 조건 벤치마크인 Pro-Bench를 제안한다. Pro-Bench는 독립적인 로봇 도메인(지하, 산업, 실내, 실외, 도시)의 $13k+$ RGB 프레임, $74.5k$ 수동 인스턴스 어노테이션, 범주적·속성·관계·affordance·상태·부분-전체·부정·합성 의미를 아우르는 $515$개 타깃 쿼리를 포함한다. $16$개 오픈어휘 모델 구성을 엄격한 제로샷 추론으로 벤치마킹하여 IoU 임곗값별 위치 특정 정확도, end-to-end 추론 지연, 프롬프트에 따른 성능 변동, 타깃 복구 일관성을 측정했다. 결과에 따르면 프롬프트 강건성은 아키텍처에 강하게 의존한다. 대부분의 모델 구성($10/16$)은 짧은 카테고리 라벨에서 최고 성능을 보이는 반면, 자유 형식 쿼리가 최고 정확도를 내는 경우는 하나뿐이다. 또한 유사한 집계 mAP가 쿼리 재표현에 따른 일관된 타깃 복구의 상당한 차이를 가릴 수 있다. Pro-Bench는 이러한 격차를 체계적으로 평가할 수 있게 하며 프롬프트 강건 시각적 그라운딩을 지원한다. Pro-Bench: https://pro-bench.github.io/.

arXiv:2608.28316v2cs.CV

조건부 시각적 증거 유틸리티: 동결된 비전-언어 인코더에서의 상태 의존적 순위 역전

Conditional Visual Evidence Utility: State-Dependent Rank Reversals in Frozen Vision-Language Encoders

정적 중요도 점수는 시각적 증거를 단일 순위로 압축하지만, 하나의 단서가 관측된 뒤에는 남은 증거의 가치가 바뀔 수 있다. 우리는 색상, 형태, 질감 증거를 독립적으로 노출할 수 있고 획득 상태에 걸쳐 조건부 한계 효용(conditional marginal utility)을 측정할 수 있는 통제된 구성적 시각 탐색에서 이러한 가능성을 연구한다. 800개 장면에 대한 홀드아웃 검증에서, 동결된 OpenCLIP과 SigLIP은 순서 변화를 유도하도록 설계된 후보 중첩 영역에 집중되고, 두 가지 증거 누적 구성과 10개의 동등한 쿼리 표현 전반에서 지속되며, 쿼리-장면 교란(query-scene derangement) 하에서는 거의 무작위 수준의 동작으로 붕괴하는 견고한 상태 의존적 순위 역전을 보인다. 1,200개 장면에 대한 후속 역할 균형(role-balanced) 추적 연구에서는 초기에 강한 속성, 중복을 유발하는 속성, 비교 속성의 추상적 역할을 순환시킨다. 잔여 속성-정체성 효과가 남아 있긴 하지만, 양성-음성 역전 대비(positive-minus-negative reversal contrast)는 24개의 모든 역할 순열, 백본 및 증거 모드 셀 전반에서 양의 값을 유지한다. 나아가 우리는 측정된 재계획 기회와 전향적 예측 가능성을 구분한다. 첫 행동 일치 유틸리티 분석은 남은 증거의 순위를 재조정할 상당한 기회가 있음을 보여주지만, 사후(posterior) 기반 또는 획득 임베딩 상태 표현을 사용하는 경량 예측기는 역할 균형 벤치마크에서 적합한 정적 대조군 대비 획득 상태 정보의 견고한 점진적 이점을 확립하지 못한다. 종합하면, 이러한 결과는 이 통제된 설정에서 조건부 시각적 증거 유틸리티가 신뢰할 수 있을 정도로 상태 의존적임을 보여주는 동시에, 변화하는 유틸리티의 존재와 그러한 변화가 학습된 선택기에 의해 전향적으로 예측 가능하다는 더 강한 주장을 분리한다.

arXiv:2603.16868v2cs.CV

MessyKitchens: 접촉이 풍부한 객체 수준 3차원 장면 재구성

MessyKitchens: Contact-rich object-level 3D scene reconstruction

단안 3차원(3D) 장면 재구성은 최근 상당한 진전을 보였습니다. 최신 신경망 아키텍처와 대규모 데이터에 힘입어, 최근 방법들은 단일 이미지에서의 깊이 추정(depth estimation)에서 높은 성능을 달성하고 있습니다. 한편, 일반적인 장면을 개별 3D 객체로 재구성하고 분해하는 것은 다양한 객체 종류, 잦은 가림 현상(occlusion), 복잡한 객체 간 관계로 인해 여전히 어려운 과제로 남아 있습니다. 특히, 개별 객체의 형상 및 자세 추정을 넘어 로보틱스 및 애니메이션 분야의 응용에서는 객체가 상호 비침투성과 현실적인 접촉이라는 물리적 원리를 따르는 물리적으로 타당한 장면 재구성을 요구합니다. 본 연구에서는 두 가지 방향으로 객체 수준 장면 재구성을 발전시킵니다. 첫째, 어수선한 환경을 특징으로 하는 실제 장면을 담고 있으며 3D 객체 형상, 자세 및 정확한 객체 접촉 측면에서 고충실도 객체 수준 정답 레이블(ground truth)을 제공하는 새로운 데이터셋인 MessyKitchens를 소개합니다. 둘째, 단일 객체 재구성을 위한 최신 SAM 3D 접근법을 기반으로 하여, 이를 결합 객체 수준 장면 재구성을 위한 Multi-Object Decoder(MOD)로 확장합니다. 본 연구의 기여를 검증하기 위해, MessyKitchens가 정합 정확도(registration accuracy)와 객체 간 침투 측면에서 기존 데이터셋보다 크게 개선되었음을 보입니다. 또한 세 가지 데이터셋에서 다중 객체 재구성 접근법을 비교하여, MOD가 최신 기술(SOTA) 대비 일관되고 유의미한 성능 향상을 달성함을 입증합니다. 새로운 벤치마크, 코드 및 사전학습(pre-training) 모델은 프로젝트 웹사이트(https://messykitchens.github.io/)를 통해 공개될 예정입니다.

arXiv:2511.22857v2cs.CV

GLOW: 동적 공위 조명·카메라로 촬영한 실내 장면의 전역 조명 인식 역 렌더링

GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera

실내 장면의 역 렌더링(inverse rendering)은 반사율(reflectance)과 조명(lighting) 사이의 모호성, 그리고 여러 객체 간 상호 반사(inter-reflection)로 인해 여전히 어렵다. 자연광 기반 방법은 이 모호성을 해소하기 어렵지만, 공위(co-located) 조명-카메라 구성은 Structure-from-Motion으로 조명을 쉽게 보정할 수 있어 반사와 조명의 분리(disentanglement)에 유리하다. 다만 이런 구성은 강한 상호 반사, 동적 그림자, 근거리 조명(near-field lighting), 이동하는 정반사 하이라이트(moving specular highlights) 등 추가적인 난점을 만들며, 기존 접근은 이를 다루지 못한다. 본 논문은 이러한 과제를 겨냥한 전역 조명(global illumination) 인식 역 렌더링 프레임워크 GLOW를 제안한다. GLOW는 신경 암시적 표면 표현(neural implicit surface representation)과 신경 복사휘(radiance) 캐시를 결합해 전역 조명을 근사하고, 신중히 설계한 정규화와 초기화로 기하(geometry)와 반사율을 공동 최적화한다. 또한 근거리 움직임에서 생기는 날카로운 조명 불연속에 맞추는 동적 복사휘 캐시와, 손전등 촬영(flashlight captures)에서 흔한 정반사 아티팩트를 줄이기 위한 표면 각도 가중 방사 측정 손실(surface-angle-weighted radiometric loss)을 도입한다. 실험 결과 GLOW는 자연광과 공위 조명 조건 모두에서 재질 반사율 추정(material reflectance estimation)에서 기존 방법을 크게 능가한다.

arXiv:2609.27816v1cs.RO

VLM-LLM 추론과 도달 가능성 분석을 통한 안전한 다중 로봇 협업

Safe Multi-Robot Coordination via VLM-LLM Reasoning and Reachability Analysis

로봇마다 센싱 능력, 환경 인식 수준, 모션 실행 역할이 상이한 이종 사물통신(M2M) 로봇 시스템에서는 안전한 협업을 달성하기 어렵습니다. 본 논문에서는 비전 기능이 있는 4족 보행 로봇과 카메라가 없는 로봇 차량으로 구성된 이종 모바일 로봇 팀의 협력적 목표 지향 내비게이션을 위한 중앙 집중식 안전 인식 M2M 프레임워크를 제안합니다. 본 연구의 목표는 정적 및 동적 장애물을 회피하고 로봇 간의 불안전한 상호작용을 방지하면서 두 플랫폼을 목표 영역으로 유도하는 것입니다. 공유 인지의 원리에 따라 비전 기능 로봇은 MQTT 브로커를 통해 중앙 집중식 서버로 의미론적 환경 인식을 제공하며, 카메라가 없는 플랫폼은 자체 주행거리계(odometry), IMU, 상태 피드백과 함께 이 공유된 장면 표현을 활용하여 내비게이션을 수행합니다. 비전-언어 모델(VLM)이 시각 스트림을 해석하고, 추출된 의미론적 데이터는 팽창된 장애물 집합, 안전 회랑, 목표 영역을 포함한 보수적인 미터법 기하학적 제약 조건으로 매핑됩니다. 대규모 언어 모델(LLM)은 상위 수준의 작업 할당을 제안하는 반면, 물리적 명령 권한은 로봇별 조노톱(zonotope) 도달 가능성 게이트로 제한됩니다. 이 검증 엔진은 명령을 승인하기 전에 독립적인 도달 가능 튜브(reachable tube)를 전파하여 장애물 회피, 안전 회랑 포함 여부, 로봇 간 분리 술어를 평가합니다. 경로가 트인 시나리오와 동적 장애물 시나리오 전반에 걸친 온라인 실험을 통해, 이 파이프라인이 안전한 모션을 안정적으로 승인하고, 제약 조건 위반 시 보수적인 재계획 또는 정지 기동을 유발하며, 자문적 의미론적 추론과 정형 검증된 모터 실행 간의 엄격한 구조적 분리를 강제함을 보여줍니다.

arXiv:2609.27656v1cs.RO

InternW0: 효율적인 실세계 상호작용을 위한 기반 물리 세계 모델

InternW0: A Foundational Physical World Model for Efficient Real-World Interactions

물리 지능(physical intelligence)은 세계가 어떻게 변화할 수 있는지를 예측하는 것 이상을 요구한다. 세계가 계속 변하는 동안에도 예측은 실행 가능(actionable)한 상태로 남아 있어야 한다. 우리는 Shanghai AI Laboratory의 InternW 물리 세계 모델 시리즈의 첫 번째 구현인 InternW0을 소개한다. InternW0은 옴니모달(omnimodal) 인터페이스, 비동기 다중 주파수 처리, 부분 관측 및 외부 영향 하에서의 국소 물리 모델링을 중심으로 구축되었다. InternW0은 flow matching을 갖춘 비대칭 video–action 아키텍처를 통해 미래 시각 역학과 연속 로봇 제어를 공동 학습한다. 고용량 video expert는 더 긴 수평의 예측적 컨텍스트를 제공하고, 경량 action expert는 더 빠른 시간 척도에서 동작한다. 모든 action 업데이트마다 미래를 재생성하는 대신 InternW0은 계층별 K/V를 재사용하고, 관측 조건 컨텍스트 라우팅(observation-conditioned context routing)을 통해 새로 관측된 상태에 맞게 이를 적응시킨다. 도메인별 인터페이스와 soft prompt는 이질적인 embodiment를 지원하며, 접촉 인지(contact-aware) 사후 학습은 접촉이 풍부한 조작을 위해 힘과 촉각 신호를 통합한다. InternW0은 EgoLab(275시간 규모의 실험실 egocentric 데이터셋)을 포함하여 약 7,200시간의 이질적인 로봇 및 egocentric 데이터로 학습한다. 평가는 시뮬레이션 벤치마크와 실세계 과학 과제에 걸쳐 이루어지며, 15단계 metal–organic framework 합성 워크플로와 범용 정량 피펫팅(quantitative pipetting)을 위한 5단계 접촉·힘 인지 dexterous manipulation이 포함된다. 이러한 결과는 보편적이고 효율적인 실세계 상호작용을 위한 확장 가능하고 비동기적이며 science-native 물리 세계 모델을 발전시킨다.

arXiv:2609.27467v1cs.RO

Kairos: 4D 씬 그래프에서 존재와 방향 흐름의 그라운딩 예측

Kairos: Grounded Forecasting of Presence and Directional Flow in 4D Scene Graphs

인간이 있는 환경에서 장기 자율 주행을 하려면, 로봇이 아직 관측하지 못한 시점에 사람이 있을지·어떻게 움직일지를 미리 예측해야 한다. 기존 보행자 motion 표현은 트레이드오프에 있다. 미래 활동만 예측하면 각 위치가 스칼라 rate로 축소되고, 전체 방향 분포를 모델링하면 그 분포가 시간에 고정된다. 우리는 계층적 3D 씬 그래프(3DSG)를 4D 씬 그래프(4DSG)로 확장하는 예측적 방향 흐름 메모리 Kairos를 제안한다. 재구성 기하의 관측된 모든 복셀(voxel)은 방향 혼합(mixture)과 존재(presence) rate를 저장하고, 스펙트럴 예측기는 임의의 미래 질의 시각에 대해 사람 존재 확률과 motion의 전체 방향 분포를 함께 예측한다. 인접 복셀 간 쌍별(pairwise) 흐름 의존성은 조건부 질의를 지원하며, 복셀별 예측 분산은 관측이 쌓일수록 좁아지는 보정된 credible interval을 준다. Kairos를 세 가지 실제 보행 환경—로봇 수집 캠퍼스 데이터셋, 쇼핑몰, 11개월간 연속 기록한 역 대합실—에서 평가했다. 학습 상태는 loop-closure 보정 후에도 일관되며, Kairos는 순찰 로봇이 접근 가능한 극히 일부 데이터만으로 학습함에도 전체 검출 스트림으로 학습한 전용 점유(occupancy) 및 flow 모델과 경쟁력 있는 예측을 낸다. 마지막으로 downstream 조우 확률(encounter-probability) 계획 과제에서 표현을 검증했는데, Kairos 예측 위에서 계산한 계획은 동일 성공률에서 시간 불변(time-invariant) 맵 기반 계획보다 더 많은 사람과 조우한다. 코드는 https://github.com/IacopomC/kairos 에서 제공한다.

arXiv:2609.26399v1cs.CL

해석 가능한 장면 안전성 이해를 위한 계층적 인지 과정과 과정 감독의 결합

Combining Hierarchical Cognitive Process with Process Supervision for Interpretable Scene Safety Understanding

장면 안전성 이해(scene safety understanding)는 다양한 핵심 분야의 상황 인식에서 생사를 가르는 역할을 한다. 장면과 안전 수준 사이의 직접적인 매핑을 학습하는 기존 방법은 해석 가능성이 부족한 경우가 많아, 핵심 응용 분야에서의 신뢰성이 제한된다. 이러한 문제를 극복하는 효과적인 접근법은 인간의 인지 과정을 해석하고 기계 모델에 이와 유사한 인지 능력을 갖추게 하는 데 있다. 본 연구는 장면 안전성 인지 과정 모델링과 과정 감독(process supervision)을 통합하는 효과적인 방법을 탐구한다. 구체적으로, 먼저 계층적 인지 안전 구조를 구축하고, 이를 바탕으로 과정 레이블이 포함된 다단계 추론에 기반한 새로운 고품질 장면 안전성 이해 데이터셋을 개발한다. 이 데이터셋은 벤치마크이자 대규모 언어 모델(LLM)의 안전성 추론 능력을 향상시키는 자원으로 활용되며, 동시에 정보 흐름(information flow)과 살리언시(saliency) 기반 기법을 통해 중간 추론 단계에 대한 세분화된 분석도 가능하게 한다. 이러한 토대 위에서, 인간 인지의 계층적 특성을 반영하는 모듈식이고 유연한 과정 감독 프레임워크를 제안한다. 이 프레임워크는 LLM을 핵심 아키텍처로 활용하고 저랭크 적응(Low-Rank Adaptation, LoRA)과 전문가 혼합(Mixture-of-Experts, MoE) 전략을 도입하여, 전체 추론 사슬의 특정 하위 과정을 각각 담당하는 전문가 모듈 간의 특화와 협업을 가능하게 한다. 체계적인 실험 평가와 분석을 통해, 본 프레임워크가 기존 접근법에 비해 우수한 해석 가능성과 성능 특성을 보임을 확인하였다.

arXiv:2609.24864v1cs.RO

명시적 3D 재구성 없이 이미지로부터 직접 수행하는 6-자유도(6-DoF) 궤적 계획을 위한 SE(3) 신경 포텐셜 필드

SE(3) Neural Potential Fields for 6-DoF Trajectory Planning Directly from Images Without Explicit 3D Reconstruction

어수선한 환경(clutter)에서 6-자유도(6-DoF) 파지 자세(grasp pose)에 도달하려면 충돌이 없는 궤적이 필요하며, 기존에는 장면을 3D로 재구성하고 그 재구성 안에서 계획을 수립하는 방식으로 이를 얻었으나, 이는 정확도와 연산 비용을 대가로 치른다. 이미지로부터 직접 학습된 포텐셜 필드(potential field)는 이러한 의존성을 제거하지만, 인공 포텐셜 필드(artificial potential field)의 고전적인 약점을 그대로 물려받는다: 인력(attractive)과 척력(repulsive) 기울기(gradient)가 상쇄되는 지점에서 하강 경로가 장애물을 우회하지 못하고 스치듯 지나가며, 목표에 도달하지 못하고 정체될 수 있다. 우리는 자세가 주어진(posed) RGB 이미지로부터 학습되고, 학습 중 동일한 이미지로부터 복원한 자유 공간(free space)을 통과하는 파지점까지의 측지 거리(geodesic distance)인 내비게이션 함수(navigation function)로 지도(supervise)되는 SE(3) 신경 포텐셜 필드를 제시하며, 이는 두 가지 실패 모두를 제거한다. 두 개의 테이블탑 장면에서, UR10 로봇으로 실행한 장애물로 막힌 시작 지점들로부터, 이 필드는 모든 시작 지점에서 파지점 3cm 이내로 수렴하며 실행되는 모든 경로가 실제 정답(ground-truth) 기하 구조에 대해 충돌이 없는 반면, 이미지 지도만 사용한 경우는 각각 25%와 0%에 그친다. 평균 여유 거리(clearance)는 1cm 미만에서 8.6-8.8cm로 상승하고, 로봇팔 링크 접촉은 실행된 구성(configuration)의 20.6-50.4%에서 2.7-5.5%로 감소한다. 실제 실행된 파지 성공률은 두 장면에서 각각 90.0%와 40.0%이며, 남은 실패는 필드가 아니라 데카르트 실행기(Cartesian executor)의 거부에 기인한다. 계획 수립에는 약 2초가 소요되는데, 동일한 이미지의 재구성에 대한 RRT*의 67-133초와 비교된다. 다만 공통의 오프라인 실험 환경(harness)에서는 두 방법이 비슷한 수준이며, 실제 배포 시 발생하는 마진(margin)은 계획기(planner)의 복잡도가 아니라 밀집 재구성(dense reconstruction)에 대한 충돌 검사 비용에서 비롯된다.

arXiv:2609.24362v1cs.AI

VLM-in-Sandbox: 에이전틱 시각 추론을 위한 시각 워크스페이스

VLM-in-Sandbox: Visual Workspaces for Agentic Visual Reasoning

샌드박스형 컴퓨터 환경은 도구, 실행 가능한 프로그램, 지속적 파일을 활용한 다단계 추론을 지원하지만, 언어 모델에서 비전-언어 모델(VLM)로 확장할 때 별도의 상태 관리 문제가 발생한다. 시각 추론은 크롭, 마스크, 오버레이, 확대 영역, 분석 렌더링 등 이미지 값을 갖는 중간 증거를 생성하며, 이는 다중모달 컨텍스트에 무한정 누적되지 않으면서도 계속 참조 가능해야 한다. 우리는 제어된 컴퓨터 환경에서 에이전틱 다중모달 추론을 위한 학습 없는 프레임워크인 VLM-in-Sandbox를 제안한다. Visual Workspace는 생성된 산출물을 이미지 원장(image ledger)에 등록하고, 유한한 활성 시각 컨텍스트를 유지하며, 모델이 후속 검사를 위해 선택한 증거를 명시적으로 승격(promote)할 수 있게 한다. 이는 샌드박스 도구가 수행하는 시각 증거 생성과 시각 증거 관리를 분리한다. 7개 벤치마크와 4개 기본 VLM에 걸쳐 VLM-in-Sandbox는 Vanilla VLM, Append-only Sandbox, 제안 방법 중 표본 가중 평균 정확도가 가장 높다. 컴파일러 일치(compiler-matched) $2\times2$ 연구에서 1,260개 예시로 모델이 지시하는 가시성과 유한 보존을 추가로 분리한다. VLM-in-Sandbox는 자동 retain-all 대조군 대비 총 토큰이 18.6% 적은 상태에서 66.27% 정확도에 도달한다. 제출된 GPT-4.1-mini 예시 6,350개 전체에서 Original Append-only 대비 302건의 구제(rescue)와 142건의 퇴보(regression)를 만든다. 접두 문맥(prefix) 캐싱을 사용한 로컬 vLLM 연구는 더 작은 요청 워크로드가 캐시되지 않은 토큰, 첫 토큰까지의 시간(time to first token), 종단 간(end-to-end) 지연시간도 줄인다는 것을 확인한다. 이 결과는 명시적 시각 증거 상태가 샌드박스형 VLM 에이전트의 핵심 추상화임을 밝힌다.

arXiv:2609.24124v1cs.RO

ActiveArena: 로봇 조작에서 능동 지각의 벤치마킹 및 이해

ActiveArena: Benchmarking and Understanding Active Perception in Robotic Manipulation

능동 지각(active perception)과 조작(manipulation)은 로봇이 복잡한 장면과 상호작용하는 데 필수적이다. 기존 벤치마크는 로봇이 능동적으로 정보를 효과적으로 획득하고 기억에 유지하는 방식을 평가하는 데 한계가 있다. 이를 위해 제어 가능한 시점(viewpoint)과 대규모 작업 공간을 갖춘 능동 지각 시뮬레이터인 ActiveArena-Sim을 기반으로 소개한다. 이를 바탕으로 5개의 세분화 범주에 걸친 35개 과제로 구성되며, 시각적 탐험과 상호작용적 정보 획득을 포괄하는 ActiveArena-Bench를 제안한다. 각 과제는 수동적 관측만으로는 해결하기 어려워 다회 증거 획득과 메모리 기반 추론을 요구한다. 이 벤치마크는 풍부한 메모리 주석, 표준화된 학습 데이터, 분리된 장면·보지 못한 distractor 구성·새로운 배경을 특징으로 하는 ID/OOD 프로토콜을 제공한다. 더 나아가 메모리 쓰기, 메모리 용량, 고유수용감각(proprioceptive) 상태, 하위 과제 지도, 능동 지각에서의 고수준 계획에 대한 통제 연구를 위해 13가지 비전-언어-행동(VLA) 구성을 갖춘 모듈형 스위트 ActiveArena-VLA를 제시한다. 벤치마크 결과는 상당한 ID-OOD 격차를 보여 준다. 균일 메모리 샘플링, 신뢰할 수 있는 쓰기 정책 하에서의 메모리 용량 증가, 고유수용감각 입력, 하위 과제 지도는 OOD 일반화를 개선하는 반면, 플래너(planner)가 안내하는 메모리 관리와 의사결정은 희소(sparse) 메모리만 사용하는 최고 성능 구성에 근접한 성능을 달성한다. ActiveArena는 thus 능동 지각과 조작을 위한 모델을 개발하고 진단할 수 있는 통합 시험 환경을 제공한다.

arXiv:2609.23910v1cs.RO

ReVeal: VLA 정책 평가를 위한 재구성 인식 리얼-투-심 프레임워크

ReVeal: A Reconstruction-Aware Real-to-Sim Framework for VLA Policy Evaluation

시뮬레이션 기반 평가는 비전-언어-행동(VLA) 정책의 실세계 평가에 대한 확장 가능하고 반복 가능한 대안을 제공한다. 그러나 재구성 오류는 시뮬레이션에서의 정책 성능이 실세계 성능과 어긋나게 할 수 있어, 하류 VLA 정책 평가를 위해 재구성된 환경을 평가할 필요가 있다. 우리는 작업 공간 재구성, 재구성 수준 평가, 및 대응되는 폐루프(closed-loop) 정책 평가를 결합한 리얼-투-심 평가 프레임워크 ReVeal을 제안한다. Novel-View Mesh Fidelity(NVMF)와 Annotated Planar Geometry Fidelity(APGF)는 각각 관측 및 평면 기하학적 충실도(fidelity)를 평가한다. 또한 다시점 시각 단서가 제한적인 영역에서 기하를 개선하기 위해 단안 깊이 지도(monocular depth supervision)를 통합한 재구성 파이프라인 PGSR-D를 개발한다. 8개의 평가 장면에 걸쳐 NVMF와 APGF는 2DGS, PGSR, PGSR-D의 충실도를 일관되게 구별한다. 8개의 휴머노이드 조작 과제에 대한 GR00T, SmolVLA, pi0.5의 대응 평가는 파이프라인 전반에 걸쳐 재구성 충실도와 리얼-심 성능 일치 사이에 일관된 순서 관계를 보여준다. 평가 작업 공간에 대한 추가 분석은 더 높은 충실도가 더 강한 리얼-심 일치와 연관됨을 보여준다.

arXiv:2609.23423v1cs.RO

RiverVLN: 무인 수상정을 위한 위상 기반 시간적 비전-언어 항법

RiverVLN: Phase-Grounded Temporal Vision--Language Navigation for Unmanned Surface Vehicles

비전-언어 항법(VLN)은 주로 실내 및 지상 로봇을 위해 발전해 왔으며, 여기서는 언어를 종종 정적인 목표로 다룰 수 있고 동작은 이산적이거나 거의 순간적인 행동으로 근사된다. 이러한 가정은 무인 수상정(USV)에서는 성립하지 않는다. 강 항해는 관성과 제한된 기동성 하에서 연속적인 운동을 요구하고, 장기 지시는 희소하고 시각적으로 모호한 해상 랜드마크를 통해 실행되어야 한다. 본 논문은 우리가 아는 한 연속적인 강 항행 하의 장기 USV VLN을 위해 설계된 최초의 벤치마크인 RiverVLN과, USV를 위한 위상 기반 시간적 항법 프레임워크 PGT-NAV를 제안한다. PGT-NAV는 전체 지시를 동작에 직접 매핑하는 대신, 이를 시각적으로 검증 가능한 의미적 위상(phase)의 순서화된 시퀀스로 변환하고, 그라운딩된 시각 및 운동 증거를 통해 활성 위상을 온라인으로 유지한다. 이 명시적 의미적 진행 상태는 시각-운동 이력 및 위상별 그라운딩과 융합되어 여섯 개의 국소 SE(2) 자세 증분을 예측한다. 결과 궤적은 predict-execute-re-observe 루프에서 실행되며, 선박은 W3를 향해 항행하고 위상과 그라운딩을 갱신한 뒤, 맵 기반 안전 층을 통해 재계획한다. 실험 결과 PGT-NAV는 GNM 스타일 및 ViNT 스타일 베이스라인 대비 재귀적 위치 및 방향 드리프트를 상당히 줄였으며, Unity-ROS 폐루프 항법에서 평균 성공률 0.79를 달성했다. 보지 못한 다리 개방 시험과 실세계 USV 실험은 위상 기반 표현이 통제된 평가에서 실제 USV 배치로 전이됨을 추가로 보여준다.

arXiv:2609.23407v1cs.SD

OmniEcho: 체화된 에이전트를 위한 공간 오디오 이해

OmniEcho: Spatial Audio Understanding for Embodied Agents

인간은 음원의 방향을 손쉽게 위치 파악(localization)하고 이를 시각적 단서와 통합하여 추론할 수 있지만, 이는 체화된 에이전트(embodied agent)에게 여전히 어려운 과제입니다. 특히 체화된 환경에서 공간 오디오 이해를 효과적으로 평가하고 모델링하는 방법은 여전히 불분명합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 공간 시청각 인지 및 오디오-비전-언어 내비게이션을 위한 통합 벤치마크인 \textbf{OmniEchoBench}를 소개합니다. OmniEchoBench는 30개의 실제 환경에서 수집된 1차 앰비소닉스(FOA) 오디오를 포함하여 197개의 실제 공간 시청각 장면, 2,972개의 질의응답 쌍, 900개의 내비게이션 샘플에 걸친 6개 작업으로 구성됩니다. 확장 가능한 학습(training) 감독을 가능하게 하기 위해 음원, 시각적 관측, 에이전트 궤적 간의 기하학적 일관성을 보존하는 공간 오디오용 제어 가능한 렌더링 파이프라인을 개발합니다. 이를 기반으로 공간을 인지하는 옴니 모달 모델(omni-modal model)인 \textbf{OmniEcho}를 제안합니다. 이는 사전학습(pre-training)된 시맨틱 오디오 경로와 함께 FOA 공간 인코더를 도입합니다. 광범위한 실험을 통해 OmniEcho가 공간 시청각 인지에서 최고 수준의 성능(SOTA)을 달성함을 보여줍니다. 소리 유도 내비게이션의 경우 OmniEcho는 기존 비전-언어 내비게이션에 근접한 성능 수준에 도달합니다. 이러한 결과는 공간 오디오가 체화된 장면 추론 및 내비게이션에 귀중한 신호 역할을 할 수 있음을 입증하는 동시에, 세밀한 공간적 위치 파악 및 거리 추정이 중요한 미해결 과제임을 강조합니다.

arXiv:2609.23103v1cs.RO

DiagGen: 로봇 시뮬레이션을 위한 시뮬레이션 기반 진단을 활용한 변형 가능 자산의 에이전틱 생성

DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation

시뮬레이션 준비가 완료된 변형 가능 자산(deformable asset)은 컴퓨터 시뮬레이션(in-silico) 기반 로봇 조작 작업에 필수적이지만, 기존 생성 프레임워크는 대개 생성 이후에 물리적 타당성을 평가하므로 객체의 시뮬레이션 반응을 상위 단계의 오류 수정을 위한 피드백으로 활용하지 못합니다. 본 논문에서는 단일 야생 환경(in-the-wild) 이미지를 '생성--시뮬레이션--진단--개선' 루프를 통해 시뮬레이션 준비가 완료된 변형 가능 자산으로 변환하는 에이전틱(agentic) 프레임워크인 DiagGen을 제안합니다. DiagGen은 부위 인식(part-aware) 지오메트리 및 재질 매개변수를 구축한 후, 비전-언어 모델(VLM) 기반 에이전트(agent)를 활용하여 의미적으로 유의미한 영역을 선택하고, 물리 시뮬레이터에서 이를 탐침(probe)하며, 재질 반응을 관찰하고, 근거 기반 수정 신호를 해당 생성 단계로 전달합니다. 40개의 자산을 대상으로 한 실험을 통해 진단 과정이 유용한 수정 신호를 제공하며 생성된 변형 가능 자산의 품질을 일정 수준 향상시킬 수 있음을 보여줍니다. 마지막으로, 시뮬레이션이 불가능할 수 있는 시각 파운데이션 모델 기반 생성 자산과 달리, DiagGen으로 생성된 변형체는 고충실도 물리 시뮬레이터에 직접 투입되어 접촉이 빈번한 집기 및 놓기(pick-and-place) 작업의 계획 및 시뮬레이션에 활용될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://diaggen.github.io/ 입니다.

arXiv:2609.23064v1cs.AI

FireWorldBench: 결합장 화재 역학을 통한 복합 물리 세계 지능 벤치마킹

FireWorldBench: Benchmarking Complex Physical World Intelligence through Coupled-Field Fire Dynamics

실제 물리 시스템은 다중 연속장, 잠재적 인과 메커니즘, 부분 관측, 개입에 민감한 역학을 포함하므로, 물리적 세계를 이해하기 위해서는 객체 인식, 장면 기술, 단기 시각 예측 이상의 능력이 필요합니다. 본 논문에서는 결합장(coupled-field) 화재 역학을 통해 멀티모달 대규모 언어 모델(LLM)과 에이전트(agent)의 복합 물리 세계 지능을 평가하기 위한 벤치마크(benchmark)인 FireWorldBench를 제안합니다. 화재는 상호작용하는 다중 물리장이 관측 가능한 상태와 시간적 역학을 공동으로 형성하는 대표적인 스트레스 테스트 환경(environment)을 제공합니다. FireWorldBench는 물리적 역량 축과 화재 시나리오 태스크 축이라는 상호 보완적인 두 가지 축으로 구성되어, 물리적 상태 이해, 시간적 역학, 인과 메커니즘, 개입 추론을 종합적으로 다룹니다. 이 벤치마크는 7가지 환경 패밀리에 걸친 47개 장면 원형을 아우르는 494개의 제어된 시뮬레이션 환경 및 26개의 실세계 연계 이벤트 그룹을 포함하여 총 520개의 화재 세계 엔트리로 구성됩니다. 이러한 엔트리들은 구조화된 텍스트 관측, 다중 2D 물리장 시각화, 3D 이벤트 수준 장면 모델링을 결합하여, 객관식 선택형 및 서술형 보고서 생성 형식에 걸쳐 9,074개의 텍스트-이미지 인터리브 질의응답 쌍을 제공합니다. FireWorldBench는 모델이 멀티모달 부분 관측으로부터 잠재적 물리 상태를 추론하고, 기저 메커니즘을 설명하며, 결합장의 진화를 예측하고, 개입의 결과를 평가할 수 있는지를 평가함으로써 복합 물리 세계 지능을 위한 도전적인 테스트베드를 제공합니다.

arXiv:2609.23038v1cs.AI

Spatial-Interactor: 관찰 가능한 물리적 세계와의 상호작용을 통한 공간적 추론 학습

Spatial-Interactor: Learning Spatial Reasoning through Interaction with the Observable Physical World

공간적 추론은 비전-언어 모델(VLM)이 물리적 세계를 이해하고 행동하는 데 필수적입니다. 동적 환경에서의 추론은 VLM이 물체의 움직임과 시점 변화로 인해 발생하는 국소적 상태 전이(state transition)를 인지하고, 이를 긴 궤적에 걸쳐 통합하여 최신 공간 상태를 유지할 것을 요구하지만, 기존 VLM은 두 가지 역량 모두에서 여전히 한계를 보입니다. 현재의 공간 학습은 주로 물체 속성과 공간 관계에 대한 정적인 질문에 초점을 맞추고 있어 상태 전이에 대한 직접적인 감독을 제한적으로 제공합니다. 반면, 상호작용 궤적은 선행 관찰, 행동, 후속 관찰을 자연스럽게 연결하여 국소적 상태 전이에 대한 직접적인 감독을 제공하며, 완전한 궤적은 연속적인 전이 간의 의존성을 드러냅니다. 이에 따라 본 논문에서는 상호작용을 통해 VLM이 물리적 세계의 상태 전이를 모델링하도록 학습시키는 프레임워크인 Spatial-Interactor를 소개하며, 이 학습 과정을 L1 수동적 세계-상태 전이, L2 능동적 자아-상태 전이, L3 장기적(long-horizon) 상호작용 궤적을 아우르는 3단계 커리큘럼으로 구성합니다. 이에 맞춰 시뮬레이션 및 실제 상호작용 궤적으로부터 각 단계의 목표에 맞춘 태스크를 포함하는 Learning from Spatial Interaction 데이터셋(LSI-108K)을 구축합니다. 제안하는 2단계 학습 전략은 국소적 전이 모델링을 위해 L1 및 L2에 지도 미세조정(SFT)을 적용한 뒤, 온-정책 증류(OPD)를 통해 특권적 자기 증류(privileged self-distillation)를 사용합니다. 즉, 구간 수준의 전이 설명이 주어지는 교사 브랜치가 학생의 온-정책 사고의 연쇄(CoT)를 감독하여, 학생이 L3 긴 궤적에 걸쳐 연속적인 전이를 통합하는 방법을 학습하도록 돕습니다. 여러 VLM 및 공간 벤치마크에 걸친 실험을 통해 국소적 전이 모델링과 장기적 통합 전반에서 일관된 성능 향상을 입증합니다.

arXiv:2609.22611v1cs.RO

HIGenNTO: 노이즈 공간 궤적 최적화를 통한 확장 가능한 휴머노이드 상호작용 생성

HIGenNTO: Scalable Humanoid Interaction Generation via Noise-Space Trajectory Optimization

휴머노이드 로봇은 운동학적 휴머노이드 동작 참조를 모방하여 복잡한 기술을 습득할 수 있지만, 접촉이 많은 상호작용에 대한 신뢰할 수 있는 참조를 얻기는 여전히 어렵다. 모션 캡처는 가림(occlusion)과 밀접한 물리적 접촉 하에서 품질이 저하되며, 리타게팅(retargeting)은 추가적인 접촉 및 기하학적 불일치를 초래한다. 우리는 희소 시공간 및 장면 제약 하에서 사전학습된 텍스트 조건 동작 모델의 초기 노이즈를 최적화하여 휴머노이드-장면 상호작용 동작 참조를 합성하는 프레임워크 HIGenNTO를 제안한다. 동일한 공식화는 원하는 접촉을 만족하고, 충돌을 피하며, 안정적인 지지를 유지하면서 사전(prior)의 현실성과 시간적 일관성을 보존하고, 처음부터 상호작용 동작을 생성하며 장기 행동을 단계별로 구성한다. 로봇-환경 및 로봇-객체 과제 전반에서 HIGenNTO는 시뮬레이션에서 추적 정책(tracking policy)으로 실행 가능한 동작을 생성하며, 온보드 센싱만으로 동작하는 깊이 조건 시각-운동(visuomotor) 정책 학습에 사용할 수 있다. 우리는 네 가지 접촉이 많은 과제에서 Unitree G1에 이러한 정책을 배포한다. 마지막으로, 과제 명세 자체를 코딩 에이전트가 작성할 수 있으며, 이 에이전트는 상호작용 과제를 제안하고 이를 프롬프트, 제약, 및 장면 프로그램으로 컴파일하여 평가한 8개 과제 중 3개와 추가 4개 행동을 작성했다. 종합하면, 이러한 결과는 고수준 과제 기술에서 물리적으로 실행 가능한 휴머노이드 상호작용까지의 확장 가능한 경로를 제시한다.

arXiv:2609.22353v1cs.AI

PAANI: 강 로봇 시뮬레이션을 위한 온디바이스 시각적 증거 융합 및 설명 가능한 가이던스

PAANI : On Device Visual Evidence Fusion and Explainable Guidance for River Robot Simulation

이동형 하천 모니터링 로봇은 지리적 웨이포인트만으로는 설명할 수 없는 장애물과 수역 경계를 해석해야 한다. 자원이 제한된 플랫폼에서는 불완전한 시각 예측을 시의적절하고 검사 가능한 가이던스로 바꾸는 것이 별도의 과제이다. 객체 레이블이나 조향 명령만으로는 어떤 증거가 결정을 뒷받침하는지, 그 증거가 언제 신뢰할 수 없는지 설명되지 않는다. 우리는 프로젝트에서 학습한 YOLO11n 검출기와 맞춤형 MobileNetV3 Small 의미 분할기를 Arduino UNO Q에서 타임스탬프 정렬 증거 융합과 결합한, 온디바이스 지각-가이던스 아키텍처인 PAANI를 제시한다. bounded tracking은 객체 지속성을 제공하고, 명시적 통로(corridor) 정책은 수면 레이블, 수용된 검출, 긴급도, 마스크 불확실성을 결합한다. 각 최종 권고는 기여한 증거와 정책 근거를 노출한다. ROS 2 인터페이스는 로컬 AI 파이프라인을 별도의 Gazebo 선박, 위치 추정 및 제어 테스트베드와 연결한다. 학습에는 4클래스 검출용 WaterScenes 이미지 10,000장과 분할용 MaSTr1325 이미지 1,127장(분할 검증 이미지 198장 포함)을 사용한다. 선택한 FP32 ONNX 모델은 14.817 MB를 차지한다. 검출기 체크포인트 테스트 mAP(0.5 IoU)는 0.7388이며, 별도로 평가한 직사각형 ONNX 내보내기의 검증 mAP(0.5 IoU)는 0.7367이다. 분할 ONNX 검증 mIoU는 0.9750이다. 5분간 UNO Q 녹화에서 구성된 0.5 Hz 주기로 파이프라인 지연의 중앙값과 95백분위는 각각 467.8 ms와 580.3 ms였다. 평가에서는 검은 입력 오분류와, 진단용 겉보기 운동(apparent motion) 추정기가 충분한 증거를 수집하지 못하게 하는 샘플링 속도 불일치도 확인했다. 이 결과는 모델 정확도 및 온보드 실행과 검증된 수상 충돌 회피를 명확히 구분하면서, 검사 가능하고 재사용 가능한 엣지 로보틱스 기반을 뒷받침한다.

arXiv:2609.22332v1cs.RO

AffordanceWAM: 로봇 조작을 위한 어포던스 인식 세계-행동 공동 모델링

AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation

일반화 가능한 로봇 조작은 장면이 어떻게 변화할지 예측하고, 상호작용이 가능한 위치를 식별하며, 어떻게 행동할지 결정하는 것을 요구한다. 행동 라벨이 붙은 로봇 영상은 제어를 직접 감독하지만 비용이 크고 다양성이 제한적이며, 반면 1인칭(egocentric) 인간 영상은 다양한 상호작용을 포착하지만 로봇 행동이 없고 체형(embodiment)과 외형이 다르다. 본 논문은 AffordanceWAM을 제안한다. 이는 생성된 미래 World 내에서 Scalar Affordance와 Affordance Heatmap을 통해 객체 중심 시공간 어포던스를 표현하는 어포던스 인식 생성형 World Action Model이다. 이 표현은 시각 예측을 과제 관련 객체 및 상호작용 영역에 그라운딩(grounding)하여 행동 생성을 이끌고, 인간 영상과 로봇 영상 간 공유 상호작용 목표를 제공한다. 사전학습된 비디오 확산 트랜스포머 위에 구축된 AffordanceWAM은 Masked Joint Self-Attention으로 결합된 별도 파라미터화된 World Expert와 Action Expert를 사용하여, 통합 flow-matching 목적 하에서 미래 RGB 관측, Scalar Affordance 필드, Affordance Heatmap, 연속 로봇 행동을 공동으로 예측한다. 인간 영상은 세 가지 미래-World 스트림 모두를 감독하고, 로봇 궤적은 추가로 행동 감독을 제공하여, 인간 행동 라벨이나 리타게팅(retargeting) 없이 전이(transfer)를 가능하게 한다. RoboCasa, CALVIN ABC→D, 실세계 조작 실험에서 RGB만 사용하거나 로봇 데이터만 사용하는 기준선 대비 일관된 향상을 보인다. 고정된 로봇 감독 하에서 RoboCasa 성능은 어포던스 주석이 달린 인간 영상 규모가 커질수록 단조 증가한다. 이러한 결과는 어포던스가 비전-언어-행동(vision-language-action) 학습과 인간-로봇 전이 모두에 효과적인 인터페이스임을 뒷받침한다.