PyTorchKR Papers

최신 논문

총 2,515편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.16590v1cs.AI

AstroMemBench: 구현형 우주선 에이전트의 메모리 시스템을 위한 벤치마크

AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents

장기 우주선 자율 운용을 위해서는 구현형 에이전트가 통신 지연, 시간이 촉박한 운용, 환경 불확실성, 복잡한 물리적 상호작용, 전력 및 연산 제약, 안전성 및 신뢰성 요구 사항 아래에서 운용 이력을 활용해야 한다. 본 논문은 AstroMemBench와 함께, 이러한 요구 사항을 실행 가능한 메모리 테스트로 대응시키는 시나리오-과제-역량(Scenario-Challenge-Capability) 설계 방법을 제안한다. 이 벤치마크는 행성 표면 작업, 궤도상 정비, 심우주 탐사에 걸친 아홉 가지 과제에서 140개의 템플릿과 2240개의 인스턴스를 통해 16개의 메모리 하위 과제를 다룬다. 결정론적 환경은 과제 완료, 상태 변화, 안전성, 자원 사용 측면에서 행동을 평가한다. 아홉 가지 조건에서의 제거 실험(ablation) 결과, 이 벤치마크는 에이전트가 과거 정보를 얼마나 정확하게 복원하고 활용하는지, 그리고 메모리 시스템 설계의 차이에 민감하게 반응함을 보인다. 주요 실험에서는 여섯 가지 구성을 비교한다. Mem0, Chain-of-Memory, LightMem, 검색 증강 생성(RAG)은 동일 세션 평균 점수에서 기본 Pi Agent보다 향상되었으며, 세 가지 메모리 시스템이 RAG에 비해 뚜렷한 우위를 보이지는 않았다. 세션 재시작 후에는 Mem0가 RAG보다 12.25점 높은 성능을 보였다. 이점은 지속적인 상태 추적과 에너지 예비 확보보다 지시 사항 유지와 결과 재사용에서 더 크게 나타났다. AstroMemBench는 구현형 우주선 에이전트를 위한 메모리 시스템의 설계, 개발, 선정을 지원한다. AstroMemBench 1.0과 평가 코드는 https://github.com/flyingView/AstroMemBench-v1 에 공개되어 있다.

arXiv:2611.14958v1cs.RO

시차 정제와 로봇 자체 운동을 통한 새로운 장면에서의 단안 깊이 추정 적응

Adapting Monocular Depth Estimation in Novel Scenes through Disparity Refinement and Robot Ego-Motion

장면의 기하학적 이해는 새롭고 구조화되지 않은 환경에서 안전하고 효율적인 로봇 운용을 위한 핵심 요소이다. 최근 단안 깊이 추정(MDE) 파운데이션 모델의 등장은 값비싼 탑재 하드웨어(예: LiDAR와 스테레오 카메라)를 대체하면서 조밀한 장거리 깊이 예측으로 로봇 인지 능력을 강화할 기회를 제공하였다. 그러나 이러한 오프라인 모델은 주로 아핀 불변 깊이 표현으로 학습되며, 새로운 장면으로의 일반화는 아직 불분명하다. 본 연구는 파운데이션 모델의 상대 깊이 입력을 로봇 운용 중 수집한 관측으로 미터법 스케일에 맞춰 온라인으로 적응시키도록 학습하는 단안 깊이 추정 모델 EM-ViT를 제시한다. 스테레오 카메라 매개변수화에서 착안하여, 본 방법은 깊이 예측을 장면의 상대적 구조를 복원하는 조밀 시차 정제와 누락된 미터법 스케일을 결정하는 유효 기준선 스칼라 예측으로 분해한다. 학습 과정은 희소한 LiDAR 점과, 선택적으로 로봇의 자체 운동(EM)을 활용하여 경량 비전 트랜스포머(ViT)를 빠르게 학습시키며, 내부 그래디언트 매칭 손실은 입력 시차의 세밀한 의미적 구조를 실시간으로 보존한다. KITTI와 같은 공개 시퀀스에서 본 방법의 효과를 입증하고, 본 온라인 학습 파이프라인이 기존 MDE 파운데이션 모델보다 더 빠르고 더 높은 정확도로 새로운 장면에 적응할 수 있음을 보인다. 코드와 보충 자료는 https://emvit-mde.github.io 에 공개될 예정이다.

arXiv:2611.14955v1cs.RO

사후-사전 인식론적 격차: 세계 모델의 상상이 과제 관련 신호를 전달하지 못할 때

The Posterior-Prior Epistemic Gap: When World Model Imagination Fails to Carry Task-Relevant Signals

상상된 미래를 롤아웃하는 모델 기반 계획기는 전이 모델이 과제 관련 신호를 충실히 전파한다고 가정하지만, 이 성질은 직접 측정되는 경우가 드물다. CARLA 주행 시뮬레이터에서 능동 추론 계획을 사용하는 순환 상태 공간 모델(Recurrent State Space Model) 세계 모델에 대한 단일 시드 사례 연구에서, 본 연구는 \textbf{사후-사전 격차}를 확인한다. 사후(관측으로 필터링된) 상태는 장애물 정보를 유지하는 반면 상상된 롤아웃 상태는 이를 점차 잃는다. 지도 학습된 장애물 프로브는 사후 상태에서 AUC 0.85를 달성하지만, 동일한 프로브를 상상된 사전 상태에 적용하면 단조 감소를 보인다(15단계에 걸쳐 AUC 0.85$\rightarrow$0.71, 로짓 분리도 57\% 감소). 프로브가 동일하므로, 이 감소는 정보 병목이 표현이 아니라 전이 모델에 있음을 분리해 보여 준다. 특권적 런타임 좌표가 없으면 장애물 회피율은 0\%로 떨어지며, 계획기 자체의 앙상블 기반 인식론적 항은 이 손실을 알리지 못한다. 앙상블 불일치는 장애물 분류기로서 AUC 0.52(우연 수준)를 보이며, 이는 이 실패를 계획 시점에는 알 수 없는 미지의 미지, 즉 경고되지 않는 상상 실패로 만든다. 부차적 기여로, 동일한 세계 모델 위에서 \textbf{유효 자유 에너지 구성 요소의 과제 조건부 가중}이 CARLA 시뮬레이터에서 차선 유지(경로 완주율 $81.2 \pm 1.8$\%)와 장애물 회피(28/28 회피, \emph{특권 좌표 사용})를 달성함을 보이며, 런타임 가중치 조절은 회피 후 중앙 복귀를 가능하게 한다.

arXiv:2611.15217v1cs.RO

우리는 눈길 자율주행(Snow-tonomous Driving)에 준비되어 있는가? 극한 날씨에서 강건한 자동 주행을 향한 과제

Are We Ready for Snow-tonomous Driving? Challenges Toward Robust Automated Driving in Extreme Weather

자동 주행은 지난 10년간 눈에 띄는 추진력을 얻었으며, 산업계와 학계 모두 차량 자율성을 높이기 위한 인지 및 제어 솔루션 개발에 상당한 자원을 투입해 왔다. 그러나 이러한 노력은 대체로 맑은 날씨 시나리오에 집중되었고, 눈, 비, 안개와 같은 악조건은 상대적으로 덜 연구되었다. 그 결과 악천후는 여전히 자율주행차에 가장 큰 장애물 중 하나로 남아 있으며, 하위 인지 및 제어 작업에서 상당한 성능 저하를 초래하는 경우가 많다. 본 논문에서는 눈, 비, 안개를 포함한 가혹한 조건에서 운행하는 커넥티드 자동화 차량을 위해 강건하고 날씨를 인식하는 인지 및 제어 모듈을 개발하는 것을 목표로 하는 EU 지원 Horizon Europe 프로젝트 ROADVIEW의 통찰을 제시한다. 여러 지역에서 다양한 차량 플랫폼으로 수행한 4년간의 대규모 개발과 실환경 시연을 바탕으로, 데이터 부족, 도메인 변화, 멀티모달 인지의 한계, 제어 강건성, 검증 격차 등을 포함하여 날씨에 강한 자율성의 발전을 가로막는 열 가지 핵심 과제를 파악하였다. 우리는 이러한 과제와 교훈을 정리하여 신뢰할 수 있는 눈길 자율주행의 실현을 위한 향후 연구와 표준화의 중요한 방향을 제시한다.

arXiv:2611.15524v1cs.RO

테이블 읽기: Chef's Hat 카드 게임을 위한 시뮬레이션-실제 게임 상태 검출

Reading the Table: Sim-to-Real Game State Detection for the Chef's Hat Card Game

테이블탑 게임은 사회적 상호작용과 게임 상태 추적, 물리적 조작을 결합하여 인공 에이전트와 인간 에이전트 간의 상호작용을 연구하기에 매력적인 시나리오를 제공한다. 게임 상태를 파악하려면 로봇이 서로 다른 카드 디자인과 같이 매우 유사한 게임 객체를 정밀하게 검출해야 하는데, 이는 실제 환경에서 주석을 달기 비용이 큰 전용 학습 데이터를 필요로 한다. 이에 우리는 알려진 3차원 좌표의 재투영으로 레이블을 자동 생성하고 도메인 랜덤화로 현실 격차를 메우는 완전 자동화된 합성 데이터 수집 파이프라인을 개발한다. 이 접근법으로 25413개 샘플의 데이터셋을 수집하여 객체 검출 모델과 분할 모델을 미세 조정하고, 두 모델을 결합해 검출된 카드를 게임 관련 구역에 할당하고 게임 상태를 추론한다. 실제 NICO 휴머노이드 로봇에서 평가했을 때, 우리 파이프라인은 카드-구역 할당에서 F1 점수 0.906을 달성하여, 로봇이 인간 플레이어를 상대로 Chef's Hat을 자율적으로 플레이할 수 있는 지각적 기반을 제공한다.

arXiv:2611.15491v1cs.RO

무엇이 VLA를 반응적으로 만드는가? 동적 조작을 위한 실행 전략 연구

What Makes a VLA Reactive? A Study of Execution Strategies for Dynamic Manipulation

비전-언어-행동(VLA) 모델은 미래 행동의 청크를 예측하는데, 물체가 움직이면 이러한 청크는 실행되기 전에 낡은 것이 된다. 우리는 두 개의 동적 시뮬레이션 벤치마크와 세 개의 실제 로봇 과제에서 \pihalf{}를 사용하여 사전학습된 VLA를 반응적으로 만드는 요인을 연구한다. 예측 및 실행 지평을 달리하고, 동기 추론과 비동기 추론을 비교하며, 행동을 더 일찍 전달하거나 연속된 청크를 연속적으로 유지하는 방법을 시험하고, 모션 단서와 잠재 공간 강화학습으로 정책을 적응시킨다. 최적의 예측 지평은 약 1초이고, 최적의 실행 지평은 체크포인트에 따라 다르다. 짧은 지평은 비동기 실행에서 더 큰 도움이 되며, 궤적을 연속적으로 유지하는 방법이 지연 시간만 줄이는 방법보다 우수하다. 정책 적응은 표적 실패를 바로잡지만, 컨베이어 과제에서는 실행 지평을 바꾸는 것만으로도 같은 정도의 이득을 얻었다. 반응성은 정책만큼이나 실행 파이프라인에 좌우되므로 둘을 함께 평가해야 한다.

arXiv:2611.13850v1cs.AI

분류체계에 구애받지 않는 로봇 기구학의 신경기호적 그라운딩

Taxonomy-Agnostic Neurosymbolic Grounding of Robot Kinematics

작업 할당을 위한 기호적 추론에는 로봇의 물리적 능력에 대한 그라운딩이 필요하지만, 표준 통합 로봇 기술 형식(URDF) 파일은 추론에 필요한 형식적 의미 맥락 없이 저수준 기구학만을 제공한다. 우리는 원시 URDF 파일을 채워진 그라운딩된 OWL 온톨로지로 변환하는 자동화된 분류체계 비의존적 신경기호 프레임워크인 URDF2Ontology를 제시한다. 이 프레임워크는 목표 지향적 의미 추론에 거대 언어 모델(LLM)을 활용하고, 컨텍스트 윈도우 포화를 방지하기 위한 반복적 순차 그래프 제거 메커니즘을 결합한다. 복잡한 기구학 구조를 처리하기 위해, 분기 조립체를 위한 상향식 트리 트랙과 직렬 사지를 위한 하향식 체인 트랙으로 구성된 형태 인지 이중 트랙 아키텍처를 채택한다. 신경기호적 가드레일의 안내에 따라, 이 프레임워크는 기능적 부분 그래프를 추출하고 사용자가 제공한 임의의 분류체계에 정렬된 채워진 온톨로지를 생성한다. 다양한 이종 로봇 군집에 대한 실증 평가는 강한 스키마 정렬, 유효한 구조 추출, 그리고 수작업 도메인 작성 부담의 상당한 감소를 보여준다.

arXiv:2611.13903v1cs.CV

개방형 어휘 3D 장면 그래프를 이용한 지속적 미터법-의미 해양 장면 기억

Persistent Metric-Semantic Maritime Scene Memory from Open-Vocabulary 3D Scene Graphs

3차원 장면 그래프(3DSG)는 로봇에 공간 추론을 위한 지속적인 미터법-의미 표현을 제공할 수 있으나, 기존 방법은 주로 실내 및 육상 환경을 위해 개발되었다. 본 논문은 대표적인 실외 개방형 어휘 방법이 해양 환경으로 어떻게 전이되는지와 어떤 적응이 필요한지를 조사한다. 실험 결과, 제로샷 대표 실외 3DSG 설명은 본 데이터에서 기하학적으로 뒷받침되는 객체의 다수에 대해 우리가 레이블링한 정답과 일치하지만, 생성된 지도에는 상당한 물리적 개체 단편화가 나타나며 육상 기반의 상위 수준 가정은 해양의 공간 조직 요구를 포착하지 못한다. 따라서 기반 매핑 방법은 유지하고 누적된 증거를 후처리한다. 미터법-의미 통합 방법에 이어, 기하 기반 다중 뷰 비전-언어 모델(VLM) 추론을 적용하여 남은 단편들을 물리적 개체로 조정하고 관측을 통해 개체를 지역 장소로 묶는 방법을 제시한다. 동시에 지도 사전 정보와 탑재된 수면 및 구조물 관측을 사용하여 해양 거시 영역을 구성하고 이를 지역 장소와 연관시킨다. 그 결과 얻은 표현은 기준선과 기하-의미 통합 구성 요소 단독 사용 모두보다 물리적 개체 단편화를 줄이고, 반복된 해양 항해에서 고정된 지역 장소의 대응을 지원하며, 검토를 거친 질의에 대한 맥락 검색을 시험한 기준선보다 개선한다. 이러한 결과는 객체/장소 정체성 및 공간 추상화를 위한 본 방법으로 실외 개방형 어휘 지도를 지속적인 해양 장면 기억으로 적응시킬 수 있음을 보여 준다.

arXiv:2611.14111v1cs.RO

과업 관련 정보의 모델 비의존적 실행 시간 측정

Model-Free Runtime Measurement of Task-Relevant Information

자율 시스템은 물리적 운동학, 환경 상태, 과업 완료 결과를 점점 더 많이 모니터링한다. 기존 연구는 정보 탐색 행동을 계획하고 획득한 관측을 해석하는 방법을 제공하지만, 현재의 접근법은 정보 수집이라는 실시간 과정이 제대로 작동하고 있는지를 모니터링하지 않는다. 그 결과 이러한 시스템은 미해결 임무 요구사항을 해결하지 못한 채 운영상 활성 상태를 유지할 수 있다. 이러한 한계를 해결하기 위해, 우리는 선언된 과업 요구사항에 비추어 관측 가능한 증거로부터 진행 중인 정보 획득을 평가하는 모델 비의존적 아키텍처인 획득 상태 텔레메트리(Acquisition-State Telemetry, AST)를 제안한다. 구체적으로, 도메인 인터페이스가 원시 관측을 과업 해결 좌표와 정규화된 비교 표현으로 사상하고, 이를 고정된 인과적 모니터가 처리한다. 이 모니터는 (i) 미해결 요구사항 전반의 전망적 진행도와 (ii) 반복되는 증거가 미미한 정보 이득만 낳을 때 발생하는 정보 마찰을 정량화하는 두 개의 연속적인 실시간 신호를 출력한다. 우리는 수색 구조 대화, 공간 격자 탐색, 계층적 역량 획득, 연속 로봇 조작, 확률적 의도 추정을 포함한 여덟 개의 다양한 도메인에서 조정하지 않은 단일 모니터 구성을 평가했다. 이들 도메인 전반에서 마찰 채널이 과업 완료 이전에는 비생산적 정체와 목적 있는 탐색을 구별하고, 완료 후 활동 중에는 억제된 상태를 유지함을 보인다. 나아가 조기 종료 제약 하의 폐루프 강화학습 실험에서, 정보 마찰에 페널티를 부과하면 에이전트가 높은 임무 성공률을 유지할 수 있었던 반면, 페널티가 없는 정책과 운영 비용을 동일하게 맞춘 기준선은 필수 과업을 완료하지 못함을 입증한다.

arXiv:2611.14025v1cs.CV

HiPFuse: 엣지 디바이스에서의 로봇 인식을 위한 실시간 LiDAR 의미론적 분할

HiPFuse: Real-Time LiDAR Semantic Segmentation for Robotic Perception on Edge Devices

실시간 로봇 인식은 제한된 자원에서 정확한 LiDAR 의미 정보를 요구한다. 조감도(BEV) 집계는 효율적이지만 열(column) 내에서 서로 다른 레이블의 표면을 혼합할 수 있다. 본 연구는 포인트와 높이로 분할된 BEV 특징을 수평 스케일 간에 교환하여 단일 LiDAR 스캔으로부터 포인트 단위의 세부 정보와 2D 공간 문맥을 결합하는 포인트-BEV 융합 프레임워크 HiPFuse를 제시한다. 고정된 높이 할당은 별도의 수직 집계 그룹을 보존하며, 동일한 3D 셀의 타깃을 이용해 초기 BEV 특징을 보조적으로 지도한다. 이중 스케일 BEV 문맥 모듈은 더 거친 격자로부터 더 넓은 문맥을 추가한다. SemanticKITTI와 MCD에서 HiPFuse는 Jetson AGX Orin 상에서 각각 14.2 FPS와 22.4 FPS로 63.7%와 62.5% mIoU를 달성하여 10 Hz 스캔 속도를 상회한다. 별도의 학습 및 평가를 통해 실내 적용 가능성도 보인다. 고정된 로봇 시스템에서 베이스라인의 의미론적 전단부만 HiPFuse로 교체하면, 두 야외 시퀀스에 걸쳐 오도메트리 절대 궤적 오차 RMSE가 평균 10.6% 감소하고 SemanticKITTI에서 승인된 루프 재현율이 8.7%p 증가한다. 정성적 의미 지도는 더 연속적인 도로 레이블링을 보여준다. 코드는 https://github.com/haiyang2022/HiPFuse 에서 공개되어 있다.

arXiv:2611.14365v1cs.CV

비디오 프레임에서 로봇 메타 프레임으로: 세계 행동 모델을 위한 통합 잠재 인터페이스

From Video Frames to Robot Meta-Frames: A Unified Latent Interface for World Action Models

사전 학습된 비디오 확산 모델(VDM)은 로봇 행동과 미래 관측을 함께 예측하는 세계 행동 모델(World Action Models, WAM)을 위한 강력한 토대를 제공한다. 이러한 모델을 구축하려면 고유수용 감각, 행동, 가치와 같은 저차원 로봇 신호를 자연 비디오로 형성된 잠재 공간에 주입해야 하며, 핵심 설계 선택은 이 신호들이 들어가는 인터페이스이다. 기존 방식은 이를 형식상의 세부 사항으로 취급하여 각 신호마다 별도의 잠재 프레임을 쓰거나 전용 인코더와 디코더를 덧붙인다. 우리는 신호 주입이 오히려 분포 정렬 문제, 즉 노이즈 제거 과정에서 표현이 사전 학습된 VDM의 사전 분포와 얼마나 잘 맞는지의 문제라고 주장한다. 고정된 VDM 노이즈 제거기의 상대 재구성 오차를 탐침으로 사용하여, 기존의 공간적 인코딩은 이 사전 분포에서 크게 벗어나 있는 반면 주파수 영역 패킹은 노이즈 제거기가 훨씬 적게 보정하는 잠재 표현을 만든다는 것을 확인한다. 이 진단 결과에 착안하여 우리는 모든 로봇 신호를 하나의 통합 메타 프레임으로 접어 넣는 MetaWAM을 제안한다. 각 신호는 서로 겹치지 않는 주파수 영역 채널 대역에 할당되고 역 DCT를 통해 공간 잠재 표현으로 올려지며, 추가 모듈이나 구조 변경 없이 사전 학습된 VDM 사전 분포와 정렬된, 복호 가능한 인터페이스를 얻는다. 고정된 대역 배치와 슬롯 인지 라우팅 덕분에 동일한 메타 프레임이 공유된 로봇 변수 집합에 대해 정책, 세계 모델, 가치 예측을 모두 지원한다. RoboCasa에서 MetaWAM은 신호별 프레임을 하나로 합치면서 추론 지연 시간을 39% 줄이고도 68.9%의 성공률에 도달하며, 실제 Franka 과제 3개에서 85.0%의 성공률을 달성한다. 코드와 모델은 https://github.com/showlab/MetaWAM 에서 제공된다.

arXiv:2611.14286v1cs.RO

ForeseeDrive: 예측적 생성 주행을 위한 미래 토큰 조건화

ForeseeDrive: Future-Token Conditioning for Anticipatory Generative Driving

생성형 주행 플래너는 다양한 자차 미래를 표현할 수 있지만, 후속 스코어러는 샘플링된 후보 중에서만 선택할 수 있으며 존재하지 않는 기동을 복원할 수 없다. 우리는 미래 장면 변화를 후보 생성을 조형하는 배포 가능한 인터페이스로 전환하는 ForeseeDrive를 제안한다. ForeseeDrive는 조밀한 미래 상태를 재구성하거나 고정된 메뉴를 채점하는 대신, 기록된 행위자 움직임, 점유 변화, 경로 상호작용, TTC 여유로부터 질의 색인 토큰을 도출하고, 배포 시에는 현재 문맥으로부터 동일한 토큰 공간을 예측한다. 이 토큰은 후보가 구체화되기 전에 궤적 기하를 조건화한다. 제로 토큰 게이트 잔차 경로와 후보 보존 손실은 불필요한 편향을 제한하고, TTC 여유 가드는 취약한 안전-비안전 경계 넘나듦을 겨냥한다. 각 벤치마크 프로토콜에서 ForeseeDrive는 NAVSIM navtest에서 89.2 PDMS, nuScenes 검증에서 평균 L2 0.41\,m와 충돌률 0.05\%, Bench2Drive에서 주행 점수 76.50을 달성한다. 통제된 DiffusionDrive/NAVSIM 진단은 정확한 제로 토큰 무연산(no-op), 보존 조건에서 정렬된 토큰이 섞인 토큰보다 선택된 PDM에서 보이는 작은 이점, 혼재된 오라클 최선 품질, 국소적인 TTC 경계 실패를 보여 준다. 벤치마크 결과와 제한적 메커니즘 검증은 함께 미래 조건화 생성이 예측을 위한 실용적 인터페이스임을 뒷받침한다. 코드는 보충 자료에 포함되어 있다.

arXiv:2611.14257v1cs.RO

Elastic-WAM: 효율적인 로봇 제어를 위한 적응형 시공간 상상

Elastic-WAM: Adaptive Spatiotemporal Imagination for Efficient Robot Control

월드-액션 모델(World-Action Model)은 미래의 시각적 동역학을 예측하여 로봇 제어를 개선하지만, 반복적인 비디오 디노이징은 상당한 추론 오버헤드를 초래한다. 최근 접근법은 부분적인 미래 디노이징으로 이 비용을 줄이지만, 대개 고정된 정제 예산에 의존한다. 우리의 경험적 관찰에 따르면 선호되는 정제 깊이는 과제와 상태에 따라 다르며, 미래의 각 영역이 행동 생성과 갖는 관련성도 서로 다르다. 이러한 발견에 착안하여, 우리는 디노이징 시간(시간 축)과 미래 공간(공간 축)에 걸쳐 월드 정제 연산을 적응적으로 할당하는 Elastic-WAM을 제안한다. 통합된 시공간 정제 수요 필드가 월드 정제를 언제 멈출지, 각 디노이징 단계를 얼마나 진행할지, 어느 영역을 갱신할지를 결정한다. 우리는 이 필드를 공유 시간 기저와 공간 진폭으로 매개변수화하고, 3단계의 행동 기반 지도 학습 절차를 통해 학습한다. 추론 시에는 학습된 필드가 순환적 희소 월드 정제를 안내하여 추론 오버헤드를 줄이면서 과제 성공률을 향상시킨다. 다양한 시뮬레이션 벤치마크와 실제 환경의 장기 조작 과제에서 평가한 결과, 추론 지연 시간을 줄이면서도 최고 수준의 제어 성능을 보였다.

arXiv:2611.14247v1cs.AI

인간-에이전트 협상에서 지속 학습을 통한 개인화된 정서 인식

Personalized Affective Perception via Continual Learning in Human-Agent Negotiation

인간과 협상하는 self-interested 지능형 에이전트는 비언어적 표현을 해석하고 그에 맞게 행동을 조정해야 한다. 그러나 일반적인 얼굴 정서 모델은 개인과 상황이 달라지면 성능이 저하되어 일반화 격차가 발생한다. 우리는 실시간으로 원자가-각성(valence-arousal) 인식을 개인화하기 위해 얼굴 표정 인식을 위한 상상 기반 지속 학습(Continual Learning with Imagination for Facial Expression Recognition, CLIFER)을 도입한 정서 적응형 협상 전략을 제안한다. 차등 피드백은 원자가-각성의 방향과 강도 변화를 에이전트의 목표 효용 조정으로 변환한다. 비동기 아키텍처는 실시간 상호작용 중 백그라운드에서 CLIFER를 갱신한다. 66명의 참가자가 휴머노이드 로봇과 협상한 균형 배치(counterbalanced) 피험자 내 연구에서, 지속 학습(CL)이 적용된 에이전트는 FaceChannel 기준선보다 유의하게 높은 개별 효용을 달성했으며 참가자의 양보율도 더 높게 이끌어 냈다. CL 조건은 더 넓은 출력 범위와 함께 유의하게 높은 평균 각성 추정치를 보였다. 참가자 효용과 내시 거리(Nash distance)는 조건 간에 유의하게 변하지 않았다. 이러한 결과는 지속적인 정서 개인화를 차등 피드백과 결합하는 것이 실시간 협상에서 실질적 가치가 있음을 뒷받침한다.

arXiv:2611.14470v1cs.RO

TanCRAFT: 조립 작업을 위한 맥락 추론 기반 예측적 피드백

TanCRAFT: Context-Reasoned Anticipatory Feedback for Assembly Tasks

물리적 조립 작업에서 인간의 실수를 방지하려면 실수가 발생하기 전에 개입할 수 있는 지원 시스템이 필요하다. 이는 사용자가 조립 순서를 자유롭게 선택할 수 있고 정확성이 고정된 다음 단계가 아니라 진행 중인 조립 상태에 따라 결정되는 환경에서 특히 어렵다. 본 논문은 장면 상태를 추적하고, 현재의 부분 조립 상태에 대해 추론하며, 조작 중인 조각의 가까운 미래 움직임을 예측하고, 예측된 배치가 목표와 맞지 않을 때 개입하는 4단계 실시간 예측 지원 시스템 TanCRAFT를 제시한다. 우리는 이 프레임워크를 구현하고, 통제된 칠교 조립 과제에서 오프라인 벤치마크와 피험자 내 사용자 연구를 통해 그 효과를 확인한다. 연구 결과, 예측적 피드백은 안내 없는 세션 및 반응형 세션에 비해 실수를 유의하게 줄이면서, 평균 체감 작업 부하가 가장 낮고 평균 완료 시간이 가장 짧았다. 종합하면 이러한 결과는 오류 방지를 위한 예측적 피드백의 가치를 보여 주며, 자동화와 인간-로봇 작업 셀을 위한 비용 인식 지원으로 나아가는 한 걸음이 된다.

arXiv:2611.14440v1cs.CV

UGG: 통합 생성적 기하 모델

UGG: Unified Generative Geometry Model

4D 장면 이해는 부분 관측으로부터 장면의 기하, 외관, 동역학을 함께 포착해야 하는 시각 지능의 핵심 과제이다. 그러나 기존 접근법은 직접적인 기하 예측을 위한 피드포워드 모델과 시각 합성을 위한 생성 모델로 나뉘어 있다. 우리는 RGB 비디오와 깊이, 카메라 자세 같은 기하 표현을 함께 모델링하는 4D 장면 이해용 통합 프레임워크 UGG를 소개한다. UGG는 양식과 시간에 걸쳐 서로 다른 잡음 수준을 할당함으로써 시각 생성과 기하 예측을 단일 생성 모델 내의 조건부 완성으로 정식화한다. 이러한 유연한 정식화는 기하 및 시각 주석의 서로 다른 부분집합을 가진 다양하고 이질적인 데이터셋으로부터 모델이 학습할 수 있게 한다. 나아가 이 생성적 정식화는 관측된 RGB 프레임에서 추출한 기하적 증거를 이용해, 정답 기하 없이도 기하 예측을 개선하도록 여러 그럴듯한 장면 가설에 대한 추론 시점 탐색을 가능하게 한다. 카메라 제어 비디오 생성, 깊이 추정, 카메라 자세 예측에서, 어려운 희소 관측 설정을 포함하여 비통합 기준선 대비 UGG의 효과를 입증한다. 코드와 시각화는 https://ugg-model.github.io/ 에서 확인할 수 있다.

arXiv:2611.14432v1cs.RO

100가지 가사 작업을 위한 하나의 정책: 2026 BEHAVIOR 챌린지 솔루션

One Policy for 100 Household Tasks: Our Solution for the 2026 BEHAVIOR Challenge

본 논문은 OmniGibson 시뮬레이터에서 100가지 장기 호라이즌 가사 작업을 다루는 2026 BEHAVIOR 챌린지에 대한 우리의 솔루션을 기술한다. 우리는 최종 리더보드에서 9위를 기록했으며, 상위 10위권에 든 유일한 독립 팀이다. 솔루션의 핵심은 100개 작업 전체에 하나의 체크포인트를 사용하는 단일 비전-언어-행동(VLA) 모델이며, 이는 $π_{0.5}$를 기반으로 한 우리의 2025년 1위 솔루션을 토대로 구축되었다. 2025년과 공통된 50개 작업에서 Q는 0.260에서 0.371로 상승하였고, 100개 작업 전체에서는 0.392를 기록한다. 2025년의 주된 결론은 모델이 과소 학습되었다는 것이었으므로, 2026년의 작업 대부분은 모델을 더 오래 학습시키고, 일부 학습 파라미터를 최적화하며, 각 학습 단계를 약간 더 빠르게 만들고, 그래디언트 잡음을 줄이는 데 투입되었다. 구체적으로는 50개에서 100개 작업으로의 이행(시연의 기술 주석으로부터 구성한 의미적 단계, 유사한 기존 작업으로 웜스타트한 새 작업의 작업 및 단계 임베딩, 원격 조작 제어에 부합하는 21차원 행동 공간), 관측당 행동 전문가 샘플 수를 절제 실험 없이 선택하게 해 주는 단순한 잡음 대비 연산량 모델을 갖춘 분산 감소형 다중 샘플 플로 매칭, 그리고 시연 데이터의 2.11억 프레임을 대략 한 번 순회하는 20만 스텝의 학습이다. 클라우드 평가 인프라는 출처, 에피소드 진단, 복원 가능한 시뮬레이터 상태를 담은 공유 기록을 유지하며, 하나의 GPU에서 여섯 개의 시뮬레이터를 함께 실시간보다 빠르게 실행한다. 학습된 정책 위에서, 14개 작업은 관측 및 동작 도구를 통해 로봇을 제어하는 GPT-6 Astra 코딩 에이전트로 라우팅되며, 모든 에피소드는 학습 인스턴스에서 수행한 자체 연습 세션의 고정된 사본에서 시작한다. 이 14개 작업에서 Astra의 평균 Q는 0.639로, 학습된 정책의 0.108에 비해 높다. 공개 제출에는 Astra 결과의 일부만 포함되었으며 Q 0.446, 전체 작업 성공률 27.3%를 기록했다.

arXiv:2611.13840v1cs.NE

생체모방 지능을 위한 컴퓨팅 기반으로서의 진동 처리 장치

Oscillatory Processing Units as a computing substrate for biomimetic intelligence

생물학적 지능은 감각, 기억, 행동을 연결하는 신경 활동에서 나타난다. 시냅스 가소성, 뉴런 집단, 진동은 생체모방 컴퓨팅의 원리를 제공하지만, 이를 재사용 가능한 연산으로 옮기려면 명확히 정의된 계산 단위가 필요하다. 본 논문은 리듬을 공유하는 합성 뉴런의 집단인 진동 처리 장치(Oscillatory Processing Units, OPU)를 제안한다. OPU 간의 방향성 상호작용은 들어오는 활동과 이전에 수신한 상태를 진동 점유 공간(Oscillatory Occupancy Space, OOS)으로 변환하며, 이 공간은 이후의 계산에 활용될 수 있다. 본 논문은 소스–수신자 조건과 진동 조직화가 기하, 지속성, 이력 접근성을 포함한 이러한 변환을 결정함을 보인다. 측정된 관계의 아틀라스는 예측된 응답 클래스를 이용한 전향적 구성을 뒷받침한다. 구성된 회로는 고정된 시냅스 가중치로 논리 연산과 수치 연산을 수행하고, 연상 회상을 표현하며, 폐루프 의사결정을 생성한다. OPU와 OOS는 경험이 새로운 입력이 행동이 되는 상태의 일부로 남는 생체모방 지능의 컴퓨팅 기반을 확립한다.

arXiv:2611.13779v1cs.RO

유연성 또한 필요하다! 순응성이 제어에 도움이 되는 이유: 순응형 발목을 가진 수동 보행기의 정보 지표

Softness is something you also need! Why compliance helps control: information metrics of a passive walker with compliant ankle

강체 또는 (부분적으로) 순응형 구성 요소로 만들어졌는지와 관계없이, 지능형 로봇과 자연적으로 진화한 동물 및 식물 사이에는 적응성, 유연성, 숙련도에서 여전히 큰 격차가 존재한다. 그 이유 중 하나는 '패러다임'의 성격에 있을 수 있다. 한편으로 대부분의 로봇(강체와 연성 모두)은 여전히 하향식 제어와 뚜렷한 심신 분리를 갖는 '데카르트적' 접근을 따라 설계된다. 생물학에서 관찰되는 원리에 기반하여 인공 에이전트를 설계하는 일은 쉽지 않다. 동물과 식물의 조직화 원리는 형태학적 계산과, 느슨하게 결합된 체화 에이전트 네트워크로부터 적합한 행동이 창발하는 것에 의존한다. 모델링과 제어에는 근본적으로 새로운 접근이 필요하다. 본 논문에서는 수년 전에 이미 발표된, 정보 지표와 에이전트의 동역학을 연결하는 몇몇 기초적인 수학적 결과를 간략히 상기하고 설명한다. 이를 우리와 학계가 개발한 최근 방법들과 통합하고, 그 관련성에 대한 간략한 소견을 제시하며, 완전 또는 부분 순응형 인공 에이전트의 모델링과 제어를 위한 구체적이고 효율적인 방법을 찾고 자연 속 물리적 지능을 더 잘 이해하기 위한 현재와 가까운 미래의 연구를 시사한다. 우리는 제안한 프레임워크에 따라 도립 진자 및 수동 동역학 보행 모델의 위상 공간 부피 계산을 요약한 기술 노트를 제시한다. McGeer 컴퍼스 보행에서 출발하여 무릎-발목 순응성, 발 로커 효과, 다리 관성이 분포된 Ruina 방식의 컴퍼스 보행을 도입한다. 표준적인 뒤꿈치 충돌 사상을 유도하고, 상태 의존적 몬테카를로 방법과 재생 커널 힐베르트 공간(RKHS) 방법에 기반하여 유효한 위상 공간 부피 $W(\gamma)$의 추정에 사용한다. 또한 RKHS에 기반한 방법이 더 깊고 섬세한 분석을 가능하게 함을 보인다.

arXiv:2611.13769v1cs.RO

깊이에서 안전한 깊이로: 이동 로봇 내비게이션을 위한 불확실성 인지 단안 인지

From Depth to Safe Depth: Uncertainty-Aware Monocular Perception for Mobile Robot Navigation

단안 깊이 파운데이션 모델 덕분에 이동 로봇의 깊이 센서를 단일 RGB 카메라로 대체하고 싶어지기 쉽다. 우리는 이를 그대로 사용하는 것이 안전하지 않음을 보인다. 시뮬레이션된 실내 내비게이션 벤치마크에서 Depth Anything V2(미터법)로 구동되는 표준 Nav2 스택은 120개 에피소드 중 63\%에서 충돌하는데, 이는 모델이 가까운 장애물까지의 거리를 체계적으로 과대 추정하기 때문이다. 우리는 예측된 깊이를 \emph{안전한 깊이}로 바꾸는 경량 플러그인 모듈을 제안한다. \emph{고정된} 깊이 모델 위에 얹은 0.58\,M 매개변수의 헤드가 픽셀별로 로그 깊이 보정값 $\mu$와 불확실성 $\sigma$를 예측하며, $\beta$ 가중 가우시안 음의 로그 가능도로 학습된다. 내비게이션 스택은 단측 경계 $\hat d_{\text{safe}}=d\,e^{\mu-k\sigma}$를 사용하며, 여기서 $k$는 별도로 분리해 둔 월드에서의 등각 보정(conformal calibration)으로 설정되고, 불확실성은 어떤 픽셀을 바닥으로 취급할 수 있는지도 결정한다. 이 보정은 깊이 오차를 절반으로 줄이고(AbsRel $0.262\rightarrow0.134$), 근거리 과대 추정을 59.8\%에서 12.0\%로 낮춘다. 내비게이션에서 안전한 깊이는 성공률을 37\%에서 70\%로 높이고 충돌을 63\%에서 3\%로 낮추어, 실측 깊이의 2\%에 근접한다. 동일한 픽셀 커버리지로 보정된 일정한 안전 마진은 로봇을 멈추게 하기 때문에 성공률이 30\%에 그치며, 불확실성 인지 안전 방식은 이에 대해 불일치하는 56개의 쌍 에피소드 중 52개에서 우세하다. 이러한 이득은 유리, 질감 없는 벽, 어두운 영역에서도 유지된다.