PyTorchKR Papers

업데이트된 논문

총 278편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.23211v2cs.CV

운전 능력 저하를 모델링하는 멀티모달 마스크 확산 오토인코더

Multimodal Masked Diffusion Autoencoder for Modeling Impaired Driving

주의 산만이나 스트레스와 같은 사람의 인지 상태, 시선, 행동은 운전 환경과 복잡하게 상호작용한다. AI는 이를 바탕으로 운전자를 지원할 수 있으나, 인지 상태의 수준을 나타내는 정답 레이블을 대규모로 수집하려면 비용이 많이 든다. 운전 능력 저하 예측에 자기지도 목적함수를 추가한 멀티모달 마스크 확산 오토인코더 ID-MAE를 제안한다. 마스킹된 토큰으로 주어진 능력 저하 레이블을 예측하는 동시에 마스킹된 시선과 주행 궤적도 복원한다. 모달리티와 능력 저하 유형이 추론에 미치는 영향을 살펴보기 위해 주행 시뮬레이터 데이터셋 DIVERT를 소개한다. 참여자 109명의 주행 데이터 103시간으로 구성되며, 인지·시각·정서 상태에 영향을 주는 10가지 조건 아래 시선, 차량 상태, 장면 영상을 기록했다. ID-MAE는 DIVERT와 기존 데이터셋 모두에서 운전 능력 저하 추론 성능을 크게 개선했으며, 주행 궤적과 시선 예측 등 추가 과제에서도 높은 성능을 보였다. DIVERT에서 위치를 맞춘 사례 쌍으로 운전 능력 저하를 탐지한 결과, 제안 모델의 쌍별 AUC는 0.706이었다. 복원 손실을 쓰지 않았을 때의 0.590 및 기존 기준선보다 높았다. 입력 모달리티, 마스킹 방식, 위치 인코딩, 어텐션 메커니즘, 디코딩을 바꾸며 설계 선택지를 조사했다. 학습과 추론에서 여러 유형의 능력 저하가 어떻게 상호작용하는지도 검토했으며, 시각적 부담이 큰 주의 분산이 인지적 주의 분산과 구별될 수 있음을 보였다. 코드와 데이터는 논문이 채택되면 공개할 예정이다.

arXiv:2611.23056v2cs.RO

RFW-S: 독립 시뮬레이션으로 검증한 변형 가능 일상 물체

RFW-S: Everyday Deformable Objects with Independent Simulation Verification

대규모 로봇 시뮬레이션에는 물리 특성을 시뮬레이터에서 구현할 수 있고 실제와 유사하게 상호작용하는 다양한 변형 가능 물체가 필요하다. 그러나 기존 3D 에셋 모음은 주로 시각적 다양성에 초점을 두며, 물리 모델을 대규모로 구성하고 검증하기는 여전히 어렵다. 시뮬레이션으로 검증한 에셋 83,365개로 구성된 대규모 데이터셋 RFW-S를 소개한다. 부드러운 고체, 천 시트, 얇은 껍질 구조, 의류, 가방이라는 다섯 가지 구조 유형에 걸쳐 일상 물체 485개 범주를 담는다. 참조 자료에 따른 3D 생성, 구조를 고려한 물리 모델링, 대규모 언어 모델(LLM)이 지원하는 매개변수 추정과 보정을 결합한 자동화 파이프라인을 개발했다. 물리 응답의 신뢰성을 확인하기 위해 매개변수 보정에 쓰지 않은 별도의 상호작용 조건에서 물체의 동작을 평가하는 독립 시뮬레이션 검증 방식을 도입했다. 여러 실험에서 독립 검증의 효과를 입증하고, 물리적 설정에 따라 변형 응답이 어떻게 달라지는지 분석했다. 로봇의 물체 집기를 과제 성공 여부와 물체의 손상 여부로 평가했다. 깨지기 쉬운 물체의 조작을 시뮬레이션에서 실제 환경으로 옮겨 재현해 모의 물체의 물리적 사실성도 입증했다. RFW-S는 물리적 근거가 있는 시뮬레이션과 체화 로봇 학습을 대규모로 수행할 토대를 제공한다.

arXiv:2611.22275v2cs.RO

Heave-Ho: 여러 휴머노이드의 분산형 장기 협업

Heave-Ho: Decentralized Long-Horizon Multi-Humanoid Collaboration

휴머노이드가 협력하면 한 대로는 할 수 없는 과제를 수행할 수 있다. 이를 위해서는 전신을 사용하는 상호작용을 조율하고, 일관성 있게 장기 계획을 세우며, 로봇 사이의 동작을 정밀하게 동기화해야 한다. 여러 휴머노이드가 장시간 협력해 이동하고 물체를 조작하는 분산형 프레임워크 Heave-Ho를 소개한다. 저수준에서는 다중 에이전트 사후 학습으로 휴머노이드 추종용 파운데이션 모델을 로봇 사이에 물리적으로 결합된 상호작용에 적응시킨다. 각 로봇은 국소 관측만으로 조율된 분산 제어를 수행할 수 있다. 고수준에서는 비전-언어 계획기를 학습시키고, 네트워크 통신 없이 분산 실행을 동기화하는 음성 기반 리더–팔로워 조율 기제를 설계한다. 동일한 휴머노이드 두 대로 학습했지만, 재학습 없이 최대 열 대의 팀으로 확장할 수 있고 기종이 다른 팀에도 적용할 수 있다. 기종이 다른 팀을 포함해 휴머노이드 2~10대가 참여하는 과제 12개를 담은 HH-Bench를 소개한다. 체계적인 평가에서 Heave-Ho는 기준선보다 일관되게 성능이 높았으며, 실제 환경 실험에서도 난도 높은 여러 과제에서 강건한 분산 협업을 보였다.

arXiv:2611.20011v2cs.CV

ReactBench-AD: 주행용 비전-언어-행동 모델과 월드-행동 모델은 경로상의 임박한 위험에 반응하는가?

ReactBench-AD: Do Driving VLAs and World-Action Models React to Imminent Hazards in Their Path?

비전-언어-행동 모델(VLA)과 월드-액션 모델(WAM)은 롱테일 시나리오에 대한 강력한 일반화를 기대하게 하며 자율주행 분야에 등장했다. 이들 모델은 자율주행 벤치마크에서 최고 수준의 결과를 달성하지만, 기존 벤치마크 대부분은 정상 시나리오가 지배적이어서 이러한 기대를 검증할 수 없다. 안전에 핵심적인 롱테일 능력 중 하나를 검증하기 위해, 우리는 자차의 경로에 나타나는 객체에 주행 모델이 어떻게 반응하는지를 측정하는 벤치마크 ReactBench-AD를 소개한다. 실제 NAVSIM 및 PhysicalAI-Autonomous-Vehicles 장면을 기반으로 하는 ReactBench-AD는 횡단하는 보행자, 서 있는 보행자 또는 정차한 차량을 모든 카메라 시점과 과거 프레임에 걸쳐 일관되게 합성한다. 따라서 편집된 각 장면은 원본과 정확한 픽셀 수준의 반사실적 쌍을 이루며, 이를 통해 삽입된 객체가 예측 궤적에 미치는 인과적 효과를 분리할 수 있다. 네 개의 VLA와 두 개의 WAM을 평가한 결과, 이들은 약하게 반응하며 거의 반응하지 않는 경우도 많음을 발견했다. 마지막으로, 평가한 VLA 중 하나인 ReCogDrive가 임박한 위험에 급제동하도록 얼마나 쉽게 학습될 수 있는지를 시험한다. 편집된 장면에 대한 짧은 미세 조정 단계만으로 반응이 크게 개선되며, 학습된 행동은 보지 못한 객체와 완전한 실제 장면으로 일반화되고 정상 주행에 대한 비용은 미미하다. 이러한 결과는 이들 모델의 기본 상태에서의 롱테일 능력에 의문을 제기하지만, 적은 추가 학습으로 그 능력을 습득하는 강력한 기반이 될 수 있음을 시사하며, 정상 데이터셋에는 드물게 포함된 롱테일 행동을 보여 주는 실제 또는 합성 데이터의 가치를 부각한다.

arXiv:2611.09892v2cs.RO

에이전트형 조작 정책에 관하여

On Agentic Manipulation Policies

최근 로봇 조작 연구는 시연으로 학습한 전문가 정책에 초점을 맞추어 왔다. 본 논문은 범용 AI 모델이 비전-언어-행동 모델(VLA)과 월드-행동 모델(WAM) 같은 전문가 정책보다 더 안정적으로 매니퓰레이터를 제어할 수 있음을 보인다. 범용 AI 모델이 매니퓰레이터를 직접 지휘하며 과제가 진행됨에 따라 행동을 조정하는 에이전트형 조작 정책(AMP)을 체계적으로 분석한다. 단일 팔, 양팔, 모바일 조작 전반에서 변경 없이 실행되는 참조 하니스 AMP1을 제시한다. AMP1은 시연이나 과제별 학습 없이 RoboLab-120과 CaP-Gym 벤치마크에서 최고 수준의 결과를 달성한다. RoboLab-120에서 AMP1은 제로샷으로 85.6%의 성공률에 도달하며, 이는 선도적인 VLA 및 WAM 정책의 49.2%, 42.9%와 비교된다. 이 에이전트는 12개 과제와 3개 로봇 인스턴스에 걸친 108회의 실제 시도 중 104회에서 제로샷으로 성공하여, 강력한 VLA 및 WAM 기준선 대비 실패율을 각각 20배, 15배 줄였다. 기본 하니스는 잡기, 밀기, 놓기 기술을 제공하지 않으며, 에이전트는 숨겨진 물체 탐색, 물체를 도구로 사용하기, 카메라 보정 등 스스로 전략을 개발한다. 지속적 메모리 저장소를 추가하면 에이전트는 경험으로부터 학습할 수도 있다. 에피소드 간에 이어지는 메모리 표현을 갖춘 확장 하니스는 RoboDojo 양팔 조작 과제에서 제로샷 배포 대비 실패율을 4.6배 낮춘다. 본 분석은 AMP가 전문가 조작 정책보다 훨씬 더 범용적이고 견고하며, 로봇 조작을 위한 유망한 기반을 제공함을 시사한다.

arXiv:2611.08144v2cs.RO

강화학습에서 환경-트레이너 경계의 무음 결함 탐지

Detecting Silent Faults at the Environment-Trainer Boundary in Reinforcement Learning

로봇 강화학습은 환경을 트레이너 외부, 즉 다른 프로세스, 다른 머신, 다른 언어에서 실행하는 경우가 점점 늘고 있다. 이 경계에서 발생하는 많은 결함은 오류를 일으키지 않는다. 우리는 이 경계를 와이어 프로토콜로 만들고, 무엇이 그 안의 결함을 알아차리는지를 묻는다. Pendulum, HalfCheetah, Hopper, 그리고 7관절 로봇 팔(Pusher)에서, 와이어를 통과하는 값에 최대 23개의 결함을, 트레이너의 로그에 2개의 결함을 주입하였으며, 그 범위는 하나의 값부터 모든 값까지였다. 모든 값이 잘못된 경우가 아니라면, 학습 곡선 임계값은 열 번의 실행 중 최대 한 번만 포착했고, 결함 없는 시드 열 개와의 비교는 최대 21%만 포착했다. 1,060개의 최종 정책 전체에 대한 깨끗한 평가도 곡선 결과와 일치하였다. 두 곡선 검사를 모두 통과한 728개의 경계 결함 실행 중 723개는 결함 없는 시드보다 표준편차 3개 이내의 낮은 점수를 기록했으나, 거의 모두가 다른 가중치로 끝났고 보상 결함의 경우 다른 반환값이 기록되었다. 결과가 아닌 실행 자체를 검사하면 모든 결함이 드러났다. 양쪽에서 유지하며 단계별로 비교하는 단계 원장(step ledger)은 한 머신의 Pendulum, Hopper, Pusher와 두 머신에 걸친 Pendulum에서 경계를 넘은 모든 결함을 포착하고 위치를 특정했으며, 결함 없는 실행에서는 오탐이 없었고 Pendulum에서는 학습 시간이 중앙값 기준 3%만 증가했다. 환경 측에서 유지한 에피소드 기록은 트레이너 로그의 결함을 포착했다. 우리는 Gymnasium 1.3과 자체 코드에서 실제로 발견된 이러한 결함과, 다른 이들이 보고한 다섯 개의 멀티 에이전트 라이브러리의 결함을 목록으로 제시하고, 환경 측에서 유지하는 단계 원장과 에피소드 수를 권장한다.

arXiv:2610.20823v2cs.RO

학습 이전의 실현 가능성 상한: 드론 메시 요격을 위한 규모 및 타이밍 한계

Feasibility Ceilings Before Learning: Sizing and Timing Bounds for Drone-Mesh Interception

고정된 지점을 방어하는 요격기 메시는 접근하는 물체의 예측 도착 지점 주위로 퍼져야 한다. 이는 다중 에이전트 로보틱스에서 반복적으로 나타나는 과제로, 반지름 r인 원판을 각각 담당하는 N개의 에이전트가 확률 밀도 위에 퍼져, 그 밀도에서 뽑은 점이 어느 한 에이전트의 원판 안에 들어오도록 하는 것이다. 우리는 어떤 정책을 선택하기 전에 성능을 제한하는 양들에 대한 닫힌 형태의 식을 제시하고, 각각을 몬테카를로 시뮬레이션으로 검증한다. 잡음이 있는 선형 궤적을 외삽하여 예측한 점의 불확실성은 최소제곱 분산 전파에 불확실한 도착 시간에 대한 델타 방법 항을 더하여 구해지며, 시뮬레이션과 1.8% 이내로 일치한다. 촘촘히 배치된 메시의 커버리지 확률은 절대 오차 0.007 이내로 정확한 닫힌 형태의 식을 허용하며, 체적 유사 식도 존재한다. 단순한 면적 비율은 한 가지 상한을 놓친다. 에이전트가 서로 최소 2r 이상 떨어져 있는 한, 어떤 메시도 평면에서 90.69%, 체적에서 74.05%를 넘는 커버리지를 달성하지 못한다. 이 상한은 문제 자체가 아니라 분리 제약에 속한다. 중첩을 허용하면 Kershner의 가장 얇은 덮개 밀도로 대체되어 상한이 사라지며, p=0.80의 교차점 위에서는 이 방식이 더 나은 영역이다. 육각형 배치는 다섯 가지 배열 중 최적이며, 커버리지 제어가 제공하는 중심 보로노이 구성은 작은 예산에서 커버리지의 절반에만 도달한다. 가우시안 가정은 두꺼운 꼬리와 비등방성에서는 보수적이지만 편향에서는 취약하여, 1시그마의 조준점 오프셋은 커버리지 14포인트의 손실을 초래한다. 재배치 팀은 또한 확정 시점을 선택해야 하는데, 허용 가능한 구간이 비어 있을 수 있다. 해당 상한과 비교할 때, 해석적 배치는 구성이 허용하는 수준의 85%를 달성하는 반면 중앙집중식 PPO는 세 개의 학습기 시드에 대해 평균 15%를 달성하며, 널 정책에 대한 쌍체 부트스트랩은 모든 시드에서 0을 포함한다. 우리는 이러한 상한을 어떤 학습 실험보다 먼저 계산하고 모든 결과와 함께 제시해야 한다고 주장한다.

arXiv:2610.05745v3cs.LG

증류하기 전에 생각하라: 선택적 정책 증류를 통한 양자화 VLA의 일반화 회복

Think Before You Distill: Generalization Recovery in Quantized VLAs via Selective Policy Distillation

사후 학습 양자화(post-training quantization)는 표준 평가 조건에서 VLA의 성능을 유지하는 것으로 알려져 있으나, 전정밀도 모델의 견고성과 일반화 능력까지 유지하는지는 아직 충분히 연구되지 않았다. 본 연구에서는 환경 교란 하에서 사후 양자화된 VLA 정책의 견고성과 일반화를 체계적으로 분석한다. 실험 결과, 양자화된 정책은 분포 내 성능이 비슷하게 유지됨에도 미세한 환경 변화에 취약해질 수 있음을 확인하였다. 또한 행동 불일치가 롤아웃 상태의 작은 부분집합에 집중되어 있으며, 교사의 안내는 불일치 정도에 따라 반대의 효과를 낸다는 점을 관찰하였다. 즉 불일치가 큰 상태에서는 성능을 향상시키지만 불일치가 작은 상태에서는 오히려 성능을 저하시킬 수 있다. 이러한 결과는 효과적인 사후 양자화 회복을 위해서는 학생 모델을 전역적으로 증류하기보다 취약한 상태에 선택적으로 개입해야 함을 보여준다. 따라서 본 논문은 고정된 전정밀도 정책을 교사로 사용하여 양자화된 학생의 롤아웃 중 마주치는 취약한 상태를 선택적으로 교정하는, 취약성 인식 온폴리시 증류(On-Policy Distillation, OPD) 프레임워크인 PIVOT-Q(Policy-Induced Vulnerability-Oriented Tuning)를 제안한다. PIVOT-Q는 짧은 구간에 대한 할인 누적 불일치를 사용하여 취약한 상태를 식별하고, 단계 균형 희소 지도를 적용하며, 의도치 않은 변화를 방지하기 위해 행동 앵커(Behavioral Anchor)를 사용한다. 일곱 가지 LIBERO-Plus 환경 변화에 대한 실험에서 여러 VLA 백본과 양자화 방법에 걸쳐 일관된 회복이 나타났다. 특히 PIVOT-Q는 상태 수준 증류 예산의 20%만 사용하면서도 평가된 모든 설정에서 더 작은 분산으로 전체 상태 증류를 능가한다. 코드는 https://github.com/ruanruan-andy/PIVOT-Q 에서 확인할 수 있다.

arXiv:2610.02527v2cs.RO

CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가

CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization

Learned visual reward models score a robot's execution from camera images and an instruction, and are increasingly used to fine-tune robot policies. Two checks decide whether to trust one: the reward model separates successes from failures, and task success rises during training. We show that both checks can pass while the policy learns to act on the wrong object. When a diffusion policy is fine-tuned against the reward model Robometer to open a drawer, task success rises by 10.2 percentage points. Wrong-object failures, which open a different drawer, rise by 10.9 points, whereas the same training on the simulator's task-completion signal raises success alone. A second reward model, RoboReward-8B, behaves the same way, and the effect reappears on a physical robot. This happens because of how the reward scores the policy's own failures. Most failures make little progress and score low, while a wrong-object failure looks like progress and scores well above them. Optimization shifts a policy toward outcomes that score above the executions they compete with, the executions they can take the place of. It therefore turns low-scoring failures into both successes and wrong-object failures, even when the reward model scores successes higher. This rule needs only executions of the initial policy, so it can be tested before training. On a stacking task we predicted which of three object placements Robometer would exploit, and training raised wrong-object stacks from 20% to 69% in that placement and in neither of the others. The same rule gives a check to run before optimization and a repair that needs no labels: scoring each execution again on frames re-rendered with the objects the instruction does not name put back removes the amplification on both tasks and on the robot.

arXiv:2609.18442v2cs.AI

RiskWorld: 자율주행에서의 선택적 궤적 계획을 위한 흐름 유도 점유 진화 기반 위험 인지 월드 모델링

RiskWorld: Risk-Aware World Modeling with Flow-Guided Occupancy Evolution for Selective Trajectory Planning in Automated Driving

자율주행에서 안전한 모션 계획을 위해서는 변화하는 교통 위험을 예측하고 현재 계획된 궤적을 언제 수정할지 결정해야 한다. 본 논문은 공유 점유 예측과 선택적 궤적 대체를 위한 위험 인지 월드 모델링 프레임워크인 RiskWorld를 제안한다. 공간 위험 필드와 시간적 행위자 문맥을 시각적 조감도(bird's-eye-view) 특징과 융합한다. 흐름 유도 진화는 점유와 장면 특징을 이동시키며, 부호 있는 잔차는 이동 후의 점유를 보정한다. 계획 단계마다 하나의 예측을 생성하여 모든 후보에 재사용한다. 각 후보는 현재 상태 지속 기준과 비교되어 음이 아닌 충돌 점수 보정값을 산출한다. 현재 세계 평가로 선택된 궤적이 계획 앵커 역할을 하며, 추가로 예측된 위험이 개입을 유발하고 대안 궤적이 예측 위험과 궤적 오차에 대한 성분별 제약을 만족할 때에만 대체된다. 후보의 기하 구조는 변경되지 않는다. 본 연구는 카메라 특징, 주석에서 도출한 현재 및 과거 행위자 상태, 데이터셋이 제공하는 지도 문맥을 사용하여 nuScenes에서 개루프 계획에 대해 RiskWorld를 평가한다. RiskWorld는 다양한 최신 기준 모델 중 3초의 긴 평가 지평에서 가장 낮은 충돌률과 두 번째로 우수한 평균 L2 오차를 달성하며, 90.81 M 파라미터로 단일 NVIDIA RTX 4090에서 11.5 FPS로 동작한다. 동일 설정 내 절제 실험에서 RiskWorld는 현재 상태 재채점 기준보다 낮은 충돌률을 보이며, 예측 재사용으로 낮은 한계 계산 비용에 추가 후보를 평가할 수 있음을 보인다.

arXiv:2608.06847v2cs.RO

시각적 장소 인식은 무엇에 불변해야 하는가? 시각적 장소 인식에서 조건 불변성의 재고

What Should Visual Place Recognition Be Invariant To? Rethinking Condition Invariance in Visual Place Recognition

시각적 장소 인식(Visual Place Recognition, VPR)에서의 조건 불변성은 일반적으로 한 조건의 질의를 다른 조건의 데이터베이스와 매칭하여 평가한다. 이는 질의의 조건이 데이터베이스의 조건과 다를 때 동일한 장소를 인식하는 능력을 검증한다. 그러나 넓은 환경을 지도화하기 위해 데이터베이스는 여러 로봇이 수집한 이미지나 서로 다른 조건에서의 여러 번의 주행을 통해 수집한 이미지로 구축될 수 있다. 이러한 설정에서는 데이터베이스 이미지 간의 조건 차이에 대해 불변을 유지하는 능력인 조건 무감각성(condition blindness)이 중요해지지만, 표준적인 교차 조건 평가는 이 능력을 통제된 방식으로 평가하지 못한다. 따라서 본 논문은 조건 무감각성을 통제된 방식으로 측정하기 위해 방해물 증강 재현율(Distractor-Augmented Recall, DAR)을 제안한다. 11개 방법과 6개 데이터셋에 걸친 실험에서 조건 무감각성의 차이가 Recall@1만으로 짐작되는 것보다 클 수 있음을 확인하였다. DAR이 드러내는 조건 무감각성을 개선하기 위해, 후처리를 통해 VPR 기술자가 조건 변화에 더 불변하도록 만드는 세 가지 방법을 비교한다. 이 세 가지 방법 중 INLP를 서로 다른 조건에서의 여러 번의 주행으로 구축된 데이터베이스에 적용하여, 기존 VPR 방법의 성능을 향상시킬 수 있음을 보인다.

arXiv:2608.02014v3cs.RO

MANGO-Grasp: 교차 구현체 정교한 파지를 위한 기하 지향 3D 가우시안 위의 마할라노비스 필드

MANGO-Grasp: Mahalanobis Fields over Geometry-Oriented 3D Gaussians for Cross-Embodiment Dexterous Grasping

교차 구현체(cross-embodiment) 정교한 파지는 구현체별 튜닝을 거의 또는 전혀 하지 않고도 이종의 다지 손에 걸쳐 안정적인 파지를 합성하는 것을 목표로 한다. 기존의 상호작용 중심 방법은 유망한 결과를 달성하지만, 객체 표현이 국소 표면 기하를 충분히 표현하지 못하는 경우가 많고, 손 기술자가 형태와 운동학을 모두 명시적으로 포착하지 못하며, 손-객체 상호작용 모델링이 대체로 등방적이다. 본 논문은 비등방성 상호작용 프레임워크인 MANGO-Grasp를 제안한다. 이 방법은 국소 표면 기하를 더 잘 보존하기 위해 객체를 기하 지향 3D 가우시안 프리미티브로 표현하고, 손을 형태와 운동학을 모두 포착하는 사전학습된 기술자로 인코딩한다. 손-객체 상호작용은 접촉의 방향적 특성을 반영하는 비등방성 마할라노비스 필드를 사용하여 모델링하며, 구현체 전반에서 파지를 실현하기 위한 공유 최적화를 안내한다. CMAP 및 MultiGripperGrasp 벤치마크에서 MANGO-Grasp는 시뮬레이션에서 가장 강한 기존 손(seen-hand) 기준선을 최대 8.24 퍼센트포인트 앞선다. 또한 보지 못한 SharpaWave 손으로 제로샷 전이가 가능하여 가장 강한 제로샷 기준선보다 최대 16.57 퍼센트포인트 향상되며, 실제 환경 실험에서 86%의 성공률을 달성한다. 코드와 추가 자료는 https://connor-zh.github.io/MANGO-Grasp/ 에서 확인할 수 있다.

arXiv:2608.01802v2cs.AI

CoNav-UAV: 슈타켈버그 학습을 통한 협력적 이중 고도 공중 내비게이션

CoNav-UAV: Cooperative Dual-Altitude Aerial Navigation via Stackelberg Learning

항공 탐색 임무에서는 무인 항공기(UAV)가 대상의 외형과 주변 환경에 대한 짧은 설명만으로 목표물을 찾아야 하는 경우가 많으며, 이를 목표 지향 항공 시각-언어 내비게이션(VLN)이라 한다. 이 과제는 도시 규모의 탐색과 그라운딩, 그리고 충돌 없는 근거리 접근을 요구하는데, 이 두 가지 맞물린 과정은 단일 에이전트 안에서 조화시키기 어렵다. 대부분의 기존 방법은 지상 VLN 패러다임을 단일 UAV에 맞게 적용하고, 그 비효율을 보완하기 위해 외부 지원에 의존한다. 최근의 한 시도는 상호 보완적인 고도에 두 대의 UAV를 배치하지만, 여전히 특권적 센싱에 의존하며 두 에이전트를 독립적으로 학습시켜 상호 적응을 불가능하게 한다. 본 논문은 CoNav-UAV를 제안한다. 이는 두 에이전트 모두 온보드 센싱만 사용하는 가운데, 고고도 리더와 저고도 팔로워 사이의 순차적 의사결정과 비대칭적인 관측 및 효용을 포착하기 위해 과제를 슈타켈베르크 게임으로 모델링한다. 또한 각 에이전트의 역할에 맞게 최적화를 조정하는 반복적 슈타켈베르크 학습(Iterative Stackelberg Learning)을 도입한다. 리더의 상위 수준 시각-언어 추론은 사전학습된 능력에 기반하며 메모리 기반 인컨텍스트 학습을 통해 정제되고, 팔로워의 정밀한 동작 제어는 DAgger 방식의 전문가 증류를 통해 미세조정된다. 두 업데이트를 번갈아 수행함으로써 각 에이전트는 상대의 변화하는 행동에 지속적으로 적응한다. CoNav-UAV는 AerialVLN 벤치마크의 고충실도 도시 장면 세 곳에서 단일 및 이중 에이전트 기준선을 능가한다. 학습 장면에서는 성공률을 최대 30.8 포인트, 리더가 학습된 메모리를 재사용하고 팔로워가 목표 장면 데이터를 2.6-3.7배 적게 사용하여 적응하는 교차 장면 전이에서는 최대 9.0 포인트 향상시킨다. 광범위한 절제 실험은 핵심 구성 요소의 기여와 상호 적응의 이점을 확인해 주며, VLM 백본 전반에서 일관된 향상을 보인다.

arXiv:2606.20118v3cs.RO

Pose6DAug: 로봇 데이터 증강을 위한 물리적으로 타당한 다중 시점 객체 교체

Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation

비전-언어-행동(VLA) 정책은 범용 조작 작업에서 강한 잠재력을 보였으나, 외형이나 기하가 학습 분포에서 벗어난 새로운 분포 외 객체에서는 자주 실패한다. 표준적인 해결책은 모든 실패 사례에 대해 다중 시점 원격 조작 데이터를 수집하는 것이지만, 이는 비용과 시간 면에서 확장성이 떨어진다. 우리는 새로운 데이터 수집 없이 기존의 성공 에피소드를 정책의 실패 유형에 맞춘 시연으로 전환하는 실패 주도형 데이터 증강 프레임워크 Pose6DAug를 소개한다. 핵심 통찰은 각 성공 에피소드가 이미 물리적으로 유효한 행동 궤적과 보정된 다중 시점 관측을 함께 담고 있다는 것이다. 이 궤적을 보존한 채 조작 대상 객체만 교체함으로써 물리적으로 근거 있는 새로운 시연을 얻는다. 그러나 객체 교체를 합성하는 데에는 어려움이 있으며, 예를 들어 단순한 2D 비디오 편집은 특히 심한 가림과 자기중심 시점에서 다중 시점 일관성과 물리적 타당성을 깨뜨린다. 우리의 방법은 대신 3D에서 직접 동작하여, 시간적으로 일관된 6D 자세 궤적으로 구동되는 명시적 메시로 대상 객체를 고정한다. 이는 모든 카메라 시점에서 기하학적으로 일관된 렌더링을 보장한다. 제안 방법으로 증강한 데이터로 VLA를 미세조정하면 새로운 객체에서 최신 기준선 대비 성공률이 16.5% 향상되며, 분포 내 성능은 유지된다. 실제 로봇에서는 기본 정책의 성공률을 두 배 이상으로 높인다. 이러한 결과는 다중 시점 및 물리적으로 일관된 증강이 확장 가능한 VLA 일반화를 위한 실용적인 경로임을 보여준다.

arXiv:2606.19711v2cs.RO

해상 시험 데이터로부터 자율 수중 운동체 기동 모델링을 위한 미분 가능한 복합 근사 프레임워크

A Differentiable Composite Approximation Framework for Autonomous Underwater Vehicle Maneuvering Modeling from Sea-Trial Data

탑재 측정 데이터를 이용한 현장 기반 모델링은 실제 운용 특성을 반영하는 자율 수중 로봇(AUV) 기동 모델을 만들어낼 수 있다. 근사 관점에서 보면 기존 기동 모델은 사전 정의된 제약 다항식 기저를 사용하는 반면, 데이터 기반 모델은 데이터 적응형 기저를 사용한다. 이러한 기저 함수 관점에 착안하여, 본 논문은 다항식 기저 성분과 데이터 적응형 기저 성분을 통합 예측기의 미분 가능한 부분으로 취급하고 함께 보정하는 미분 가능한 복합 근사 정식화를 제시한다. 실규모 AUV 기동 예측을 위해 경사 기반 공동 보정 방법을 개발하였으며, 여기서 민감도 인식 메커니즘이 유계 다항식 갱신을 조절하고 신경 잔차가 공유 예측 목적함수 하에서 남은 비선형 불일치를 포착한다. 현장 데이터의 해류 효과를 고려하기 위해, 선회 운동 기반의 해류 추정 및 보상 절차를 도입하여 학습과 롤아웃을 위한 해류 보상 학습 목표를 구성한다. 이 프레임워크는 여러 기동 조건에서 7미터급 AUV로부터 수집한 해상 시험 데이터를 사용해 평가된다. 결과는 제안 방법이 다항식 전용, 신경망 전용, 고정 사전지식 하이브리드 기준선에 비해 재귀적 궤적 및 속도 예측을 개선함을 보여주며, 현장 데이터 기반 AUV 기동 모델링에 대한 적용 가능성을 입증한다.

arXiv:2604.15805v2cs.RO

WorldComposer: 일반화 가능한 로봇 학습 및 평가를 위한 디지털 사촌 기반 생성형 고충실도 시뮬레이션

WorldComposer: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation

실제 환경에서 강건한 로봇 정책을 학습하려면 다양한 데이터 증강이 필요하지만, 물리적 자산을 확보하고 환경을 재구성해야 하므로 실제 데이터 수집을 확장하는 데에는 비용이 많이 든다. 따라서 실제 장면을 시뮬레이션으로 증강하는 것이 효율적인 학습과 평가를 위한 실용적인 증강 방식이 되었다. 우리는 실제 파노라마를 고충실도의 과제 수행 가능한 시뮬레이션 환경으로 매핑하고, 장면 및 객체 변형을 통해 다양한 디지털 사촌(Digital Cousins)을 추가로 합성하는 자동화된 생성형 Real2Sim2Real 프레임워크인 WorldComposer를 제시한다. 고품질 물리 엔진 및 사실적인 자산과 결합하여, WorldComposer는 강체, 관절체, 변형 가능 객체 전반에 걸친 상호작용형 조작을 지원한다. 또한 장기 과제를 위한 일관된 대규모 환경을 구성하기 위해 다중 방 스티칭을 도입한다. 실험은 플랫폼의 충실도를 검증하는 강한 시뮬레이션-실제 상관관계를 보여 주며, 데이터 생성을 크게 확장하면 보지 못한 장면 및 객체 변형에 대한 일반화가 유의미하게 향상됨을 보여 줌으로써, 일반화 가능한 로봇 학습과 평가에서 디지털 사촌의 효과를 입증한다.

arXiv:2603.17712v2cs.RO

AERR-Nav: 제로샷 객체 탐색을 위한 적응형 탐색-복구-회상 전략

AERR-Nav: Adaptive Exploration-Recovery-Reminiscing Strategy for Zero-Shot Object Navigation

알 수 없는 다층 환경에서의 제로샷 객체 탐색(ZSON)은 상당한 도전 과제이다. 의미론적 가치 기반 탐욕적 경유지 선택, 공간 위상으로 강화된 메모리, 의사결정 프레임워크로서의 멀티모달 대규모 언어 모델(MLLM)에 주로 기반한 최근 방법들은 성능 향상을 가져왔다. 그러나 이러한 아키텍처는 보지 못한 환경, 특히 다층 환경에서 ZSON을 위해 탐색과 활용의 균형을 맞추는 데 어려움을 겪으며, 로봇이 좁은 교차로에서 갇히거나, 끝없이 배회하거나, 계단 입구를 찾지 못하는 문제가 나타난다. 이러한 문제를 극복하기 위해 로봇의 환경에 따라 상태를 동적으로 조정하는 제로샷 객체 탐색 프레임워크인 AERR-Nav를 제안한다. 구체적으로 AERR-Nav는 다음 두 가지 핵심 장점을 갖는다. (1) 적응형 탐색-복구-회상 전략(Adaptive Exploration-Recovery-Reminiscing Strategy)은 로봇이 세 가지 상태 사이를 동적으로 전환할 수 있게 하여 다양한 탐색 시나리오에 특화된 대응을 가능하게 한다. (2) 빠른 사고 모드와 느린 사고 모드를 갖춘 적응형 탐색 상태는 변화하는 환경 정보에 기반하여 로봇이 탐색, 활용, 상위 수준 추론의 균형을 더 잘 맞추도록 돕는다. HM3D와 MP3D 벤치마크에서의 폭넓은 실험을 통해 AERR-Nav가 제로샷 방법 중 최고 성능을 달성함을 보인다. 포괄적인 절제 연구는 제안한 전략과 모듈의 효과를 추가로 검증한다.

arXiv:2603.12408v4cs.RO

인간 동작만으로 하는 모방 학습은 생체역학적으로 타당한 보행 동역학을 보장하지 않는다

Imitation Learning from Human Motion Alone Does Not Guarantee Biomechanically Plausible Gait Kinetics

동작 데이터를 통한 모방 학습(Imitation Learning, IL)은 로보틱스와 캐릭터 애니메이션에서 점차 널리 사용되고 있으나, 명시적인 동역학 정보 없이 생리학적으로 타당한 관절 모멘트를 추정하기 위해 인간 생체역학에 적용할 수 있는지는 여전히 불분명하다. 본 연구에서는 동작 모방만으로 인간 보행에서 합리적인 생체 관절 모멘트를 추정할 수 있는지 검토하였다. 동작만 사용하는 IL(MOIL)을, 모방 보상에 지면 반력(GRF)과 압력중심(CoP)을 추가로 포함하는 동역학 인식 IL(KAIL) 프레임워크와 비교하였다. 각 동역학 항의 기여를 검토하기 위해 점진적 동역학 보상 형성 방식을 사용하였다. 실험은 비장애인 참여자 두 명의 세 가지 속도(0.9, 1.2, 1.5 m/s) 보행 데이터를 이용해 수행되었다. MOIL과 KAIL은 비슷한 운동학적 추적 정확도를 달성했지만, KAIL은 참여자와 보행 속도 전반에서 생체역학적 값에 더 가까운 동역학을 산출하였으며, MOIL 대비 수직 GRF와 CoP의 제곱근평균제곱오차(RMSE)를 각각 40%, 48% 줄이고 엉덩관절, 무릎관절, 발목관절 모멘트의 RMSE를 각각 19%, 18%, 35% 줄였다. 이러한 결과는 MOIL 접근법의 근본적인 한계를 보여 주는데, 인간과 유사한 보행 동역학을 정확히 추정하지 못하면 보행 생체역학을 잘못 해석하게 되어 웨어러블 로봇 설계나 병적 보행 진단과 같은 후속 응용에 악영향을 줄 수 있기 때문이다.

arXiv:2512.20974v5cs.LG

베이지안 선형 태스크 모델을 이용한 메타-RL

Meta-RL with Bayesian Linear Task Models

심층 베이지안 강화학습은 잠재 전이 및 보상 모델을 추론함으로써 보지 못한 태스크에 적응하지만, 기존 방법은 대개 변분 사후분포와 증거 하한(evidence lower bound)에 의존하여 근사 오차와 불안정한 태스크 표현을 유발한다. 본 논문은 일반화 선형 태스크 모델과 학습 가능한 비선형 기저 함수를 결합한 심층 베이지안 RL 프레임워크 GLiBRL을 제안한다. GLiBRL은 켤레 베이지안 추론을 통해 태스크 매개변수와 모델 노이즈에 대한 정확한 순차적 사후 업데이트를 수행하며, 변분 추론을 배제하는 폐형 주변 가능도를 함께 제공한다. 이 업데이트는 본질적으로 순열 불변(permutation-invariant)이므로 GLiBRL은 오프-정책과 온-정책 알고리즘 모두와 통합할 수 있다. GLiBRL은 또한 정확한 커널 동일성(identity)을 만족하는 태스크 표현을 학습하며, 태스크 표현 간 거리를 태스크 맥락에 대한 커널 불일치와 연관 짓는다. 8개의 대표적이거나 최근 메타 강화학습 방법과 비교했을 때 GLiBRL은 MuJoCo locomotion 및 MetaWorld manipulation 벤치마크 모두에서 제로샷(zero-shot) 테스트 성능의 최고 집계 결과를 달성한다.

arXiv:2510.10731v3cs.RO

약한 선호 정렬을 통한 제어 가능한 생성적 궤적 예측

Controllable Generative Trajectory Prediction via Weak Preference Alignment

조건부 변분 오토인코더(CVAE)와 같은 심층 생성 모델은 자율주행 차량 계획에서 주변 에이전트의 궤적을 예측하는 데 큰 가능성을 보여 왔다. 최첨단 모델들은 이러한 예측 작업에서 뛰어난 정확도를 달성하였다. 정확도 외에도 인간의 행동은 본질적으로 불확실하고 다중 모드적이기 때문에 안전한 계획을 위해서는 다양성 또한 중요하다. 그러나 기존 방법은 대체로 제어 가능하게 다양한 궤적을 생성하는 체계가 부족하며, 안전한 계획이라는 목적에는 이것이 무작위로 다양화된 궤적보다 더 유용하다고 할 수 있다. 이를 해결하기 위해 우리는 약하게 레이블된 선호 쌍을 사용하여 잠재 변수에 의미적 속성을 부여하는 증강 CVAE 프레임워크인 PrefCVAE를 제안한다. 평균 속도를 예시 속성으로 사용하여, PrefCVAE가 기준 정확도를 저하시키지 않으면서 제어 가능하고 의미 있는 예측을 가능하게 함을 보인다. 본 결과는 선호 지도가 샘플링 기반 생성 모델을 향상시키는 비용 효율적인 방법으로서 효과적임을 보여준다.