PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10857v2cs.AI

호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견

Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

Behavior cloning (BC) in non-Markovian environments is a challenging problem because policies have to reason over contextual information over long horizons. Existing policy architectures rely on recurrent or attention-based mechanisms to capture long-term dependencies. However, recurrent models suffer from hidden-state collapse and gradient instability under backpropagation through time while attention-based models are fundamentally limited by context length. To address these issues, we propose Keyframe Mnemonics, a novel self-supervised method that $\textit{discovers}$ a set of information-critical observations ($\textit{mnemonics}$) by learning an objective from randomly sampled past observations and using it as a reward for keyframe selection. We then train a BC policy that conditions on the discovered keyframes to model the action distribution. Under the simplicity bias assumption, our formulation provides context retention guarantees over an infinite horizon, while maintaining a small set of decision-relevant keyframes in the policy's working memory. We evaluate our method on synthetic memory domains, where mnemonic-conditioned BC policies achieve $100$% success rates (SR) and generalize to horizons orders of magnitude beyond training without performance degradation. Moreover, we evaluate on a memory-intensive robot manipulation benchmark, achieving a $13.9$% average absolute SR improvement over the strongest baseline across $23$ tasks. Finally, we demonstrate generalization with $80$% SR at $20\times$ longer time horizons on a real robot. Code and videos available at https://keyframe-mnemonics.github.io.

arXiv:2609.38472v2cs.RO

Diffusion-2BC: 자율주행 오프라인 행동 복제를 위한 확산 및 회귀 하이브리드 학습

Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving

행동 복제(Behavior Cloning)는 자율주행 정책 학습을 위한 오프라인 경로를 제공하지만, 하나의 관측에 대해 여러 유효한 행동이 존재할 수 있는 시연 데이터의 경우 평균 제곱 오차(mean-squared-error) 회귀와는 잘 맞지 않습니다. 확산 정책(Diffusion policy)은 조건부 다봉(multimodal) 행동 분포를 표현할 수 있지만, 제한된 데이터로부터 시각적 특징과 제어를 학습할 때 폐루프(closed-loop) 성능이 불안정할 수 있습니다. 본 논문에서는 공유된 시각적 인코더 상에서 확산 노이즈 제거(denoising) 목표와 보조 결정론적 행동 복제 손실을 결합한 Diffusion-2BC를 제안합니다. 보조 브랜치는 학습 중에만 사용되며, 추론은 확산 기반으로 유지됩니다. 제안된 방법은 통제된 Claw 환경과 버드아이뷰(bird's-eye-view) CARLA 내비게이션(경로 조건부 주행, 여러 교차로를 통과하는 무경로 내비게이션, Town01에서 Town02로의 교차 맵 평가 포함)에서 평가됩니다. Claw 태스크에서 Diffusion-2BC는 확산 기반 행동 복제 기준선 대비 약 10%, 표준 결정론적 행동 복제 대비 85% 평균 마스크 거리 오차를 줄였습니다. 무경로 CARLA에서 Diffusion-2BC는 Town01과 Town02 모두에서 평가 프로토콜 하에 주행이 종료되기 전까지 두 기준선보다 훨씬 더 먼 거리를 주행했습니다. 추가적인 정성적 롤아웃을 통해 뚜렷한 경로 선택이 확인되었으며, 제안된 확산 기반 에이전트의 다봉 행동을 보여주었습니다. 이러한 결과는 보조 회귀 신호가 통제된 벤치마크에서 다봉 예측을 보존하면서도 확산 행동 복제의 폐루프 신뢰성을 향상시킬 수 있음을 나타냅니다.

arXiv:2607.22739v2cs.CV

Cortex: 동결된 시각 특징을 이용한 Quake용 컴팩트 행동 클로닝

Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features

강화학습이나 명시적 메모리를 추가하기 전에, 의도적으로 단순한 행동 클로닝 정책이 시각적으로 풍부한 1인칭 게임에서 얼마나 진전할 수 있는지 연구한다. Cortex는 동결된 DINOv3 인코더 위 6층 트랜스포머로 구성되며 학습 가능한 파라미터 1,098만 개를 갖춘 컴팩트 Quake 정책이다. 공개 Pixels2Play 코퍼스의 Quake 하위 집합으로 학습한다: 6,849개 녹화(약 474.7시간)이며, 키보드 및 마우스 동작을 포함한 1,709만 개의 캐시된 의사결정 프레임으로 표현된다. 샘플링된 하나의 학습 에포크는 517,048개의 4프레임 윈도우를 사용하며, 일회성 특징 추출을 제외하고 RTX 5080 한 대에서 정책 헤드 최적화에 3.3분이 걸린다. Quake E1M1에서 120초짜리 확률적 에피소드 20개로 구성된 두 개의 독립 배치를 평가한다. Cortex는 레벨을 완료하지는 못하지만 모든 에피소드가 시작 문, 버튼 방, 게이트 하강 구간에 도달한다. 각 배치의 20개 에피소드 중 19개는 최소 한 번의 킬을 기록한다. 동일한 시간 제어 하네스 아래에서, 공개된 P2P-150M 및 NitroGen 체크포인트는 각각 5개의 동일 시간 에피소드에서 더 얕은 진행을 보인다. 이 비교는 참조 표본 크기가 작고 네이티브 인터페이스가 다르다는 점에서 제한적이다. 어블레이션 결과, 더 밀집한 시각 토큰은 전투와 생존을 개선하는 반면, 더 긴 최적화와 단순한 행동 이력은 오프라인 지표는 개선하지만 플레이 성능을 일관되게 개선하지는 않는다. 남은 실패는 공변량 이동(covariate shift)과 일치하며, 표적화된 교정 데이터의 필요성을 뒷받침한다. 정책 구현, 체크포인트, 대표 롤아웃을 공개한다.

arXiv:2607.18042v2cs.CV

행동 전 예측: 미래 상태 조건 비전-언어 내비게이션

Anticipate Before Acting: Future-State-Conditioned Vision-Language Navigation

인과적 비전-언어 모델을 사용한 end-to-end 비전-언어 내비게이션(VLN)은 지시와 자기중심적(egocentric) 관측을 행동에 직접 매핑하지만, 표준 행동 복제(behavior cloning)는 다음 행동만 감독하고 정책 상태가 미래 시각적 결과를 예측하도록 명시적으로 유도하지 않아 장기 의사결정을 제한한다. 특권 입력(privileged-input) 진단은 전문가 궤적(expert-trajectory)의 미래 이미지에 접근하면 내비게이션이 상당히 개선될 수 있음을 보여주며, 이는 미래 관측에 풍부하고 실행 가능한 단서가 포함되어 있음을 시사하지만, 이러한 입력은 배포 시에는 사용할 수 없다. 이 신호에 동기를 부여받아, 우리는 Future-State-Conditioned VLN(FSC-VLN)을 제안한다. 이는 배포 가능한 모델로, 인과적 정책에 미래 쿼리(future-query) 토큰을 추가하고, 학습 전용 미래 상태 감독을 사용하여 미래 관측의 정보를 정책 상태로 증류한다. 구체적으로, 학습 중에는 미래 쿼리 표현을 $Δ$ 스텝 앞의 고정된 시각 임베딩에 정렬하고, 추론 시에는 과거 및 현재 관측만 필요하다. 이 설계는 기준선 추론 패턴을 유지하고 학습된 접두 문맥 토큰 2개만 추가하여 최소한의 오버헤드를 의미한다. R2R val-unseen에서 FSC-VLN은 두 가지 학습 데이터 체제에서 StreamVLN 스타일 기준선 대비 SR/OSR/SPL을 개선하며, 장기 에피소드에서 더 큰 향상을 보인다. ablation은 미래 쿼리와 행동 쿼리를 분리하는 이중 쿼리(dual-query) 설계를 추가로 뒷받침한다.

arXiv:2607.09590v1cs.RO

PAC-ACT: 액션 청킹 트랜스포머를 위한 사후 학습 액터-크리틱

PAC-ACT: Post-training Actor-Critic for Action Chunking Transformers

정밀 산업용 접촉 조작(contact manipulation)은 자세 교란(pose perturbations)과 접촉력 제약 조건 하에서 신뢰할 수 있는 로봇 정책을 필요로 한다. 비전-언어-액션(vision-language-action) 모델은 광범위한 일반화를 제공하지만, 높은 추론 지연과 GPU 메모리 비용을 초래하는 경우가 많으며, 비전-액션 청킹 정책은 실시간 산업 제어에 더 적합하다. 그러나 이러한 정책들은 일반적으로 행동 복제(behavior cloning)로 학습되며, 접촉이 많은 작업에서 분포 이동(distribution shift) 문제를 겪는다. 본 논문은 사전학습된 Action Chunking Transformer 정책을 위한 강화학습 기반 사후 학습(post-training) 프레임워크인 PAC-ACT를 제안한다. PAC-ACT는 청크 수준에서 정책 최적화를 재정식화하고, ACT 기반의 액터-크리틱(actor-critic) 아키텍처를 구성하며, 온라인 미세조정(fine-tuning) 과정에서 사전학습된 액션 분포를 보존하기 위한 하이브리드 행동-사전(behavior-prior) 제약을 도입한다. 산업용 정밀 접촉 벤치마크에서의 실험 결과, PAC-ACT는 낮은 지연 시간과 낮은 GPU 메모리 사용량을 유지하면서 작업 성공률, 접촉 안정성, 힘 안전성을 향상시키는 것으로 나타났다. Contour 작업에서 PAC-ACT는 최대 접촉력을 크게 감소시키고, 60 N 이상의 힘 측정 비율을 46배 줄였다. 희소 보상(sparse-reward) 소거 실험은 제안된 행동-사전 제약이 무작위 초기 자세 하에서 효과적인 탐험(exploration)을 가능하게 함을 추가로 보여준다.

arXiv:2602.02762v2cs.LG

On the Sample Efficiency of Inverse Dynamics Models for Semi-Supervised Imitation Learning

반지도 모방 학습(SSIL) 환경에서 역방향 동역학 모델(IDM)이 행동 복제(BC) 대비 우수한 샘플 효율성을 보이는 이유를 이론적으로 분석하며, 이는 IDM의 가설 클래스 복잡도가 낮고 전문가 정책보다 확률적 불확실성이 작기 때문임을 통계적 학습 이론과 실험으로 규명한다. 이러한 인사이트를 바탕으로 잠재 행동 정책 학습 알고리즘인 LAPO의 개선 버전(LAPO+)을 제안하고 Procgen, Push-T, LIBERO 벤치마크에서 우수한 성능을 검증한다.

arXiv:2601.21718v3cs.LG

When Does Predictive Inverse Dynamics Outperform Behavior Cloning?

행동 복제(BC)보다 예측적 역동역학 모델(PIDM)이 우수한 성능을 보이는 이유를 이론적으로 규명한 연구로, PIDM이 미래 상태 조건화를 통해 분산을 줄이되 예측 편향과 분산을 추가로 도입하는 트레이드오프를 분석하였다. 2D 내비게이션 태스크에서 BC가 PIDM 대비 최대 5배 더 많은 데모를 필요로 하며, 고차원 시각 입력의 3D 게임 환경에서도 BC가 66% 이상 더 많은 샘플을 요구함을 실증하였다.

arXiv:2607.01225v1cs.LG

Language-Critique Imitation Learning from Suboptimal Demonstrations

비최적(suboptimal) 데모에서의 모방학습이 스칼라 감독 신호의 표현력 한계에 직면하는 문제를 해결하기 위해, 자연어를 구조적 감독 신호로 활용하는 language-critique 모방학습 프레임워크(LC-BC, LC-DP)를 제안한다. 오프라인 궤적에서 태스크 진행 상황, 비최적 행동, 수정 지침을 명시하는 언어 레이블을 구성하고 이를 스칼라로 압축하지 않고 직접 정책 학습에 적용하여, 내비게이션·조작·게임플레이 등 다양한 연속 제어 태스크에서 강력한 모방학습 및 오프라인 강화학습 베이스라인을 일관되게 능가함을 보인다.