PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01626v1cs.AI

액션 청킹 이면의 안정성 가정 측정

Measuring the Stability Assumption Behind Action Chunking

액션 청킹(Action chunking)은 행동 복제(behavioral cloning)로 학습된 정책의 성능을 향상시키며, 이를 설명하기 위해 시간적 일관성, 수평선 축소(horizon reduction), 표현 학습, 오차 누적 감소 등 여러 메커니즘이 제안되어 왔습니다. 본 연구에서는 그 대신 시스템에 액션 오차가 유입되었을 때 어떤 일이 발생하는지를 조사합니다. 연구진은 각 상태에서 작은 액션 오차를 주입하고, 두 가지 실행 체제 하에서 오차가 얼마나 빠르게 커지거나 줄어드는지 측정합니다. 두 실행 체제는 재계획 없이 청크의 나머지 부분을 재생하는 개루프(open-loop) 체제와 섭동(perturbation) 이후 정책이 재계획을 수행하는 폐루프(closed-loop) 체제입니다. 피팅된 변화율을 바탕으로 각 상태를 수축(contracting), 팽창(expanding), 또는 미해결(unresolved) 상태로 분류합니다. 3개의 벤치마크 스위트에 걸친 12개의 조작(manipulation) 태스크 전반에서, 전파율을 판별할 수 있는 상태 중 확실하게 안정적인 상태는 드문 반면 오차 증폭은 흔하게 발생함을 발견했습니다. 나아가 측정된 전파율이 피팅 수평선에 크게 의존한다는 점을 확인했습니다. 증폭은 일반적으로 초기에 집중되므로, 짧은 윈도우는 더 긴 수평선의 전파를 과대평가할 수 있습니다. 마지막으로 이러한 레이블을 바탕으로 예측기를 학습시킨 결과, 카메라 프레임과 고유감각(proprioception) 정보만으로도 상태의 개루프 체제를 복원할 수 있는 반면, 폐루프 전파는 섭동 후 정책이 어떻게 행동하는지에도 의존하기 때문에 부분적으로만 복원 가능하다는 점을 확인했습니다. 이러한 결과는 오차 누적에 관한 주장만으로는 액션 청킹을 완전히 설명할 수 없음을 시사합니다. 즉, 수동적인 개루프 동역학도 정책의 재계획도 주입된 오차를 일관되게 수축시키지 못하며, 재계획이 개루프 증폭을 확실한 수축으로 전환하는 경우는 매우 드뭅니다. 이는 폐루프 반응성을 표준 모방 학습(imitation learning)을 통해 안정적으로 창발되기를 기대하기보다는, 정책이 회복해야 하는 편차에 노출되도록 섭동 및 트리 커버리지 지향 학습(tree-coverage-oriented training)을 사용하여 명시적으로 학습시켜야 함을 시사합니다.

arXiv:2607.04574v1cs.LG

몇 가지 교사 단계만으로 충분하다: 에이전트 사후 학습을 위한 비용 효율적인 온-정책 데이터 증강

A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

LLM 에이전트 사후학습에서 온-정책 데이터 증강을 예산 배분 문제로 재정의하고, 학습자가 도달한 컨텍스트에서 소수의 교사 단계만 수행하는 OP-Short 방식이 HotpotQA, ALFWorld, Terminal-Bench-Dev에서 동일 예산 대비 순수 행동 복제 및 필터링 기반 대안들과 동등하거나 더 나은 성능을 달성함을 보인다.

arXiv:2606.22056v1cs.LG

적대적 모방 학습을 위한 이론적 효율성이 증명된 정책-보상 공동 사전학습

Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning

적대적 모방 학습(AIL)은 행동 복제(BC)에 비해 고품질 모방을 달성하지만, 상당한 온라인 환경 상호작용을 요구한다. 최근 실증 연구는 이 한계를 해소하기 위해 BC로 사전학습된 정책으로 AIL 알고리즘을 초기화하는 방법을 탐구해 왔으나, AIL에서 사전학습의 역할에 대한 엄밀한 이론적 이해는 여전히 부족하다. 본 논문은 AIL 가속을 위한 체계적인 이론적 분석을 제공하고 원칙적인 사전학습 알고리즘을 제안한다. 우리는 먼저 정책 사전학습만 적용한 AIL을 분석하고, 차(suboptimality)의 지배적 원인이 보상 오류임을 밝힌다. 이는 비판적이면서도 이전까지 간과되었던 공백을 드러낸다: 보상 사전학습의 부재. 이 발견에 영감을 받아, 우리는 보상 형성(reward shaping) 분석에 기반한 원칙적인 정책-보상 공동 사전학습 접근법을 개발한다. 우리의 분석은 전문가 정책과 형성 보상 사이의 근본적 연결을 밝혀내며, 이는 단일 BC 절차를 통해 정책과 보상을 공동으로 사전학습하는 접근법인 CoPT-AIL을 자연스럽게 이끌어낸다. 우리는 CoPT-AIL이 표준 AIL 대비 개선된 모방 격차(imitation gap) 상계를 달성함을 증명하고, AIL에서 사전학습의 이점에 대한 최초의 이론적 보장을 확립한다. 실험 결과는 CoPT-AIL이 기존 AIL 방법들보다 우수한 성능을 보임을 확인한다.