PyTorchKR Papers

최신 논문

총 25편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15932v1cs.LG

DiffNash: 확산 정책을 활용한 고차원 연속 행동 공간에서의 내시 균형 탐색

DiffNash: Finding Nash Equilibrium in High-Dimensional Continuous Action Spaces with Diffusion Policies

고차원 연속 게임에서 균형(equilibrium)을 계산하려면 풍부한 다봉(multi-modal) 전략 분포를 학습하고 표현해야 하지만, 기존의 신경망 정책으로는 이를 달성하기 어렵습니다. 확산 모델(diffusion model)은 자연스러운 해결책을 제공하지만, 표준 확산 학습(training)은 고정된 목표 분포로부터의 직접적인 샘플을 필요로 하며, 이는 반복적인 게임 해결 업데이트 과정에서는 일반적으로 얻기 어렵습니다. 본 논문에서는 온라인 미러 하강법(OMD) 및 가상 플레이(FP)의 확산 기반 변형을 가능하게 하는 균형 계산용 확산 기반 프레임워크를 제안합니다. 제안하는 접근법은 각 업데이트된 정책으로부터 직접 샘플을 추출할 필요 없이 확산 정책을 학습시키는 재가중(reweighted) 스코어 매칭 목적식을 유도합니다. 본 연구의 핵심 방법론인 DiffNash는 리플레이 버퍼를 통해 과거 행동을 재사용함으로써 OMD의 빠른 수렴(convergence)과 FP의 샘플 효율성을 결합합니다. 샘플 재사용으로 인해 발생하는 분포 변화(distribution shift)를 보정하기 위해, 확산 우도(likelihood)를 직접 평가하지 않고도 해당 중요도 가중치(weight)에 대한 다루기 쉬운 대리 지표를 제공하는, 현재 및 과거 정책의 증거 하한(ELBO) 차이에 대한 비편향 추정량을 유도합니다. 산림 보호 게임 및 연속 블로토 대령(Colonel Blotto) 게임에서 제안 방식을 평가한 결과, 최소한의 하이퍼파라미터(hyperparameter) 튜닝만으로 가장 강력한 기준선(baseline) 대비 내시 격차(Nash gap)를 각각 35.6% 및 24.7% 감소시켰습니다.

arXiv:2610.13929v1cs.RO

크로노스 정책(Chronos Policy): 물리적 시간에 기반한 로봇 정책 학습

Chronos Policy: Learning Robot Policies on Physical Time

로봇 정책(policy)은 흔히 센싱(sensing)과 제어(control)를 고정 속도의 관측-행동 시퀀스로 변환하며, 물리적 시간은 시퀀스 상의 위치에 암묵적으로 담긴다. 이러한 가정은 관측 속도나 지연이 변동하거나 추론(inference) 지연 시간이 달라질 때 깨진다. 우리는 관측 포착 시각과 원하는 행동 실행 시각에 조건화하여 물리적 시간을 명시적으로 드러내는 크로노스 정책(Chronos Policy)을 제안한다. 우리는 시간을 디퓨전 트랜스포머(diffusion transformer)에 통합하는 두 가지 방법을 연구한다: 토큰(token) 특징에 타임스탬프 임베딩(embedding)을 추가하는 방법, 그리고 시간 인지 로터리 위치 인코딩(time-aware rotary positional encoding, time-aware RoPE)을 통해 위치 인코딩에 물리적 시간을 인코딩하는 방법이다. 우리는 시간 인지 RoPE가 더 견고하며, 토큰 내용은 그대로 유지하면서 어텐션(attention)이 물리적 시간에 직접 의존하도록 한다는 것을 발견했다. 학습 중에는 어떤 관측이 샘플링되는지와 행동 청크(action chunk)가 시작되는 시점을 시간적으로 무작위화하여, 배포(deployment) 중에 발생할 수 있는 더 넓은 범위의 센싱 및 실행 일정에 정책이 노출되도록 한다. 이는 또한 모든 측정값을 고정된 시간 그리드에 강제로 맞추지 않고도 비동기적이고 다중 속도(multi-rate)의 데이터로부터 학습할 수 있게 한다. 시뮬레이션과 실제 환경 실험 전반에서, 크로노스 정책은 관측-행동 타이밍이 중요한 동적(dynamic) 작업과 관측 간 상대적 타이밍이 중요한 다중 감각(multisensory) 작업에서 성능을 향상시킨다. 표준적인 준정적(quasi-static) 작업에서는 명목 성능을 유지하면서 센싱 및 추론 타이밍 변화에 대한 견고성을 향상시킨다.

arXiv:2609.38472v2cs.RO

Diffusion-2BC: 자율주행 오프라인 행동 복제를 위한 확산 및 회귀 하이브리드 학습

Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving

행동 복제(Behavior Cloning)는 자율주행 정책 학습을 위한 오프라인 경로를 제공하지만, 하나의 관측에 대해 여러 유효한 행동이 존재할 수 있는 시연 데이터의 경우 평균 제곱 오차(mean-squared-error) 회귀와는 잘 맞지 않습니다. 확산 정책(Diffusion policy)은 조건부 다봉(multimodal) 행동 분포를 표현할 수 있지만, 제한된 데이터로부터 시각적 특징과 제어를 학습할 때 폐루프(closed-loop) 성능이 불안정할 수 있습니다. 본 논문에서는 공유된 시각적 인코더 상에서 확산 노이즈 제거(denoising) 목표와 보조 결정론적 행동 복제 손실을 결합한 Diffusion-2BC를 제안합니다. 보조 브랜치는 학습 중에만 사용되며, 추론은 확산 기반으로 유지됩니다. 제안된 방법은 통제된 Claw 환경과 버드아이뷰(bird's-eye-view) CARLA 내비게이션(경로 조건부 주행, 여러 교차로를 통과하는 무경로 내비게이션, Town01에서 Town02로의 교차 맵 평가 포함)에서 평가됩니다. Claw 태스크에서 Diffusion-2BC는 확산 기반 행동 복제 기준선 대비 약 10%, 표준 결정론적 행동 복제 대비 85% 평균 마스크 거리 오차를 줄였습니다. 무경로 CARLA에서 Diffusion-2BC는 Town01과 Town02 모두에서 평가 프로토콜 하에 주행이 종료되기 전까지 두 기준선보다 훨씬 더 먼 거리를 주행했습니다. 추가적인 정성적 롤아웃을 통해 뚜렷한 경로 선택이 확인되었으며, 제안된 확산 기반 에이전트의 다봉 행동을 보여주었습니다. 이러한 결과는 보조 회귀 신호가 통제된 벤치마크에서 다봉 예측을 보존하면서도 확산 행동 복제의 폐루프 신뢰성을 향상시킬 수 있음을 나타냅니다.

arXiv:2607.01111v2cs.RO

FAR: 테스트 시점 복구 및 지속적 정책 개선을 위한 실패 인식 재시도

FAR: Failure-Aware Retry for Test-Time Recovery and Continual Policy Improvement

실제 환경에 배포된 로봇 정책은 필연적으로 실패를 겪게 됩니다. 단순한 재시도는 종종 동일한 실수를 반복하며, 기존의 많은 복구 방법은 인간의 개입에 의존합니다. 본 논문에서는 로봇이 테스트 시점에 이전 실패로부터 학습하고, 이에 맞춰 행동을 적응시키며, 궁극적으로 자율적으로 작업을 완수할 수 있도록 지원하는 프레임워크인 FAR(Failure-Aware Retry)을 제안합니다. FAR은 실패 사례로부터 선호도 학습 데이터를 구축하여 정책이 이전에 실패했던 행동을 피하도록 유도하는 실패-대조 선호도 적응(Failure-Contrastive Preference Adaptation)과 재시도 중 국소적 탐험(exploration)을 촉진하기 위한 경량 행동 섭동(action perturbation)을 결합합니다. 나아가 지속적 정책 개선을 위해 성공적인 복구 궤적을 학습 루프(training loop)에 통합합니다. 시뮬레이션 및 실제 환경의 조작 작업에 대한 실험 결과, FAR은 성공률과 강건성을 크게 향상시켜 표준 디퓨전 정책(diffusion policy) 대비 시뮬레이션에서 평균 17.6%, 실제 환경에서 11.7%의 성능 향상을 달성함을 보여줍니다. 또한 FAR은 유익한 실패 사례를 활용함으로써 지속적 정책 개선 과정에서 리셋 및 타임스텝 예산 모두에서 데이터 효율성을 개선합니다. 비디오와 코드는 https://hoar012.github.io/FAR-Project 에서 확인할 수 있습니다.

arXiv:2606.08775v2cs.RO

객체 중심 월드 모델과 확산 정책의 통합: 다단계 로봇 작업을 위한 계층적 프레임워크

Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks

시각적 월드 모델(visual world model)은 복잡한 시스템 동역학을 학습하는 데 뛰어난 잠재력을 보여주었습니다. 최근의 발전은 이러한 모델을 모델 예측 제어(MPC) 프레임워크 내의 전이 함수(transition function)로 활용하여 다양한 제어 작업을 해결하고 있습니다. 그러나 로보틱스에 적용할 경우, 도달(reaching)이나 파지(grasping)와 같은 단일 단계 작업에 국한되며, 복잡한 순차적 계획을 요구하는 다단계 작업에서는 어려움을 겪습니다. 본 연구에서는 다단계 로봇 조작을 위해 설계된 월드 모델 프레임워크인 WorldDP를 소개합니다. 제안하는 계층적 접근 방식은 상위 수준의 월드 모델을 전이 함수로 활용하여 런타임 중에 실현 가능한 하위 목표(subgoal)를 최적화하며, 이는 이후 하위 수준의 확산 정책(Diffusion Policy)을 통해 도달됩니다. 동역학 학습과 계획 수립을 더욱 지원하기 위해 환경 내 개체를 분리하고 각 개체에 대해 순차적으로 계획할 수 있도록 하는 객체 중심(object-centric) 표현을 통합합니다. 여러 로보틱스 벤치마크에서 평가한 결과, WorldDP는 기존 베이스라인을 일관되게 능가하며, 월드 모델의 물리적으로 기반한(grounded) 계획과 확산 정책의 효율적인 실행을 결합하는 것이 우수한 다단계 성능을 낳음을 입증합니다. 프로젝트 페이지: https://raktimgg.github.io/worlddp-website/.

arXiv:2610.02527v1cs.RO

CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가

CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization

학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.

arXiv:2610.03333v1cs.RO

접촉이 빈번한 조작을 위한 동변 시각-촉각 확산 정책

Equivariant Visual-Tactile Diffusion Policy for Contact-Rich Manipulation

접촉이 빈번한 조작(contact-rich manipulation)을 위한 모방 학습(imitation learning)은 획득 비용이 높은 고품질 전문가 데이터를 필요로 합니다. 이에 따라 샘플 효율적인(sample-efficient) 정책을 학습하는 것이 핵심 과제가 됩니다. 이를 해결하기 위해, 본 논문에서는 데이터 효율적인 접촉 빈번 조작 모방 학습을 위한 작업공간 수준의 동변(equivariant) 시각-촉각 확산 정책인 VISTA를 제안합니다. VISTA는 시각 및 촉각 관측값을 구면 토큰(spherical token)으로 투영하고, 순열-동변 구면 융합(permutation-equivariant spherical fusion)을 통해 시각 구면 방향에 촉각 접촉 단서를 주입하며, 말단 장치(end-effector)의 방향을 이용해 융합된 조화 표현(harmonic representation)을 회전시킵니다. 생성된 표현은 동변 확산 정책(equivariant diffusion policy)의 조건으로 사용되어 공간적으로 일관된 행동을 예측합니다. 시뮬레이션 및 실제 로봇 환경 모두에서 수행된 광범위한 실험은 VISTA가 강력한 시각-촉각 모방 학습 베이스라인들에 비해 데이터 효율성을 크게 향상시킴을 보여줍니다. 프로젝트 웹사이트: https://vista-paper.github.io/

arXiv:2610.02666v1cs.CV

CHASE-VLA: 청크 인식 스케일 추정을 적용한 비전-언어-행동 모델용 사후 학습 양자화 프레임워크

CHASE-VLA: Post-Training Quantization Framework for Vision-Language-Action Models with Chunk-Aware Scale Estimation

비전-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관측과 언어 지시문을 연속적인 로봇 동작에 매핑하지만, 확산(diffusion) 기반 동작 전문가(Action Expert, AE)는 저비트 사후 학습 양자화(PTQ)에서 핵심적인 난제를 제기합니다. AE는 노이즈 제거(denoising) 단계 및 정책 질의에 걸쳐 반복적으로 호출되는데, 고정된 캘리브레이션 스케일은 노이즈 제거 진행 상황 및 의도된 모션에 따라 변하는 활성화 범위와 불일치할 수 있습니다. 본 논문에서는 정책에서 손쉽게 얻을 수 있는 VLA 고유의 신호인 생성된 동작 청크(실행되지 않은 미래 접미사 포함)를 활용하는 청크 인식 PTQ 방법인 CHASE-VLA를 제안합니다. CHASE-VLA는 AE 레이어에 대한 정적 스케일 매칭에만 의존하는 대신, 이전에 생성된 청크를 인과적 동작 컨텍스트로 노이즈 제거 단계 그룹 정보와 결합하여 AE 활성화 스케일을 적응시킵니다. 이를 통해 사전학습된 정책을 수정하지 않고도 반복 호출되는 AE의 MLP 및 어텐션 프로젝션 모두에 대해 W4A4 양자화를 가능하게 합니다. LIBERO에서 CHASE-VLA는 AE의 MLP 및 어텐션 프로젝션이 모두 W4A4로 양자화되었을 때 $π_{0.5}$에서 97.3%의 평균 성공률을 달성하여 FP16 수준의 성능을 복원합니다. 또한 CHASE-VLA는 양자화된 AE 선형 레이어의 가중치 저장 공간을 73.4% 줄이고, 절약된 저장 공간의 최대 1.26%에 불과한 예측기 오버헤드만으로 $π_{0.5}$ 및 GR00T N1.6에서 단일 청크 메모리 트래픽을 각각 70.9%와 71.2% 감소시킵니다.

arXiv:2609.36812v2cs.LG

제안 조건부 정제 플로우를 활용한 확산 정책 개선

Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows

확산(diffusion) 및 플로우 정책은 오프라인 강화학습(RL)에서 복잡한 행동을 모델링할 수 있습니다. 그러나 행동 정책(behavior policy)과의 KL 발산(KL divergence)에 페널티를 부여하면 행동 밀도는 낮지만 크리틱(critic) 값이 높은 행동이 억제될 수 있습니다. 행동 제안을 직접 정제(refine)하는 것이 대안이 될 수 있지만, 가우시안 또는 결정론적 편집기는 동일한 제안에 대해 분리된 여러 모드를 표현하는 표현력이 제한적입니다. 본 연구에서는 크리틱 기반 제안 선택과 조건부 정제 플로우를 결합한 정책 추출 기법인 제안 조건부 정제 플로우(Proposal-Conditioned Refinement Flows, PReFlow)를 소개합니다. 제안 선택과 정제를 함께 최적화하기 위해, 가우시안 평활화된 행동 사전 분포 하에서 최종 행동에 대한 깁스 정책(Gibbs policy)을 유도하는 KL 정규화 목적 함수를 정식화합니다. 정제 플로우는 복수의 높은 가치 모드를 표현할 수 있으며, 제안 중심의 가우시안 참조(reference)는 과도한 행동 변화를 조절합니다. 이러한 가우시안 참조는 샘플링된 종점과 크리틱 그래디언트로부터 시뮬레이션 없이 폐형태(closed-form) 수반 매칭(adjoint matching) 목표를 활용할 수 있게 하여, 역방향 수반 풀이 없이 단일 속도 회귀 손실을 도출합니다. 50개의 OGBench 태스크에서 PReFlow는 경쟁력 있는 오프라인 성능을 달성했으며, 온라인 미세조정 후 비교 대상 방법 중 가장 높은 종합 점수를 기록하여 50만 환경 스텝 후 91%에 도달했습니다.

arXiv:2602.13718v2cs.RO

HybridFlow: 실시간 로봇 조작을 위한 2-NFE 생성 정책

HybridFlow: A 2-NFE Generative Policy for Real-Time Robotic Manipulation

로봇 조작용 생성 정책은 동작 정확도와 추론 지연 사이의 균형을 맞춰야 한다. 본 논문은 네트워크 함수 평가(network function evaluation) 두 번(2-NFE)만 필요한 3단계 정책 추론 절차 HybridFlow를 제안한다. Global Jump는 MeanFlow 평균 속도를 사용해 거친 동작 궤적을 생성하고, 매개변수 없는 ReNoise 보간이 0이 아닌 정제 시각에서의 상태를 구성하며, Local Refine은 해당 시각에서 동일 네트워크의 순간 속도 극한을 조회한다. 이 구성은 지식 증류(distillation) 없이 통합 모델을 재사용한다. 본 분석은 구간 합성(interval-composition) 오류와 ReNoise 보간 하에서 끝점 오류의 감쇠를 특성화한다. 통제된 RoboMimic ablation은 MeanFlow 제안과 중간 상태 구성을 뒷받침하며, 노이즈 재사용 시 95% 평균 성공률, 새 노이즈 시 95.5%를 달성한다(1-step MeanFlow 78% 대비). 모든 정책이 동일 Jetson AGX Thor에서 실행된 다섯 가지 실로봇 환경에서 HybridFlow는 16-step Diffusion Policy 대비 정규화 과제 성능을 13–68점 개선하며 동작 생성 지연은 약 8배 낮다. 추가 실험은 비전-언어-동작(vision-language-action) 프레임워크에서 동작 전문가(action expert)로서의 호환성을 보여준다. 프로젝트 페이지: https://hybridflow-anonymous.pages.dev/

arXiv:2511.07260v3cs.AI

PADiff: 애드혹 팀워크를 위한 예측 및 적응형 확산 정책

PADiff: Predictive and Adaptive Diffusion Policies for Ad Hoc Teamwork

애드혹 팀워크(Ad hoc teamwork, AHT)는 에이전트가 이전에 본 적 없는 팀원과 협력해야 하며, 이는 많은 실제 응용 분야에서 매우 중요합니다. AHT의 핵심 과제는 미지의 팀원을 실시간으로 예측하고 이에 적응할 수 있는 자아 에이전트(ego agent)를 개발하는 것입니다. 기존의 강화학습(RL) 기반 접근 방식은 단일 기대 수익만을 최적화하기 때문에 정책이 하나의 지배적인 행동으로 축퇴되는 경우가 많으며, 이로 인해 AHT에 내재된 다중 모달(multimodal) 협력 패턴을 포착하지 못합니다. 본 연구에서는 에이전트의 다중 모달 행동을 포착하여 팀원과의 다양한 협력 모드를 실현하는 확산(diffusion) 기반 접근 방식인 PADiff를 소개합니다. 그러나 표준 확산 모델은 비정상성(non-stationary)이 매우 높은 AHT 시나리오에서 예측 및 적응 능력이 부족합니다. 이러한 한계를 해결하기 위해, 노이즈 제거(denoising) 과정에 팀원에 대한 중요한 예측 정보를 통합하는 새로운 확산 기반 정책을 제안합니다. 세 가지 협력 환경에 걸친 광범위한 실험을 통해 PADiff가 기존 AHT 방식보다 성능이 크게 우수함을 입증합니다.

arXiv:2604.15281v2cs.CV

R3D: 3D 정책 학습의 재검토

R3D: Revisiting 3D Policy Learning

3D 정책 학습(3D policy learning)은 뛰어난 일반화와 다양한 형태 간 전이(cross-embodiment transfer) 가능성을 보여주지만, 학습(training) 불안정성과 심각한 과적합(overfitting)으로 인해 진척이 저해되어 강력한 3D 인지 모델 도입이 가로막혀 왔습니다. 본 연구에서는 이러한 실패 원인을 체계적으로 진단하여, 3D 데이터 증강(data augmentation)의 부재와 배치 정규화(Batch Normalization)의 부정적 영향을 주된 원인으로 규명합니다. 이에 따라 대규모 환경에서의 안정성을 위해 특별히 설계되고 대규모 사전학습(pre-training)을 활용하도록 고안된, 확장 가능한 트랜스포머(transformer) 기반 3D 인코더와 디퓨전 디코더를 결합한 새로운 아키텍처를 제안합니다. 제안하는 접근법은 까다로운 조작 벤치마크에서 최첨단 3D 베이스라인들을 크게 능가하며, 확장 가능한 3D 모방 학습(imitation learning)을 위한 새롭고 견고한 토대를 마련합니다. 프로젝트 페이지: https://r3d-policy.github.io/

arXiv:2606.26839v2cs.RO

시각 내비게이션을 위한 표현 사전으로서의 순서형 신경 붕괴

Ordinal Neural Collapse as a Representation Prior for Visual Navigation

시각 관측 기반 end-to-end 모방 학습에서 행동 손실만으로는 인코더가 모호한 행동 비특이적 표현을 학습하는 문제를, ORION이 Far Left부터 Far Right까지의 목표 상대 제어 범주 순서에 맞춰 표현 공간을 1차원 축으로 정렬하는 Ordinal Neural Collapse 사전학습으로 해결한다. 사전학습된 인코더를 diffusion 기반 내비게이션 파이프라인에 통합해 end-to-end 파인튜닝한 결과, 시뮬레이션과 실제 환경에서 내비게이션 성공률과 목표 진행률이 end-to-end 및 neural collapse 베이스라인보다 우수했고, 복잡한 다방향 교차로 같은 시각적으로 어려운 구간에서 특히 개선이 두드러졌다.

arXiv:2607.20293v1cs.CV

빠른 Diffusion Policy 추론을 위한 진화형 캐시 스케줄

Evolving Cache Schedules for Fast Diffusion Policy Inference

Diffusion policy는 action chunk를 반복적으로 denoising하여 강력한 visuomotor control을 달성하지만, 반복적인 denoising은 실시간 배포를 계산적으로 부담스럽게 만든다. 캐시 기반 방법은 중간 활성화를 재사용하여 추론 비용을 줄이지만, 기존의 학습 없는 스케줄은 일반적으로 블록 전체에 계산을 균등하게 할당하여 블록 간 이질적인 중복성을 무시하고, 이로 인해 성능-효율성 trade-off가 최적이 아니다. 이 격차를 메우기 위해, 우리는 진화 탐색을 통해 캐시 갱신을 전역적으로 스케줄링하는 학습 없는 가속 프레임워크인 Evolving Cache Schedules(EVO)를 제안한다. EVO는 각 후보를 block-timestep lattice에 대한 완전한 스케줄로 표현한다. 따라서 반복적 denoising 동안 중복된 트랜스포머 계산을 캐시 재사용을 통해 건너뛸 수 있으며, 폐루프 롤아웃 성능을 유지할 수 있다. 탐색을 실용적으로 만들기 위해, EVO는 유망한 스케줄로 개체군을 시드하는 중복성 인식 초기화와, 원하는 성능 목표에 도달하면 검증하고 종료하는 목표 조건부 조기 종료를 도입한다. 오프라인으로 최적화된 스케줄은 재학습 없이 사전학습된 diffusion policy에 직접 연결할 수 있다. 광범위한 manipulation 벤치마크에서 EVO는 거의 완전한 성능을 유지하면서 계산량을 대폭 줄이며, action generation 속도를 최대 8.05배 향상하고 FLOPs를 15.77G에서 최저 1.96G까지 감소시킨다. 소스 코드는 https://github.com/pillom/EVO 에서 이용 가능하다.

arXiv:2607.07967v1stat.ML

확산 정책 학습에서의 표현력과 통계적 트레이드오프

Expressivity and Statistical Trade-offs in Diffusion Policy Learning

확산 기반 정책(diffusion-based policy)의 표현력과 통계적 복잡도를 동시에 지배하는 핵심 량으로 드리프트 립시츠 예산 $K$를 규명하고, $K$-립시츠 드리프트가 최적 결정론적 정책에 $\mathcal{O}(1/K)$ 오차로 근사함을 증명하는 동시에 이에 대응하는 하한도 도출했다. 신경망으로 드리프트를 파라미터화할 때 근사-추정 트레이드오프를 분석한 결과, 일반 드리프트 클래스에서 $\tilde{\mathcal{O}}(n^{-2/(m+6)})$, 단측 소산 드리프트 클래스에서 $\tilde{\mathcal{O}}(n^{-2/(m+4)})$의 유한 샘플 성능 격차를 달성하며, 실용적 지침으로 가용 샘플 크기에 따라 $K$를 조정한 뒤 해당 립시츠 계수를 갖는 신경망 아키텍처를 선택할 것을 제안한다.

arXiv:2607.03903v1cs.LG

CDCP: 다중 작업 오프라인 안전 강화학습을 위한 문맥적 프롬프트 기반 조건부 확산 모델

CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning

다중 작업 오프라인 안전 강화학습에서 다중 작업 간섭, OOD 행동, 안전 제약이라는 세 가지 난제를 동시에 해결하기 위해, 조건부 확산 모델과 문맥적 프롬프트를 결합한 CDCP 알고리즘을 제안한다. CDCP는 분류기 없는(classifier-free) 가이드 비용-제약 전략으로 OOD 외삽 오류를 제거하고, 텍스트 설명과 궤적 프롬프트를 통합한 문맥적 프롬프팅으로 미지 작업 적응력을 높여 MetaDrive 환경 실험에서 기존 최고 수준 기준선 대비 더 높은 보상과 안전성을 달성했다.

arXiv:2607.05064v1cs.AI

확산 모델 기반 불확실성 인식 지연 정책 최적화

Diffusion-Guided Uncertainty-Aware Delayed Policy Optimization

실제 환경에서의 강화학습은 지연된 피드백으로 인해 심각한 성능 저하를 겪는 경우가 많다. 기존 접근법들은 대개 증강된 상태를 구성하거나 실제 상태를 예측함으로써 관측 지연으로 인한 성능 저하를 완화한다. 그러나 이러한 방법들은 확률적 MDP로 인해 발생하는 지연 상태와 실제 상태 간의 내재적 불일치를 종종 간과한다. 우리는 이러한 불일치의 존재를 이론적으로 증명하고, 이것이 최적 정책의 성능 저하로 이어짐을 보인다. 이 문제를 해결하기 위해, 우리는 확산 모델 기반 불확실성 인식 지연 정책 최적화(DUPO)를 제안한다. 우리의 방법은 확산 모델(diffusion model)을 사용하여 지연된 상태 메시지와 현재 상태 간의 관계를 명시적으로 모델링하고, 이로부터 얻은 불일치 추정값을 활용하여 지연 정책에 가중치를 부여한다. 다양한 확률적 지연이 존재하는 연속적 로봇 제어 태스크에 대한 광범위한 실험을 통해, DUPO가 기존 방법들을 일관되게 능가하며 긴 지연 및 무작위 지연 시나리오에서도 효과적임을 입증한다.

arXiv:2607.01225v1cs.LG

Language-Critique Imitation Learning from Suboptimal Demonstrations

비최적(suboptimal) 데모에서의 모방학습이 스칼라 감독 신호의 표현력 한계에 직면하는 문제를 해결하기 위해, 자연어를 구조적 감독 신호로 활용하는 language-critique 모방학습 프레임워크(LC-BC, LC-DP)를 제안한다. 오프라인 궤적에서 태스크 진행 상황, 비최적 행동, 수정 지침을 명시하는 언어 레이블을 구성하고 이를 스칼라로 압축하지 않고 직접 정책 학습에 적용하여, 내비게이션·조작·게임플레이 등 다양한 연속 제어 태스크에서 강력한 모방학습 및 오프라인 강화학습 베이스라인을 일관되게 능가함을 보인다.

arXiv:2606.28939v1cs.LG

ReGuide: 테스트 타임 가이던스에서 자기 개선 확산 정책으로

ReGuide: From Test-Time Guidance to Self-Improving Diffusion Policies

행동 복제(behavior-cloned) 확산 정책(diffusion policy)은 표현력이 뛰어나지만 공변량 시프트(covariate shift)에 취약하다는 문제가 있습니다. 시연된 상태에서 작은 이탈이 발생해도 이것이 누적되어 태스크 실패로 이어질 수 있습니다. 기존 방법들은 전문가 교정이나 합성 증강을 통해 학습 분포를 확장하거나, 학습된 모델의 가이던스를 이용해 고정된 정책을 테스트 타임에 조정하는 방식으로 이 문제를 해결합니다. 전자는 비용이 많이 들거나 가정에 의존적일 수 있고, 후자는 실행 후 교정된 궤적을 폐기합니다. 우리는 가이드된 롤아웃(rollout)을 재사용 가능한 온-정책 복구 데이터로 활용하는 자기 개선 프레임워크인 ReGuide를 소개합니다. ReGuide는 먼저 위상 조건부 가이던스(PCG, Phase-Conditioned Guidance)를 사용하여 교정 롤아웃을 생성합니다. 이 방법은 위상별 잠재 타겟(latent target)을 구성하고, 이탈했지만 복구 가능한 구간에서만 가이던스를 적용하며, 추정된 클린 액션(clean action)을 통해 가이던스를 수행하여 동역학 모델의 학습 분포에 맞춥니다. 성공적인 가이드 롤아웃은 현재 체크포인트를 파인튜닝하는 ReGuide-FT 또는 증강된 데이터셋으로 처음부터 재학습하는 ReGuide-FS를 통해 정책에 다시 흡수됩니다. 두 방법은 조합하여 반복 적용할 수도 있습니다. Robomimic의 Can, Square, Transport, Tool Hang 태스크에서 ReGuide는 기본 정책의 성공률을 $1.3$--$7.7\times$ 향상시키고, 테스트 타임 전용 설정에서 LPB를 능가하며, 동일 데이터 비교 실험(ablation)은 성능 향상이 추가 롤아웃 자체보다 가이드된 복구 데이터에서 비롯됨을 보여줍니다.

arXiv:2606.18186v1cs.LG

강건한 확산 정책을 위한 Kolmogorov 회귀

Kolmogorov Regression for Robust Diffusion Policies

유한차원(FD) 확산 정책은 이산화 인공물로 인한 시간적 드리프트를 보이며, 이는 (물리 시스템에 배포할 때) 장기간 성능을 저하시킨다. 우리는 확산 정책을 Hilbert 공간의 부분집합인 Cameron-Martin 공간으로 끌어올리는 후방 Kolmogorov 방정식을 제안한다. 본질적으로, 확률적 점수 매칭을 결정론적 경계값 PDE 문제로 대체한다. 핵심 혁신은 가우스 측도 이론에 기반하며, 확산 노이즈 공분산 연산자가 색노이즈(colored noise) 분포로부터 구현되고, 이는 추론 시 모델 샘플에 대한 정칙성(regularity) 개념을 규정한다. 유도된 정밀도 가중 Cameron-Martin 손실로 확산 모델을 학습하며, Kolmogorov 잔차를 추론 중 PDE 진단으로 도입한다. 이러한 대체는 (i) 경계 상수가 행동 차원이 아니라 커널의 유효 랭크에 의존하는 수렴 보장, (ii) 스펙트럼 가중을 통한 궤적 정칙성 개선, (iii) 보상 신호 없이 동작하는 결정론적 실패 탐지기를 제공한다. 두 응용 도메인에 걸친 검증에서 상당한 개선이 입증되었다: PushT 조작 벤치마크에서 Cameron-Martin 손실은 최대 에피소드 보상에서 17% 개선(0.95 대 0.78, MSE)을 달성했고, 도입된 잔차 크기를 통해 추론 중 단계 간 드리프트를 67.6% 감소시켰다. 마찬가지로 상수 재공정품(CONWIP) 흐름 제어를 적용한 6-스테이션 제조 라인에서 고전적 LSTM 기준선 대비 RMSE를 28.4% 낮췄으며, 높은 기아(starvation) 이벤트 재현율(테스트 사이클에서 1.0)과 효과적인 병목 식별(Precision@1 = 1.0 in test set, 13x signal-to-noise ratio)을 달성했다. 이후 Hamilton-Jacobi 도달가능성 이론으로 디스패치 정책을 인증하여, 100회 시뮬레이션 실행에서 비제어 디스패치 대비 교착(deadlock) 이벤트를 96% 감소시켰다(351건 예방).