PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.13718v2cs.RO

HybridFlow: 실시간 로봇 조작을 위한 2-NFE 생성 정책

HybridFlow: A 2-NFE Generative Policy for Real-Time Robotic Manipulation

로봇 조작용 생성 정책은 동작 정확도와 추론 지연 사이의 균형을 맞춰야 한다. 본 논문은 네트워크 함수 평가(network function evaluation) 두 번(2-NFE)만 필요한 3단계 정책 추론 절차 HybridFlow를 제안한다. Global Jump는 MeanFlow 평균 속도를 사용해 거친 동작 궤적을 생성하고, 매개변수 없는 ReNoise 보간이 0이 아닌 정제 시각에서의 상태를 구성하며, Local Refine은 해당 시각에서 동일 네트워크의 순간 속도 극한을 조회한다. 이 구성은 지식 증류(distillation) 없이 통합 모델을 재사용한다. 본 분석은 구간 합성(interval-composition) 오류와 ReNoise 보간 하에서 끝점 오류의 감쇠를 특성화한다. 통제된 RoboMimic ablation은 MeanFlow 제안과 중간 상태 구성을 뒷받침하며, 노이즈 재사용 시 95% 평균 성공률, 새 노이즈 시 95.5%를 달성한다(1-step MeanFlow 78% 대비). 모든 정책이 동일 Jetson AGX Thor에서 실행된 다섯 가지 실로봇 환경에서 HybridFlow는 16-step Diffusion Policy 대비 정규화 과제 성능을 13–68점 개선하며 동작 생성 지연은 약 8배 낮다. 추가 실험은 비전-언어-동작(vision-language-action) 프레임워크에서 동작 전문가(action expert)로서의 호환성을 보여준다. 프로젝트 페이지: https://hybridflow-anonymous.pages.dev/

arXiv:2606.17408v1cs.RO

행동 생성은 어디서 시작해야 하는가? 생성형 로봇 정책을 위한 학습 가능한 소스 사전(Source Prior)

Where Should Action Generation Begin? A Learnable Source Prior for Generative Robot Policies

생성형 로봇 정책은 일반적으로 관찰과 무관한 표준 가우시안 분포에서 행동 생성을 시작하며, 이로 인해 소스 분포의 선택이 충분히 탐구되지 못했습니다. 본 연구는 간단한 질문을 던집니다: 행동 생성은 어디서 시작해야 하는가? 우리는 표준 가우시안을 행동 청크(action chunks)에 대한 고유 수용(proprioception) 조건부 대각 가우시안으로 대체하는 학습 가능한 소스 사전(Source Prior)인 LeaP를 제안합니다. 경량 MLP로 매개변수화된 LeaP는 소스 분포의 평균과 상태 적응형 분산을 공동으로 예측하며, 다운스트림 생성기 아키텍처와 추론(inference) 솔버는 변경하지 않습니다. 이 설계는 관찰 정보를 반영하면서도 확률적인 초기화(initialization)를 제공하여, 생성기가 정보 없는 노이즈 소스에서 샘플을 전송하는 대신 정밀한 행동 정제에 집중할 수 있게 합니다. 15개의 RoboTwin 조작 작업에서 LeaP는 평균 81.6%의 성공률을 달성했으며, 결정적 소스 방법, 사전 분포가 없는 대조 모델, 그리고 디퓨전 브리지 정책을 포함한 4가지 대표적인 기준선보다 6.5에서 25.5퍼센트 포인트 더 높은 성능을 보였습니다. 동일한 사전은 더 적은 매개변수를 사용하고 더 빠르게 수렴하면서 플로우 매칭 및 디퓨전 브리지 생성기를 모두 일관되게 개선합니다. 이러한 이점은 실제 환경 배치로 이어지며, LeaP는 최고의 성능을 달성합니다. 이러한 결과는 소스 분포가 생성형 로봇 정책에 대한 독립적이고 재사용 가능한 설계 축이며, 생성 역학의 선택과 상호 보완적임을 시사합니다.

arXiv:2606.06967v1cs.LG

GenPO++: 야코비안 자유 가능도 비율을 이용한 생성형 정책 최적화

GenPO++: Generative Policy Optimization with Jacobian-free Likelihood Ratios

생성형 정책은 표현력이 풍부하고 다중 모드(multimodal) 행동 분포를 제공하여, 복잡한 연속 제어 작업에서의 강화학습(RL)에 매력적입니다. 그중에서도 플로우 기반 정책은 결정론적 전도 맵(transport maps)을 통해 행동을 생성하기 때문에 특히 매력적입니다. 그러나 이러한 생성형 정책을 가능도 기반 온-정책(on-policy) 학습에 적용하는 것은 실행된 행동의 확률을 평가하는 어려움으로 인해 제한적입니다. 기존 플로우 강화학습(RL) 방법론들은 실제 행동 밀도 비율을 근사 대체물로 대체하여 편향된(biased) 업데이트를 유발하거나, 더미 행동 증강을 통해 정확한 가능도를 복원하여 정책 공간을 확대하고 계산량을 증가시킵니다. 본 연구에서는 고차 가역적 ODE 솔버에서 과거 상태를 보조 메모리로 사용하는 가역적 생성형 정책 최적화 프레임워크인 GenPO++를 제안합니다. 이는 원래 행동 차원을 변경하지 않고 정확한 역변환을 가능하게 합니다. 결과적으로 생성된 정책 맵은 고정된 솔버 계수에 의해서만 결정되는 로그-행렬식(log-determinant)을 가지며, 이를 통해 정확하고 야코비안 자유(Jacobian-free) 가능도 비율 계산이 가능해집니다. 이 설계는 생성형 플로우 정책의 표현력을 보존하면서 행동 비율 바이어스(bias)와 더미 행동 오버헤드를 모두 피합니다. 우리는 대규모 시뮬레이션 제어, 미세조정(fine-tuning), 실제 로봇 조작 작업에서 GenPO++를 평가했으며, 여기서 학습 안정성과 계산 효율성을 향상시키면서 최첨단 온-정책(on-policy) 강화학습(RL) 방법론 대비 경쟁력 있거나 우수한 성능을 달성했습니다.