arXiv:2606.19729v1 cs.RO

VOiLA: POMDP 에이전트를 위한 학습된 디퓨전 모델을 활용한 벡터화된 온라인 계획

VOiLA: Vectorized Online Planning with Learned Diffusion Model for POMDP Agents

Marcus Hoerger, Rishikesh Joshi, Rahul Shome, Ian Manchester, Hanna Kurniawati

제출 2026-06-18

한국어 초록

불확실성 하의 계획(Planning)은 자율 로봇에게 필수적인 능력입니다. 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)은 이러한 능력을 위한 강력한 프레임워크를 제공합니다. POMDP 기반 계획법은 상당히 발전했지만, 충실한 POMDP 모델을 확보하는 어려움으로 인해 실제 문제에의 적용이 종종 제한됩니다. 본 논문에서는 불확실성 하의 온라인 계획을 위해 작업 비의존적(task-agnostic) POMDP 모델을 학습하는 프레임워크인 VOiLA(Vectorized Online planning wIth Learned diffusion model for POMDP Agents)를 제안합니다. VOiLA는 조건부 디퓨전 모델을 사용하여 상태 전이(transition) 및 관측(observation) 샘플러를 학습하고, 파티클 기반 신뢰도(belief) 업데이트를 위해 관측 가능도(observation-likelihood) 모델을 학습합니다. 효율적인 온라인 계획을 가능하게 하기 위해, 디퓨전 샘플러는 압축된 피드포워드 생성기로 증류(distillation)되며, GPU 병렬화를 활용하도록 설계된 온라인 POMDP 계획기인 VOPP(Vectorized Online POMDP Planner)와 통합됩니다. 실험 결과, 이 증류 전략은 샘플링 비용을 최대 거의 3자릿수(orders of magnitude)까지 줄여주어, 학습된 생성형 POMDP 모델을 온라인 계획에 실용적으로 만들어줍니다. 세 가지 벤치마크 문제에 대한 VOiLA의 평가 결과, VOiLA는 학습 데이터의 10% 미만을 사용하면서도 Recurrent Soft Actor Critic과 동등하거나 더 우수한 성능을 달성하고, 보이지 않은 환경 구성(unseen environment configurations)에 훨씬 더 잘 일반화함을 보여줍니다. 실제 로봇 평가 결과, VOiLA는 시뮬레이션 데이터만을 사용하여 학습된 모델을 활용하며, 10번의 실행 모두에서 작업을 성공적으로 완수하는 정책을 생성함을 나타냅니다.

원문 초록

Planning under uncertainty is an essential capability for autonomous robots. The Partially Observable Markov Decision Process (POMDP) provides a powerful framework for such a capability. Although POMDP-based planning has advanced significantly, its application to real-world problems is often limited by the difficulty of obtaining faithful POMDP models. We present Vectorized Online planning wIth Learned diffusion model for POMDP Agents (VOiLA), a framework that learns task-agnostic POMDP models for online planning under uncertainty. VOiLA learns transition and observation samplers using conditional diffusion models and learns observation-likelihood models for particle-based belief updates. To enable efficient online planning, the diffusion samplers are distilled into compact feedforward generators and integrated with Vectorized Online POMDP Planner (VOPP), an online POMDP planner designed to leverage GPU parallelization. Experimental results indicate the distillation strategy reduces sampling cost by up to nearly three orders of magnitude, making learned generative POMDP models practical for online planning. Evaluation of VOiLA on three benchmark problems indicate that VOiLA achieves equal or better performance than Recurrent Soft Actor Critic while using less than 10% training data, and generalizes much better to unseen environment configurations. Physical robot evaluation indicates VOiLA uses the models learned using only simulated data and generates a policy that successfully accomplish the task in 10 of 10 runs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19729v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13944v1cs.CV공통 태그 Knowledge Distillation, diffusion models

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

arXiv:2610.08077v2cs.AI공통 태그 Knowledge Distillation, Sequential Decision Making

자기 회고 증류: 사후 경험을 사전 예측력으로 전환하기

Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight

검증 가능한 보상을 활용한 강화학습(RLVR)은 주로 상호작용 후의 스칼라 결과 보상을 통해 에이전트 경험을 학습 신호로 전환합니다. 그러나 그룹 상대적 목적 함수의 경우, 모든 롤아웃이 동일한 보상을 받으면 해당 궤적이 작업에 필요한 요소와 에이전트가 실패하는 방식에 대한 유용한 정보를 드러낼 수 있음에도 불구하고 이러한 신호가 사라집니다. 우리는 이와 상호보완적인 질문을 던집니다. 사후적 통찰(hindsight)이 에이전트에게 행동하기 전에 무엇을 예측할 수 있었는지를 가르쳐줄 수 있을까요? 우리는 상호작용 이전 시점에서의 예측을 지도하기 위해 사후 경험을 사용하는 전향적 학습(prospective learning)을 도입하고, 이를 자기 회고 증류(Self-Retrospection Distillation, SRD)로 구체화합니다. 직관적으로 완료된 궤적은 유용했을 지식과 피해야 했을 함정을 드러내며, SRD는 이 특권적 사후 통찰을 동일한 정책의 궤적 비인지 사전 예측으로 증류합니다. 사전 예측은 학습 목표로만 기능하며 추론 시 명시적으로 생성될 필요가 없습니다. 10가지 도구 통합 추론 및 장기적 에이전트 작업 전반에서, SRD는 RLVR 및 자기 증류 베이스라인을 보완하여 최대 24.2%p의 성능 향상을 달성합니다. 특히 모델 규모 전반에 걸쳐 롤아웃 그룹의 37~98%가 균일한 보상을 보여 보상 대조가 부족한 경우에도 SRD는 샘플링된 궤적으로부터 학습 신호를 활용할 수 있어 그 이점이 두드러집니다. 그룹의 98%가 전면 실패하는 2B 설정에서 RLVR 학습은 0.0%의 성공률로 끝나는 반면, 동일한 롤아웃 예산 하에서 SRD를 추가하면 60.6%에 도달합니다. 우리의 결과는 사후 에이전트 경험이 행동을 평가하거나 개선하는 것뿐만 아니라 상호작용 이전에 예측적 표현을 형성하는 데에도 유용함을 시사합니다.

arXiv:2610.10859v1cs.CV공통 태그 Knowledge Distillation, diffusion models

소수 스텝 증류 텍스트-투-이미지 확산 모델에서 선호도 기반 언러닝 활성화

Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models

텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.

arXiv:2610.10989v1cs.LG공통 태그 Knowledge Distillation, diffusion models

다중 대역폭 분포 매칭 증류: 분포 매칭 증류와 Drifting Model의 동치성에 관하여

Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models

연구자들은 효과적인 원스텝 생성 모델(one-step generative model)을 지속적으로 탐구하고 있으며, Drifting Models(Deng et al., 2026)는 최근 원스텝 생성(one-step generation)에서 큰 가능성을 보여주고 있다. 디퓨전 및 플로우 스타일 생성 모델(Diffusion & Flow Style Generative Models, DFSGMs)(Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022)과 Drifting Models(Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026) 사이의 연관성을 밝힌 연구들이 존재한다. 그러나 우리가 아는 한, Drifting Model과 널리 사용되는 증류(distillation) 방법인 분포 매칭 증류(Distribution Matching Distillation, DMD/DMD2)(Yin et al., 2024b;a) 사이에 정확한 대응 관계를 수립한 연구는 아직 없으며, 이는 두 방법의 최적화 목적 함수가 거의 동일함에도 그러하다. 본 논문에서는 사전학습된(pre-trained) DFSGMs의 속도장(velocity-field)/노이즈장(noise-field)을 Drifting Models의 인력장(attraction force field)으로 변환하고, 생성 분포(generative distribution)로부터 반발력장(repulsion force field)을 추정함으로써, Drifting Model의 학습이 분포 매칭 증류와 자연스럽게 동치임을 증명한다. 이러한 동치 개념을 바탕으로, Drifting Model의 관점에서 DMD를 개선한 방법인 다중 대역폭 분포 매칭 증류(Multi-Bandwidth Distribution Matching Distillation, MBDMD)를 제안한다.

arXiv:2610.02858v1cs.AI공통 태그 Knowledge Distillation, Sequential Decision Making

소형 언어 모델 에이전트를 위한 하네스 인지 증류

Harness-Aware Distillation for Small Language Model Agents

언어 모델(language model) 에이전트(agent)는 모델의 컨텍스트, 도구, 피드백을 관리하는 모델 주변 소프트웨어인 하네스(harness)와 함께 배포됩니다. 이러한 에이전트를 더 작은 에이전트로 증류(distillation)할 때 하네스는 그대로 유지되므로, 학생 모델은 하네스 정보를 바탕으로 올바르게 동작하는 것과 같이 하네스가 제공할 수 없는 교사 모델 고유의 능력만을 주로 필요로 합니다. 그러나 표준 증류 방식은 교사 모델의 전체 출력을 모방하며 하네스를 단순한 입력의 일부로 취급합니다. 본 논문에서는 하네스를 넘어서 교사 모델이 추가로 기여하는 부분에 증류를 집중하는 하네스 인지 증류(Harness-Aware Distillation, HAD)를 제안합니다. HAD는 온-정책(on-policy) 증류를 두 가지 구성 요소로 보완합니다. 하나는 학생 모델 자체의 추론 이후에 점수를 매겨 하네스 정보 유무에 따른 동일한 교사 모델의 행동을 대조하는 행동 선호도이며, 다른 하나는 선호되는 행동이 하네스 기록과 모순되는 선호도 쌍을 제거하는 유효성 검사입니다. 이러한 대조를 통해 교사 모델만을 모방해서는 얻을 수 없는 정보를 학생 모델에 제공함을 보이며, HAD는 태스크 보상, 성공 레이블 또는 미래 정보를 필요로 하지 않습니다. 여러 장기(long-horizon) 에이전트 벤치마크 및 모델 전반에서 HAD는 동일한 고정 하네스를 사용하는 온-정책 증류 베이스라인보다 뛰어난 성능을 보입니다. 분석 결과, HAD는 베이스라인에 비해 비생산적인 루프에 덜 빠지고 오류에서 더 자주 회복되며, 하네스에서 상태 정보를 읽어오는 동시에 학습 가능한 피드백을 가중치에 적응적으로 유지함을 시사합니다.

arXiv:2610.03626v1cs.AI공통 태그 Knowledge Distillation, diffusion models

단일 단계 생성 모델에서의 시간으로서의 깊이

Depth as Time in One-Step Generative Models

증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.