PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10989v1cs.LG

다중 대역폭 분포 매칭 증류: 분포 매칭 증류와 Drifting Model의 동치성에 관하여

Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models

연구자들은 효과적인 원스텝 생성 모델(one-step generative model)을 지속적으로 탐구하고 있으며, Drifting Models(Deng et al., 2026)는 최근 원스텝 생성(one-step generation)에서 큰 가능성을 보여주고 있다. 디퓨전 및 플로우 스타일 생성 모델(Diffusion & Flow Style Generative Models, DFSGMs)(Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022)과 Drifting Models(Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026) 사이의 연관성을 밝힌 연구들이 존재한다. 그러나 우리가 아는 한, Drifting Model과 널리 사용되는 증류(distillation) 방법인 분포 매칭 증류(Distribution Matching Distillation, DMD/DMD2)(Yin et al., 2024b;a) 사이에 정확한 대응 관계를 수립한 연구는 아직 없으며, 이는 두 방법의 최적화 목적 함수가 거의 동일함에도 그러하다. 본 논문에서는 사전학습된(pre-trained) DFSGMs의 속도장(velocity-field)/노이즈장(noise-field)을 Drifting Models의 인력장(attraction force field)으로 변환하고, 생성 분포(generative distribution)로부터 반발력장(repulsion force field)을 추정함으로써, Drifting Model의 학습이 분포 매칭 증류와 자연스럽게 동치임을 증명한다. 이러한 동치 개념을 바탕으로, Drifting Model의 관점에서 DMD를 개선한 방법인 다중 대역폭 분포 매칭 증류(Multi-Bandwidth Distribution Matching Distillation, MBDMD)를 제안한다.

arXiv:2603.11984v2cs.CV

Ada3Drift: 원스텝 3D 시각운동 로봇 조작을 위한 적응적 학습 시점 드리프팅

Ada3Drift: Adaptive Training-Time Drifting for One-Step 3D Visuomotor Robotic Manipulation

확산 기반(diffusion-based) 시각운동 정책(visuomotor policy)은 반복적인 디노이징(denoising)을 통해 복잡한 행동 분포를 모델링하지만, 반복적인 추론은 로봇 제어에 지연 시간을 추가한다. 원스텝 생성기(one-step generator)는 이러한 비용을 줄여주며, 적은 수의 시연(demonstration)으로도 유용한 행동 구조를 유지하는 학습 목표를 필요로 한다. 우리는 Drifting Models를 기반으로 하여 학습 중 분포 정제(distribution refinement)를 수행하고 한 번의 순전파로 행동 청크(action chunk)를 생성하는 포인트 클라우드 조건부 정책인 Ada3Drift를 제안한다. 우리의 핵심 설계는 회귀에서 드리프팅으로 전환하는 커리큘럼(regression-to-drifting curriculum)이다: 짝지어진 행동 회귀(paired action regression)가 먼저 관측-행동 대응 관계를 강조하고, 이후 시그모이드 스케줄이 배치 수준의 행동 분포 정규화 항(batch-level action-distribution regularizer)을 점진적으로 증가시킨다. 드리프팅 항은 상속된 다중 온도 집계(multi-temperature aggregation)를 사용하여 시연된 행동에 대한 끌림(attraction)과 생성된 샘플 간의 반발(repulsion)을 결합한다. 타임스텝이 없는(timestep-free) 생성기는 전 과정에서 단일 스텝 추론을 유지한다. Adroit, Meta-World, RoboTwin 및 5개의 실세계 과제에서 Ada3Drift는 확산 기반 베이스라인의 10 NFE와 비교하여 1 NFE로 평가된 베이스라인들 중 가장 높은 평균 성공률을 달성했다. 통제된 절제 실험(ablation)은 동일한 시연 예산에서 시그모이드 스케줄링을 선호하는 결과를 보였다. 우리는 코드와 사전학습된 모델 가중치를 공개할 예정이다.

arXiv:2605.12183v2cs.LG

DriftXpress: 투영 RKHS 필드를 통한 고속 드리프팅 모델

DriftXpress: Faster Drifting Models via Projected RKHS Fields

드리프팅 모델(Drifting Models)은 단일 단계 생성 모델링을 위한 새로운 패러다임으로 등장했으며, 반복적 추론 없이도 강력한 이미지 품질을 달성한다. 그 전제는 확산 모델의 반복적 디노이징(denoising) 과정을 생성기(generator)의 단일 평가로 대체하는 것이다. 그러나 이는 다른 트레이드오프를 만든다: 드리프팅은 많은 계산을 학습으로 옮김으로써 추론 비용을 줄인다. 우리는 투영 RKHS 필드에 기반한 드리프팅 모델의 가속화된 공식화인 DriftXpress를 제안한다. DriftXpress는 저랭크 특징 공간에서 드리프팅 커널을 근사한다. 이는 필드 평가 비용을 줄이면서 원래 드리프팅 필드의 끌림-밀림(attraction-repulsion) 구조를 보존한다. 이미지 생성 벤치마크 전반에서 DriftXpress는 표준 드리프팅과 비슷한 FID를 달성하면서 실제 학습 시간을 줄인다. 이 결과는 드리프팅 모델의 학습-추론 트레이드오프를 단일 단계 추론 이점을 포기하지 않고도 더 밀어붙일 수 있음을 보여준다.