PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18066v1cs.LG

NoiseTilt: 확산 보상 정렬을 위한 노이즈 틸트 역커널

NoiseTilt: Noise-Tilted Reverse Kernels for Diffusion Reward Alignment

우리는 Noise-Tilted Reverse Kernel(NTRK)을 제안한다. 이는 보상 그래디언트를 노이즈 항을 통해 주입하는 보상 유도 확산 샘플러로, 사전학습된 역커널은 그대로 두고 각 스텝마다 단일 샘플만 필요로 한다. 추론 시점의 보상 유도 샘플링은 사전학습된 확산 모델의 활용 범위를 크게 넓혔다. 그러나 기존 방법들은 트레이드오프에 직면한다. 그래디언트 기반 가이던스는 역방향 평균을 이동시켜 생성을 유도하지만, 중간 상태를 모델이 학습한 영역 밖으로 밀어내 품질을 저하시킨다. 검색 기반 방법은 품질을 유지하지만 그래디언트 신호를 얻지 못한다. 이전까지 어떤 방법도 둘 다 달성하지 못했다. NTRK는 역방향 평균을 고정한 채 노이즈 항을 높은 보상 방향으로 치우치게 함으로써 이를 해결한다. 우리는 NTRK의 핵심 메커니즘인 화이트닝 연산자(whitening operator)를 도입한다. 이는 보상 그래디언트를 노이즈로 안전하게 주입하면서도 유도 신호를 잃지 않게 한다. 다양한 보상 정렬 작업에서 NTRK는 샘플 품질을 잃지 않으면서 최근 최신 기준선들을 능가한다. 주목할 점은, 미적 생성에서 NTRK가 500 NFE에서 최고 기준선의 보상을 능가하는 것을 25 NFE만으로 달성한다는 것이다. 이는 연산량을 20$\times$ 줄인 결과다.