원문 초록
Generative reasoning re-rankers achieve strong recommendation accuracy by emitting a chain-of-thought before re-ordering a candidate list, but they are slow at inference: an autoregressive (AR) decoder spends one sequential forward pass per reasoning token, and the reasoning trace far exceeds the ranking it produces. To reduce this cost, block-diffusion language models decode many positions in parallel over a few denoising steps and are substantially faster, yet naively converting an AR re-ranker into one opens two accuracy gaps: (1) a structural gap: answer positions are denoised in parallel and scored independently, so the decoder emits invalid rankings (duplicated, dropped, or out-of-set identifiers) that AR avoids through left-to-right masking; and (2) a distributional gap: fine-tuning the converted model on fixed teacher trajectories is off-policy relative to its own decoding at inference, leaving a residual accuracy gap. To close both gaps while keeping the speedup, we propose \textbf{Diffusion-GR2}, a recipe that converts our AR reasoning re-ranker (GR2) into a block-diffusion re-ranker. First, conversion fine-tuning (CFT) adapts the AR-initialized diffusion model to denoise the answer into a valid permutation on its own, without an external constrained decoder. Next, on-policy distillation (OPD) then supervises the model on its own decoded trajectories with dense per-token targets from the AR teacher. Finally, we apply a reinforcement-learning (RL) stage against a re-ranking reward on top of OPD's on-policy policy. Experiments on Amazon Beauty demonstrate that Diffusion-GR2 recovers to near-parity with the AR re-ranker, while block-parallel decoding raises decode throughput by $2.4$--$3.5\times$ at the model's reasoning output length. Ablations show that CFT recovers most of the conversion gap, and that on-policy distillation further closes it to the AR reference.
요약
자동회귀(AR) 리랭커의 추론 속도를 높이기 위해, GR2를 블록 디퓨전(block-diffusion) 모델로 변환하는 Diffusion-GR2를 제안하며, 변환 파인튜닝(CFT)·온폴리시 증류(OPD)·강화학습(RL)의 3단계로 구조적 갭과 분포 갭을 해소한다. Amazon Beauty 실험에서 AR 리랭커와 거의 동등한 정확도를 유지하면서 디코딩 처리량을 2.4–3.5× 향상시켰다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01170v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스
InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.
소수 스텝 증류 텍스트-투-이미지 확산 모델에서 선호도 기반 언러닝 활성화
Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models
텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.
전자상거래 검색에서 페이지 수준 레이아웃 결정을 위한 언어 모델
Language Models for Page-Level Layout Decisions in E-commerce Search
전자상거래(E-commerce) 검색 페이지는 수백만 명의 온라인 쇼핑객에게 중요한 접점입니다. 전통적인 검색 엔진은 순위가 매겨진 검색 결과 목록을 반환하는 반면, 최신 전자상거래 검색 페이지는 특정 위치에 대안적 상품 그룹을 노출하는 보조 스택(secondary stack)과 같은 추천 시스템 모듈을 점차 더 많이 통합하고 있습니다. 적절하게 도입될 경우 보조 스택은 사용자 참여도를 향상시킬 수 있지만, 최적화되지 않은 배치는 탐색 흐름을 방해하고 주요 검색 결과를 저하시킬 수 있습니다. 인터리빙(interleaving)과 같은 평가 기법이 잘 정립되어 있는 전통적인 검색 랭킹과 달리, 특정 위치와 시점에 보조 스택을 삽입하는 것과 같은 페이지 수준의 레이아웃 변경을 평가하는 것은 비용이 많이 드는 온라인 A/B 테스팅 없이는 여전히 어려운 과제입니다. 이를 해결하기 위해, 본 연구에서는 특정 위치에 보조 스택을 포함하는 것과 같은 주어진 레이아웃 결정이 사용자에게 유익한지 여부를 평가하기 위한 오프라인 방법을 연구합니다. 저자들은 직접적인 프롬프트(prompt) 기반 방식, 프롬프트에서 유도된 특징(feature) 방식, 표현(representation) 기반 방식을 비교하여 확장 가능한 평가자로서 언어 모델을 조사합니다. 실험 결과, 사용자 참여도를 예측하는 데 있어 표현 기반 접근 방식이 프롬프트 기반 평가보다 일관되게 우수한 성능을 보였으며, 이는 해당 방식이 전자상거래 검색에서 오프라인 레이아웃 평가를 위한 신뢰할 수 있는 기반을 제공함을 시사합니다.
AX는 새로운 AEO이다
AX is the New AEO
2023년에 AI 모델(model)은 학습(training) 데이터로부터 답변했고 데이터가 부족할 때 환각(hallucination)을 일으켰으며, 기업들은 이러한 지식을 심어두라는 조언을 받았습니다. 이후 모델의 학습 지식은 실시간 웹 검색에 자리를 내주었고 조언 역시 이를 따랐습니다. 즉, 답변 엔진 최적화(AEO, answer-engine optimization)는 이제 AI 엔진이 기업을 노출하고 추천할 가능성을 높이기 위해 포럼 스레드, 리스티클, 외부 인용 전반에 빵 부스러기(흔적)를 흩뿌려 두라고 기업에 권장합니다. 그러나 단순히 노출되는 것만으로는 더 이상 충분하지 않습니다. 에이전트(agent)는 결정을 내리기 전에 결과를 열고 읽으며, 구매자의 질문 하나로 인해 여러 차례의 검색과 가져오기(fetch) 단계를 거칩니다. 이 심층 탐색 단계에서 결과를 좌우하는 것은 에이전트가 기업 자체 사이트를 가져와서 읽을 수 있는지 여부, 즉 에이전트 경험(AX, agent experience)입니다. 본 논문에서는 AX가 새로운 AEO라고 주장합니다. 우리는 인지도, 기존 모델 지식, 두 가지 AEO 대리 지표를 일치시킨 1,056개의 실제 기업을 대상으로 네 개의 독립적인 하네스(harness)에 걸쳐 기업에 대한 구매자 질문으로 구성된 37,927회의 에이전트 여정을 실행한 뒤, 이들의 AX 수준에 따라 분류했습니다. 사이트 가독 여부와 관계없이 완성된 답변 중 모델의 학습 지식에서 나온 비율은 7~10%에 불과했습니다. 에이전트 친화적인(agent-ready) 기업은 자체 페이지를 기반으로 답변이 구축된 비율이 56% 대비 78%였으며 명확하게 추천되는 빈도가 1.9배 더 높았던 반면, 에이전트 친화적이지 않은 기업에 대한 그라운딩(grounding)된 답변은 에이전트에 평균 64% 더 많은 비용을 초래했습니다. 기업, 하네스, 질문을 고정했을 때 사이트를 기반으로 구축된 답변은 평균 41% 더 정확했습니다. 주요 실패 요인은 조작(fabrication)이 아닌 누락(omission)으로, 웹 기반으로 구축된 답변은 구매자가 요청한 사실을 전혀 포함하지 않을 확률이 3.7배 더 높았습니다. 4개 하네스 간의 기준선(baseline)은 크게 달랐으며 스택에 따라 명확한 추천 비율이 7배나 차이 났지만, 추천 격차는 모든 하네스에서 유지되었습니다. 에이전트 웹 시대에는 회자되는 것보다 읽힐 수 있는 것이 더 중요하며, 사이트의 AX를 개선하는 것이 기업이 활용할 수 있는 가장 강력한 수단입니다.
TACD: 종단 증폭 제어를 통한 효율적인 텍스트-모션 모델 증류
TACD: Distilling Efficient Text-to-Motion Models via Terminal Amplification Control
최근의 텍스트-모션(text-to-motion) 모델들은 모션 품질과 지시 준수 능력을 향상시켰으나, 다단계 디노이징과 거대한 모델 구성 요소로 인해 배포 시 속도가 느리고 메모리 소모가 큽니다. 본 논문에서는 실제 모션 학습(training) 데이터 없이도 텍스트 프롬프트와 사전학습된 교사 모델로부터 효율적인 모션 생성기를 학습하는 온-정책(on-policy) 접근법인 종단 증폭 제어 증류(Terminal-Amplification-Controlled Distillation, TACD)를 제안합니다. 세분화된 온-정책 플로우 증류(segmented on-policy flow distillation)를 기반으로, 학생 모델이 생성한 궤적을 따라 정제 모션(clean-motion) 예측을 지도합니다. 저자들은 고정된 지도 격자에서 속도를 매칭할 때 디노이징 종단점 부근의 오차에 반복적으로 과도한 가중치가 부여되어 소수 단계 생성을 저하시키는 실패 모드를 규명했습니다. TACD는 가장 최근 교사 모델의 쿼리를 학생 모델의 스텝 크기와 연계하여, 추론(inference)을 변경하지 않고도 정제 모션 공간에서의 유효 손실(loss) 가중치를 제한합니다. HumanML3D 및 KIT-ML 데이터셋에 대한 실험을 통해 소수 단계 생성 성능의 향상을 입증했으며, 이러한 제한이 없는 증류 대비 8단계 HY-Motion 학생 모델의 FID가 58% 감소했습니다. 확산 교사 모델의 경우, TACD의 종단점 매칭 형태를 통해 50단계 교사 모델 대비 HumanML3D에서 더 낮은 FID 및 동등하거나 향상된 텍스트-모션 검색 성능을 갖는 4단계 학생 모델을 얻었습니다. HY-Motion 및 Kimodo에서 컴팩트한 구성 요소를 갖춘 8단계 학생 모델은 교사 모델 대비 7.7~11.9배의 엔드투엔드 속도 향상을 달성하고 최대 GPU 메모리를 3.8~6.7배 절감합니다. 프로젝트 페이지: https://vkgo.github.io/TACD/
단일 단계 생성 모델에서의 시간으로서의 깊이
Depth as Time in One-Step Generative Models
증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.