arXiv:2604.24952v2 cs.CV

노이즈가 있는 선호로부터의 학습: 직접 선호 최적화를 위한 준지도 학습 접근법

Learning from Noisy Preferences: A Semi-Supervised Learning Approach to Direct Preference Optimization

Xinxin Liu, Ming Li, Zonglin Lyu, Yuzhang Shang, Chen Chen

제출 2026-09-22

한국어 초록

인간의 시각적 선호는 본질적으로 다차원적이며, 미학, 디테일 충실도, 의미 정렬을 포괄한다. 그러나 기존 데이터셋은 단일의 전체적 주석만 제공하여 심각한 레이블 노이즈를 초래한다. 일부 차원에서는 뛰어나지만 다른 차원에서는 부족한 이미지가 단순히 승자 또는 패자로만 표시된다. 우리는 다차원 선호를 이진 레이블로 압축하면 Diffusion 직접 선호 최적화(DPO)를 오도하는 상충하는 그래디언트 신호가 발생함을 이론적으로 보인다. 이를 해결하기 위해 우리는 Semi-DPO를 제안한다. 이는 일관된 쌍을 깨끗한 레이블 데이터로, 상충하는 쌍을 노이즈가 있는 비레이블 데이터로 취급하는 준지도 학습 접근법이다. 우리 방법은 합의로 필터링된 깨끗한 부분집합으로 학습을 시작한 다음, 이 모델을 암묵적 분류기로 사용하여 노이즈 집합에 대한 의사 레이블을 생성하고 반복적으로 정제한다. 실험 결과는 Semi-DPO가 최신(state-of-the-art) 성능을 달성하고, 학습 중 추가 인간 주석이나 명시적 보상 모델 없이도 복잡한 인간 선호와의 정렬을 크게 개선함을 보여준다. 코드와 모델은 https://github.com/L-CodingSpace/semi-dpo 에서 공개할 예정이다.

원문 초록

Human visual preferences are inherently multi-dimensional, encompassing aesthetics, detail fidelity, and semantic alignment. However, existing datasets provide only single, holistic annotations, resulting in severe label noise: images that excel in some dimensions but are deficient in others are simply marked as winner or loser. We theoretically demonstrate that compressing multi-dimensional preferences into binary labels generates conflicting gradient signals that misguide Diffusion Direct Preference Optimization (DPO). To address this, we propose Semi-DPO, a semi-supervised approach that treats consistent pairs as clean labeled data and conflicting ones as noisy unlabeled data. Our method starts by training on a consensus-filtered clean subset, then uses this model as an implicit classifier to generate pseudo-labels for the noisy set for iterative refinement. Experimental results demonstrate that Semi-DPO achieves state-of-the-art performance and significantly improves alignment with complex human preferences, without requiring additional human annotation or explicit reward models during training. We will release our code and models at: https://github.com/L-CodingSpace/semi-dpo

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.24952v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Denoising, Text-to-Image Generation

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2609.06324v5cs.CL공통 태그 Image Generation, Denoising, Text-to-Image Generation

주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류

A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models

확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.

arXiv:2610.10859v1cs.CV공통 태그 Denoising, Text-to-Image Generation, direct preference optimization

소수 스텝 증류 텍스트-투-이미지 확산 모델에서 선호도 기반 언러닝 활성화

Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models

텍스트-투-이미지 확산 모델(text-to-image diffusion models)은 빠른 추론(inference)을 지원하기 위해 소수 스텝 변형(few-step variants)으로 점차 증류되어 배포되고 있습니다. 그러나 유해하거나 원치 않는 콘텐츠를 생성할 수 있는 능력은 중대한 안전성 위험을 초래합니다. 데이터 기반 언러닝(unlearning) 기법은 특화된 언러닝 목적 함수를 사용하여 모델 가중치를 미세조정(fine-tuning)함으로써 특정 타깃 생성을 억제합니다. 결정적으로, 이러한 목적 함수들은 다단계 노이즈 제거 역학(multi-step denoising dynamics)에 암묵적으로 의존하는데, 소수 스텝 증류(FSD) 모델에서는 이러한 가정이 성립하지 않아 비효과적인 망각을 초래합니다. 더욱이 증류되지 않은 기본 모델에서 언러닝을 수행한 후 언러닝된 FSD 모델을 얻기 위해 재증류하는 방식은 상당한 계산 및 시간 오버헤드를 발생시켜 여러 환경에서 비실용적입니다. 따라서 본 논문은 확산 모델을 위한 직접 선호 최적화(DPO)를 재검토하는 선호도 기반 언러닝 프레임워크를 통해 이러한 한계를 해결합니다. 노이즈 예측 오차를 중심으로 공식화된 표준 DPO 및 그 언러닝 파생 기법들은 변화된 생성 역학으로 인해 FSD 모델로 제대로 전이되지 않음을 보입니다. 이를 극복하기 위해 소수 스텝 생성 특성에 명시적으로 정렬된 수정된 선호도 최적화 수식을 도입하여, 소수 스텝의 효율성을 보존하고 바람직한(비타깃) 능력을 강력하게 유지하면서 FSD 모델에서 직접적인 개념 제거를 가능하게 합니다. 본 연구의 프레임워크를 주로 신원 및 NSFW(누드) 제거 태스크에서 평가하며, 객체 수준의 언러닝으로도 방법을 확장합니다. 광범위한 실험을 통해 일관되고 효과적인 망각과 강력한 유지 성능을 입증함으로써, 본 기법이 FSD 모델의 언러닝을 위한 실용적이고 원칙적인 설루션임을 확립합니다.

arXiv:2610.00483v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

PixelDense: 픽셀 디퓨전을 위한 표현 정렬로서의 밀집 예측

PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion

표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.

arXiv:2610.01681v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

텍스트-이미지 생성이 편집에 도움이 되는 순간: 디노이징 과정에서의 조건화 효과

When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising

통합 모델(unified model)은 지시 기반(instruction-based) 이미지 편집과 텍스트-이미지(T2I) 생성을 모두 수행하도록 학습되지만, 표준 편집 파이프라인은 디노이징(denoising) 전 과정에 걸쳐 원본 이미지 조건화(conditioning)를 유지합니다. 본 논문에서는 편집이 T2I로부터 이점을 얻을 수 있는지 질문을 던지고, 조건화의 효과가 다양한 편집 유형 및 디노이징 단계에 따라 어떻게 달라지는지 연구합니다. 순수 편집(pure editing)에서는 샘플링 궤적을 거치는 동안 일부 편집에 대해 원본 어텐션(attention)이 감소합니다. 이러한 관찰을 바탕으로 모델이 자신의 T2I 역량을 활용할 수 있도록 하는 작업 전환(task switching) 방식을 제안합니다. 세 가지 통합 편집 모델과 네 가지 벤치마크에 걸친 실험 결과, 제한된 구간 동안 T2I 작업으로 전환하는 것이 편집 품질을 향상시키는 동시에 세 모델 모두에서 평균 지각적 보존(perceptual preservation) 수준이 순수 편집과 유사하게 유지됨을 확인했습니다. 따라서 통합 편집 모델은 학습된 두 가지 조건화 모드를 모두 활용함으로써 이점을 얻으며, 전환 시점을 통해 품질과 보존 사이의 균형을 조절할 수 있습니다.

arXiv:2610.01969v1cs.CV공통 태그 Image Generation, Denoising, Text-to-Image Generation

RASteer: 확산 모델의 개념 소거를 위한 보존 인식 활성화 스티어링

RASteer: Retain-Aware Activation Steering for Concept Erasure in Diffusion Models

개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.