PyTorchKR Papers

최신 논문

총 18편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15856v1cs.LG

GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정

GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models

DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.

arXiv:2610.13941v1cs.CV

이미지가 말을 걸어온다: 이미지-투-텍스트 피드백 억제를 통한 MMDiT 가이딩

Images Talk Back: Guiding MMDiTs by Suppressing Image-to-Text Feedback

멀티모달 디퓨전 트랜스포머(MMDiT)는 조인트 어텐션을 통해 진화하는 이미지가 내부 텍스트 표현을 갱신할 수 있도록 한다. 이렇게 갱신된 표현은 이후의 이미지 업데이트를 가이드하는데, 이는 다음과 같은 질문을 제기한다: 이 피드백은 프롬프트로부터의 이탈을 교정하는 데 도움을 주는가, 아니면 그것을 그대로 보존하는가? 우리는 이미지-투-텍스트(I2T) 피드백이 진화하는 이미지에 이미 표현된 객체와 속성을, 오류를 포함하여 그대로 보존할 수 있음을 발견했다. I2T 메시지를 이식(transplant)하면 실패를 구제하거나 성공을 무너뜨릴 수 있다. 동일한 강도의 개입에서, I2T 피드백의 영향을 억제하면 생성 결과가 개선되는 반면, 반대 방향의 제어는 이를 저하시킨다. 이러한 발견은 시맨틱 피드백 가이던스(Semantic Feedback Guidance, SFG)를 제안하는 동기가 되었는데, 이는 이 피드백을 강화하고 텍스트-투-이미지 컨디셔닝을 약화시키는 보조 분기(auxiliary branch)로부터 멀어지도록 가이드함으로써 I2T 피드백의 영향을 억제한다. 제자리(in-place) 변형인 iSFG는 추가적인 모델 평가 없이 I2T 피드백을 직접 억제하고 텍스트-투-이미지 컨디셔닝을 강화한다. 시간적 개입(temporal intervention)에 대한 분석은 이미지 샘플링 단계의 처음 20% 동안 SFG 분기를 실행하도록 유도하며, 이는 분류자 없는 가이던스(classifier-free guidance, CFG) 없이 기본 NFE의 약 1.2배를 필요로 한다. 세 가지 이미지 생성 백본에 대한 실험에서 정합성(alignment) 및 선호도 모델(preference-model) 점수가 향상되었음을 보여준다. FLUX에서는 CFG에 SFG를 추가하면 GenEval이 0.6661에서 0.7479로 상승하며, SD3.5M에서는 iSFG가 추가 NFE 없이 CFG 대비 HPSv2.1을 +1.33 향상시킨다. 이 제어 기법은 텍스트-투-비디오 및 이미지-투-비디오 생성에도 전이되어 VBench 점수를 향상시킨다. 코드는 https://github.com/yyc1215lll-creator/SFG 에서 확인할 수 있다.

arXiv:2610.13369v1cs.LG

정보 병목을 통한 분류기 없는 가이던스의 블랙박스 열어보기

Opening the Black Box of Classifier-Free Guidance via Information Bottleneck

분류기 없는 가이던스(classifier-free guidance, CFG)는 디퓨전 모델(diffusion model)에서 조건부 생성을 개선하는 표준 기법이지만, 그 활성화 스케줄은 보통 경험적으로 선택된다. 실제로 대부분의 기존 CFG 기반 방법은 추론 전 과정에서 사전에 정의된 활성화 정책에 의존하며, 최근의 동적 변형들도 조건 정보가 언제 가장 유용한지에 대한 원칙적인 이론적 설명 없이 수작업으로 설계된 스케줄에 의존하는 경우가 많다. 조건 입력과 점수 함수(score function) 간의 정보적 관련성이 생성 과정에서 어떻게 변화하는지 이해하기 위해, 우리는 정보이론적 관점에서 가이던스가 언제 활성화되어야 하는지를 탐구한다. 본 연구에서는 디퓨전 궤적을 시간에 따라 변화하는 정보 병목(information bottleneck)으로 formalize하고, 조건 정보의 효과성이 샘플링 전 과정에서 균일하지 않으며, 피셔 정보(Fisher-information) 균형 조건으로 특징지어지는 임계 단계 이후에 상당히 강해짐을 보인다. 이러한 통찰에 기반하여, 우리는 추론 시점에 적용 가능한 학습이 필요 없는(training-free) 동적 CFG 전략을 제안한다. 사전에 고정된 스케줄을 지정하는 대신, 우리의 방법은 조건부 및 비조건부 점수 통계로부터 확률 과정(stochastic process)을 구성하고, 추정된 가이던스 이득(guidance gain)이 지정된 임계값을 넘을 때 가이던스를 활성화한다. 이는 조건 주입을 근본적인 생성 동역학과 일치시키는 적응형 활성화 규칙을 만들어내며, 동시에 구간 기반 가이던스를 극한의 특수 사례로 복원한다. 다양한 아키텍처와 과제에 걸친 광범위한 실험은 우리의 방법이 효과적이고 견고하며 널리 적용 가능함을 보여준다. 실증적 개선을 넘어, 우리의 프레임워크는 동적 가이던스 방법에 대한 해석과 조건부 디퓨전 모델에서의 추론 시점 제어를 위한 원칙적인 토대를 제공한다.

arXiv:2610.09145v2cs.LG

프롬프트에 노이즈 추가하기: 연속 확산 언어 모델에서 조건부 토큰 노이즈화

Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models

본 연구에서는 연속 확산 언어 모델(continuous diffusion language model) 문헌에서 표준적으로 통용되던, 학습(training) 중 조건부 프롬프트(prompt) 토큰을 깨끗한 상태(clean)로 고정하는 관행을 재검토합니다. 우리는 매우 간단한 수정 사항을 적용하여, 학습 중 조건부 프롬프트 토큰에도 노이즈를 추가합니다. 이러한 수정된 학습 목적 함수 하에서 스도쿠(Sudoku) 및 N-퀸(N-Queens)과 같은 조합 추론(combinatorial reasoning) 태스크에서 더 우수한 일반화 성능을 달성함을 입증하였으며, 특히 더 어려운 변형에서 가장 큰 폭의 향상(Sudoku Hard 해결률 $3.73\% \to 24.65\%$)과 생성된 해의 다양성 증가(10x10 N-Queens 커버리지 $50.60\% \to 73.79\%$)를 확인했습니다. 또한 Gigaword 요약을 통한 적당한 데이터셋(dataset) 환경에서 자연어 생성 품질의 측정 가능한 개선을 보여주었으나, 이러한 이점이 모든 자연어 태스크(예: 개방형 대화 생성)로 전이되지는 않음을 명확히 보여줍니다. 본 논문의 방법론은 학습 목적 함수에 단 한 줄만을 변경하는 방식이며, 기본적으로 추가적인 추론(inference) 비용이 발생하지 않고, 분류기 없는 유도(classifier-free guidance)에서 영감을 얻은 유도 샘플링(guided sampling)의 유연성을 제공합니다. 공개된 \href{https://github.com/LateralIntelligence/noise-your-prompt}{코드}를 이용할 수 있습니다.

arXiv:2605.14854v4cs.CV

FactorizedHMR: 비디오 휴먼 메시 복원을 위한 하이브리드 프레임워크

FactorizedHMR: A Hybrid Framework for Video Human Mesh Recovery

휴먼 메시 복원(Human Mesh Recovery, HMR)은 본질적으로 모호성을 갖는다: 가림(occlusion)이나 깊이 정보가 약한 조건에서는 동일한 이미지 증거를 여러 개의 3D 신체가 동시에 설명할 수 있다. 이러한 모호성은 신체 전반에 걸쳐 균일하지 않은데, 몸통(torso) 자세와 루트(root) 구조는 비교적 잘 제약되는 경우가 많은 반면, 팔과 다리 같은 말단 관절은 더 큰 불확실성을 보인다. 이러한 관찰을 바탕으로, 본 논문은 이 두 영역을 서로 다르게 다루는 2단계 프레임워크인 FactorizedHMR을 제안한다. 먼저 결정론적 회귀 모듈이 안정적인 몸통-루트 앵커를 복원하고, 이어서 확률적 플로우 매칭(flow-matching) 모듈이 나머지 비(非)몸통 관절을 완성한다. 이 완성 과정을 신뢰할 수 있게 만들기 위해, 복합 타겟 표현과 기하 인지 지도 학습, 특징 인지 분류기 없는 가이던스(classifier-free guidance)를 결합하여, 몸통-루트 앵커를 보존하면서 모호성이 큰 관절에 대한 단일 참조 복원 성능을 개선한다. 또한 다양한 시점에서 이미지-카메라-모션 짝 지도 신호를 제공하는 합성 데이터 파이프라인을 소개한다. 카메라 공간 및 월드 공간 벤치마크 전반에서, FactorizedHMR은 강력한 베이스라인들과 경쟁력 있는 성능을 유지하며, 가림이 심한 복원과 드리프트에 민감한 월드 공간 지표에서 가장 뚜렷한 성능 향상을 보인다.

arXiv:2610.02753v1cs.CV

스펙트럼 정렬을 통한 가이디드 확산 궤적의 보정

Correcting Guided Diffusion Trajectories with Spectral Alignment

조건부 이미지 생성의 실질적인 성공은 조건 정렬(condition alignment)과 시각적 충실도(visual fidelity)의 미세한 차이에 달려 있습니다. 분류기 없는 가이던스(CFG)는 이러한 성공의 핵심이지만, 명시적인 기준이 결여되어 있어 유도된 궤적이 의도한 대로 진행되고 있는지 평가하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 스펙트럼 정렬(spectral alignment)이 가이던스 동작을 이해하고 적응형 보정을 통해 가이디드 확산(diffusion) 샘플링을 개선할 수 있는 원리적 기준을 제공함을 보입니다. 분석 결과, 중간 상태의 스펙트럼이 순방향 과정(forward process)의 예상 스펙트럼 변화와의 일관성을 나타내는 지표임을 확인했습니다. 이러한 관찰을 바탕으로, 샘플링 중 해석적 참조 스펙트럼으로부터의 편차를 보정하는 방법인 스펙트럼 보정 가이던스(Spectral Correction Guidance)를 소개합니다. 제안된 방법은 학습(training)이 필요하지 않으며(training-free), 기본 모델을 수정하지 않고도 다양한 확산 백본 및 조건부 생성 태스크에 적용할 수 있습니다. 실험을 통해 텍스트-투-이미지 생성에서 기준선 가이던스 방법 대비 선호도 기반 지표에서 일관된 성능 향상을 보였으며, ImageNet에서 CFG 대비 생성 품질이 향상됨을 입증했습니다. 이러한 개선은 다양한 가이던스 스케일 전반과 더 적은 노이즈 제거(denoising) 스텝에서도 유지됩니다. 분석 및 절제 연구(ablation)는 가이던스 동작과 제안된 방법이 생성 품질에 미치는 영향에 대한 통찰을 제공합니다.

arXiv:2609.31882v2cs.LG

DOHF: 둡의 $h$-변환 가이던스를 활용한 온라인 확산 모델 미세조정

DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance

보상(reward) 기반 확산 모델 미세조정(diffusion fine-tuning)은 바람직한 결과가 드물게 발생하거나 조건부 보정(conditioning correction)을 추정하는 데 많은 비용이 들 때 실질적인 한계에 직면합니다. 본 연구에서는 둡의 $h$-변환(Doob's $h$-transform)을 실용적인 온라인 학습 알고리즘으로 전환한 DOHF(Diffusion Online $h$-guidance Fine-tuning)를 제안합니다. DOHF는 생성된 샘플에 최적성 가중치를 부여하고, 현재 롤아웃(rollout) 정책 하에서 정규화된 국소 보정치 $\nabla\log h$를 추정한 후, 이를 생성 모델(generative model)에 직접 증류(distill)합니다. 이론적으로는 통일된 $h$-변환 관점을 통해 모집단 최적 DiffusionNFT 업데이트와 다양한 분류기 없는 가이던스(classifier-free guidance) 기법들을 규명합니다. 방법론적으로 본 프레임워크는 추가적인 네트워크 평가 없이도 블랙박스 및 미분 불가능한 보상을 수용할 수 있습니다. 나아가 세 가지 실험적 시나리오에서 향상된 정렬(alignment) 성능을 입증합니다. 본 연구는 저비용 추정과 반복적 증류를 통한 확률적 조건화의 적용이 통계적 샘플링 및 시각적 생성 전반에서 생성 학습을 어떻게 개선할 수 있는지를 보여줍니다.

arXiv:2610.00930v1cs.CV

분류기 없는 유도를 활용한 디퓨전 활성화 양자화를 위한 결합 브랜치 공간 변환 부호화

Joint Branch-Space Transform Coding for Diffusion Activation Quantization with Classifier-Free Guidance

디퓨전 모델을 위한 사후 학습 양자화(PTQ)는 타임스텝, 특징(feature) 및 층(layer) 구조를 점점 더 적극적으로 활용하고 있습니다. 최근 연구에서 디퓨전 양자화에 분류기 없는 유도(CFG) 구조를 통합하기 시작했으나, 활성화(activation) 양자화는 여전히 조건부 및 무조건부 좌표에 걸쳐 독립적으로 작동하여 교차 활성화 구조를 활용하지 못하고 있습니다. 본 연구에서는 매칭된 CFG 활성화가 강하게 상관된 2차원 소스를 형성하며, 고정된 비트 예산 하에서 브랜치 부호화 기저의 선택이 양자화 충실도에 실질적인 영향을 미침을 보여줍니다. 이러한 관찰에 착안하여, 오프라인에서 유도된 2x2 직교 행렬을 통해 매칭된 CFG 브랜치를 회전시켜 모델 파라미터나 양자화 파이프라인의 수정을 최소화하는 브랜치 공간 변환 부호화(branch-space transform coding)를 소개합니다. 나아가 CFG 유도 방향과 브랜치 간 2차 모멘트를 결합하여 반영하는 유도-상관 브랜치 변환(GCBT)을 도출합니다. 동일 비율 양자화 노이즈 대리 지표 하에서 GCBT는 그래디언트(gradient) 최적화나 각도 탐색 없이 층별 닫힌 형태 해(closed-form solution)를 제공합니다. 기존 디퓨전 PTQ 방법론 위에 적용했을 때, GCBT는 기반이 되는 호스트 양자화 파이프라인을 변경하지 않으면서도 통계적으로 유의미한 성능 저하 없이 대부분의 평가 비교에서 통계적으로 유의미한 충실도 향상을 달성합니다.

arXiv:2607.09133v3cs.CV

IB-Flow: 소수 단계 텍스트-이미지 생성을 위한 정보 병목(IB) 가이드 CFG 증류

IB-Flow: Information Bottleneck-Guided CFG Distillation for Few-Step Text-to-Image Generation

대규모 텍스트-이미지 생성 모델이 전례 없는 시각적 성능을 달성했음에도, 다중 단계 반복 솔버에 대한 내재적 의존은 심각한 추론 지연을 초래한다. Classifier-Free Guidance(CFG) 궤적을 대상으로 하는 소수 단계 증류(distillation)는 널리 쓰이는 이중 차원 압축 패러다임으로 부상했다. 그러나 기존 프레임워크는 전역적으로 고정된 가이던스 강도를 끊임없이 강제하면서 감독 타임스텝을 무차별적으로 샘플링하는 거친 블라인드 주입 패러다임에 여전히 매이고 있다. 이러한 상태 비인식(state-agnostic) 설계는 점진적 엔트로피 감소로 특징지어지는 동적 진화 과정이라는 이미지 생성의 본질을 완전히 무시하며, 소수 단계 압축의 성능 한계를 가로막을 뿐 아니라 심각한 CFG 과잉 조건화(over-conditioning) 아티팩트를 촉발한다. 이러한 한계를 넘어서기 위해, 우리는 정보 이론의 관점에서 증류 절차를 재검토하고, 이를 정보 병목(Information Bottleneck, IB) 원리로 제약된 동적 상호정보(mutual information) 게임으로 형식화한다. 구체적으로, 이중 트랙 적응형 프레임워크로 기존의 블라인드 가정을 해체한다. 주입 대상을 정하기 위해, 다루기 어려운 KL 발산 제약을 국소 벡터 필드 노름에 기반한 오버헤드 없는 폐쇄형 해로 바꾸는 인스턴스 인식(instance-aware) 선택 메커니즘을 제안한다. 주입 강도를 조절하기 위해 SNR에 맞춰 동적으로 감쇠하는 엔트로피 인식 스케줄을 도입하여, 초기 구조 앵커링에는 최대 추진력을 가하고 이후 자연 매니폴드(manifold)로 부드럽게 되돌아가 미세 디테일을 정제한다. 광범위한 실증 평가는 본 프레임워크가 과잉 조건화 아티팩트를 근본적으로 제거하고, 극도로 엄격한 2단계 구성에서도 SOTA 생성 충실도(fidelity)를 달성하며 성능 상한을 깨뜨림을 뒷받침한다.

arXiv:2609.24287v1cs.CV

플로우 매칭(Flow Matching)에서의 분류기 없는 가이던스(Classifier-Free Guidance): 비자율 포텐셜, 오버슈트, 그리고 사후 평균 제어

Classifier-Free Guidance in Flow Matching: Non-Autonomous Potentials, Overshoot, and Posterior-Mean Control

분류기 없는 가이던스(Classifier-Free Guidance, CFG)는 플로우 매칭(Flow Matching)에서 조건부 생성을 개선하지만, 강한 가이던스는 생성된 분포를 왜곡하고 다양성을 감소시킬 수 있다. 우리는 플로우 매칭을 시간에 따라 변화하는 그래디언트 흐름(gradient flow)으로 보고 CFG가 그 기저의 포텐셜(potential)을 어떻게 재구성하는지 규명함으로써 이러한 현상에 대한 기하학적 설명을 제공한다. 이러한 관점은 더 강한 정렬(alignment)이 평균 변위(mean displacement)와 궤적 집중(trajectory concentration)을 동반할 수 있는 이유를 설명하며, 모델이 암시하는 종단 사후 평균(terminal posterior mean)을 통해 가이던스를 제어하려는 동기를 제공한다. 이에 따라 우리는 추가적인 네트워크 평가 없이 실행 가능한 가장 강한 가이던스를 샘플별로 적응적으로 유지하는, 학습이 필요 없는(training-free) 방법인 사후 평균 상한 CFG(Posterior-Mean-Capped CFG, PMC-CFG)를 제안한다. 합성 데이터 및 대규모 이미지 생성 벤치마크(benchmark) 실험 결과, PMC-CFG는 가이던스로 인한 왜곡과 집중을 제한하는 동시에 정렬-다양성 트레이드오프를 개선하며, 특히 명목 가이던스(nominal guidance)가 클 때 특히 큰 이점을 보인다.

arXiv:2607.24731v2cs.CV

온-정책 확산 증류에서 Classifier-Free Guidance 재고

Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

온-정책 증류(on-policy distillation, OPD)는 현재 student가 생성한 궤적을 따라 teacher를 질의함으로써 확산 모델을 적응시키지만, 현대 확산 시스템의 기본 구성 요소인 classifier-free guidance(CFG) 하에서 어떻게 동작해야 하는지는 여전히 잘 이해되지 않았다. 기존 OPD 방법은 속도 매칭(velocity matching)을 CFG로 합성된 예측에 자연스럽게 확장하여, teacher와 student의 guided velocity를 직접 일치시킨다. 우리는 이 목적 함수가 분기(branch) 수준에서 식별 불가(under-identified)임을 보인다. positive 분기와 negative 분기의 오류가 guided prediction에서 서로 상쇄될 수 있다. 두 대조적인 사례를 통해, naive matching이 공유 negative conditioning 하에서는 여전히 효과적이며, 두 분기 오류가 함께 감소함을 발견한다. 그러나 모델의 기본 CFG 스키마가 teacher의 negative 분기에 student가 접근할 수 없는 특권 정보(privileged information)를 유지하는 경우, 이러한 공동 감소는 붕괴되고, 합성된 목적 함수는 적대적인 분기-오류 역학을 유발하여 positive 분기 오류는 줄이면서 negative 분기 오류는 증가시킨다. 우리는 이러한 실패 모드를 Negative Branch Asymmetry(NBA)라고 부른다. NBA를 해결하기 위해, positive 예측과 CFG 조건부 방향을 각각 제약하는 분기 인식(branch-aware) OPD 목적 함수인 Positive-Direction Matching(PDM)을 제안한다. PDM을 dense-to-sparse 비디오 제어에 적용한다. 여기서 naive guided matching은 추론 guidance scale에 매우 민감한 반면, 분기 인식 supervision은 더 견고하고 효과적인 지식 전달을 가능하게 한다.

arXiv:2607.04731v2cs.CV

When Does High-CFG Diffusion Inversion Fail? A Controlled Study of Prompt--Latent Interactions

Text-guided diffusion inversion is central to image editing, where an image is mapped to an initial latent and then edited by replaying the denoising process under a modified prompt. In practice, however, inversion is often performed with a lower classifier-free guidance(CFG) scale than the one used for generation or editing. This mismatch is empirically useful but leaves a basic question unresolved: when a target image is generated by a high-CFG trajectory, when can that trajectory actually be inverted? We study this question in a controlled generation--inversion--reconstruction setting, where the true initial latent and denoising trajectory are known. Using prompts taken from an existing diffusion-editing benchmark, we generate images under high CFG and reconstruct them with fixed-point inversion using the same prompt and guidance setting. The results reveal three types of prompt-level reconstruction behavior: easy prompts that reconstruct for most initial latents, hard prompts that fail for most initial latents, and intermediate prompts whose success depends on the prompt--latent pairing. To analyze the generation side, we define prompt pressure, a step-wise measure of how strongly CFG moves the denoising update away from the unconditional trajectory. Total pressure correlates with reconstruction quality and separates easy from hard prompts, but it does not explain the success or failure of intermediate prompt--latent pairs. Text-side analyses further show that the main visual subject and wording can change inversion difficulty. Finally, we evaluate a compact trajectory-consistency intervention that relaxes guidance only at locally unstable inverse steps. This diagnostic check improves reconstruction and Prompt-to-Prompt editing in our controlled setting, supporting the view that high-CFG inversion failure requires local, trajectory-aware analysis.

arXiv:2509.23937v5cs.LG

확산 모델에서 정보의 분리 가능성

On the Separability of Information in Diffusion Models

확산 모델은 학습 단계에서 신경망에 포착된 정보를 주입하여 노이즈를 데이터로 변환한다. 본 논문에서는 이 정보가 무엇인지 묻는다. 픽셀 공간 확산 모델에서, (1) 신경망의 총 정보 중 상당 부분이 이미지의 소규모 지각적 세부 사항을 재구성하는 데 할당되어 있으며, (2) 이미지와 클래스 레이블 간의 상관관계는 이미지의 의미적 내용에 의해 형성되고 저수준 세부 사항에는 대체로 무관하다는 것을 밝힌다. 이러한 특성은 데이터 자체의 매니폴드 구조와 본질적으로 연결되어 있다고 주장한다. 마지막으로, 이러한 사실들이 classifier-free guidance의 효과를 설명함을 보인다: 가이던스 벡터는 생성 과정 초기에 이미지와 조건화 신호 간의 상호 정보를 증폭하여 의미적 구조에 영향을 미치지만, 지각적 세부 사항이 채워짐에 따라 점차 약해진다.

arXiv:2607.08241v1cs.CV

영공간 해소: 분류기-프리 확산을 위한 가이던스-인식 양자화

Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion

기존 사후 학습 양자화(PTQ) 방법들이 CFG 확산 모델을 단일 브랜치로 취급하여 가이던스 격차만 보정할 경우, 비조건부 브랜치가 임의로 표류해 샘플 품질을 심각하게 저하시키는 "브랜치 드리프트 함정(branch-drift trap)"이 발생함을 수학적으로 증명하고 실험으로 확인한다. 이를 해결하기 위해 제안된 Guidance-Aware Mixed Precision(GAMP)은 가이던스된 예측을 직접 보정 목표로 삼고, 레이어별 활성화 비트 민감도를 탐욕적 배낭 알고리즘으로 할당하여 구조적으로 브랜치 드리프트를 방지한다.

arXiv:2607.02968v1cs.CV

확산 트랜스포머 깨우기: 대규모 활성화 변조를 통한 강력한 생성 및 이해 능력 유도

Awakening Diffusion Transformers: Eliciting Stronger Generation and Understanding via Massive Activation Modulation

대규모 활성화(Massive Activations, MAs)는 트랜스포머 기반 모델에서 널리 관찰되어 왔으나, 확산 트랜스포머(Diffusion Transformers, DiTs)에서의 구조와 기능적 역할은 아직 충분히 이해되지 않고 있다. 본 연구에서는 대표적인 DiTs에서 MAs를 체계적으로 분석하고, 이들이 이미지 토큰 전반에 걸쳐 공간적으로 분포하면서 소수의 고정된 특징 차원에 집중된다는 사실을 발견하였다. 또한 이러한 차원들이 AdaLN 잔차 스케일링 인수와 밀접하게 정렬되어 있으며, 텍스트 조건이 아닌 노이즈 제거 타임스텝에 의해 주로 변조된다는 것을 보인다. 이 구조는 태스크에 따라 두 가지 상이한 효과를 초래한다: 생성의 경우 MAs는 세밀한 디테일 합성에 중요한 반면 전역적 의미론에는 제한적인 영향을 미치며, 이해의 경우 공유된 고크기 방향으로 인해 원시 DiT 특징이 공간 토큰 간에 지나치게 유사해져 밀집 특징 변별력이 약화된다. 이러한 발견에 기반하여, 우리는 DiTs의 생성 및 표현 능력을 모두 향상시키기 위해 MAs를 통합 변조 신호로 활용하는 학습-불필요 프레임워크 EMA(Eliciting Massive Activation)를 제안한다. 생성 측면에서 EMA는 MA 기반 디테일 가이던스(Detail Guidance, DG)를 제안하는데, 이는 MA 차원을 억제하여 디테일이 결핍된 반사실적(counterfactual) 예측을 구성하고 더 세밀한 시각적 디테일을 향해 샘플링을 유도한다. DG는 효율적인 부분 순전파 추론, 분류기 없는 가이던스(classifier-free guidance)와의 통합, 그리고 선택된 이미지 영역을 정제하는 토큰 수준 Local DG를 추가로 지원한다. 이해 측면에서 EMA는 MA 변조 표현 추출(MA-modulated REPresentation extraction, MREP)을 도입하는데, 이는 사전학습된 AdaLN 채널별 변조를 사용하여 MA 방향적 우세성을 줄이고 유용한 공간 구조를 보존하기 위해 공간적으로 정규화된 MA 맵을 연결한다. 광범위한 실험을 통해 EMA가 DiTs의 생성 품질과 표현 능력을 모두 일관되게 향상시킴을 입증한다.

arXiv:2607.02119v1eess.AS

An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation

vLLM 기반의 음성 언어 모델(SpeechLM) 고처리량 추론 파이프라인을 제안하며, 다중 코드북 오디오 토큰의 지연 패턴 디인터리빙과 동기식 멀티-토큰 예측(MTP)을 자동회귀 디코딩 루프에 통합하고 GPU 내 음향 디코더를 직접 결합하여 엔드-투-엔드 파형 합성을 구현한다. 또한 Classifier-Free Guidance(CFG)의 조건부·비조건부 요청을 동일 연속 배치(continuous batch) 내에서 쌍으로 공동 스케줄링함으로써 CFG 적용 시에도 비CFG 처리량의 80%를 유지하는 효율적인 추론을 달성한다.

arXiv:2512.14096v2cs.CV

RSTR: 디퓨전 트랜스포머에서의 시공간 중복성 감소

RSTR: Reducing SpatioTemporal Redundancy in Diffusion Transformers

디퓨전 트랜스포머(DiT)는 이미지 생성에서 주목할 만한 성공을 거두었으나, 높은 연산 비용으로 인해 배포가 제한받고 있습니다. 우리는 중복성의 두 가지 원인을 식별했습니다. 첫째, 시간적 중복성입니다. 분류기 없는 가이던스(CFG)는 모든 타임스텝에서 비용이 많이 드는 이중 순방향 패스를 적용하지만, 가이던스는 특정 단계에서만 중요하며, 중요한 단계에서의 가변 스케일이 다른 단계를 건너뛴 것을 보상할 수 있습니다. 둘째, 공간적 중복성입니다. 가변 가이던스 하에서 서로 다른 트랜스포머 블록은 이질적인 민감도를 보이지만, 모든 블록에 걸친 균일한 보정은 연산을 낭비할 뿐만 아니라 그들의 다양한 요구사항을 해결하지 못합니다. 우리는 디퓨전 트랜스포머에서 시공간 중복성을 동시에 줄이는 최초의 프레임워크인 RSTR을 제안합니다. 1단계는 진화적 탐색을 통해 시간적 중복성을 해결하며, 가변 스케일을 갖는 희소 가이던스 스케줄을 도출합니다. 2단계는 적응형 랭크 할당을 통해 공간적 중복성을 해결하며, 민감도에 기반하여 트랜스포머 영역에 보정 용량을 할당합니다. DiT-XL/2, PixArt-$α$, FLUX 및 최첨단 Qwen-Image에 대한 실험은 품질을 유지하거나 개선하면서 50%-70%의 연산 절감 효과를 입증했습니다. DiT-XL/2에서 RSTR은 15%의 FID 개선과 함께 57%의 절감을 달성했으며, Qwen-Image에서는 품질을 유지하면서 3.43배의 속도 향상을 보였습니다.

arXiv:2510.13293v4cs.CL

자기회귀 텍스트 음성 변환(TTS) 모델에서의 견고한 감정 제어를 위한 크로스 모달 일관성 가이던스

Cross-modal Consistency Guidance for Robust Emotion Control in Auto-Regressive TTS Models

텍스트 의미와 목표 감정이 충돌할 때 품질이 저하되는 문제를 해결하기 위해, 텍스트 감정과 명시적 음성 감정 간의 불일치 정도에 기반한 동적 스케일을 적용한 Cross-modal Consistency Guided Classifier-Free Guidance (CCG-CFG) 방법을 제안한다. CosyVoice2 모델에 하드 샘플 마이닝을 통한 지식 증류를 적용한 결과, 감정 인식 정확도와 주관적 점수에서 기존 모델들보다 우수한 성능을 달성했다.