완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.
자기지도 학습 모델과의 표현 정렬(representation alignment)이 확산 모델(diffusion model) 학습을 개선하는 것으로 나타났으나, 추론 시점의 조건화를 향상시키는 잠재력은 아직 거의 탐구되지 않았습니다. 본 연구에서는 풍부한 의미론적 특성을 지닌 이러한 정렬된 표현을 활용하여 생성 과정에서 특징 기반의 테스트 시점 조건화를 가능하게 하는 프레임워크인 REPA-G(Representation-Aligned Guidance)를 소개합니다. 추론 시 유사도 목적함수(포텐셜)를 최적화함으로써, 사전학습된 특징 추출기에서 추출된 조건 표현을 향해 노이즈 제거(denoising) 과정을 유도합니다. 본 방식은 단일 패치를 통한 패치 수준 매칭부터 전역 이미지 특징 토큰을 사용한 광범위한 의미론적 안내에 이르기까지 다양한 세분성 수준에서 다채로운 제어를 제공합니다. 더 나아가 이를 다중 개념 구성으로 확장하여 서로 다른 개념들을 충실하게 결합할 수 있도록 합니다. REPA-G는 추가 학습 없이 전적으로 추론 시점에만 작동하며, 모호한 경우가 많은 텍스트 프롬프트나 거친 클래스 레이블을 대체할 수 있는 유연하고 정밀한 대안을 제시합니다. 본 접근법은 ImageNet과 COCO에서 고품질의 다양한 생성을 달성합니다. 코드는 https://github.com/valeoai/REPA-G 에서 이용할 수 있습니다.
표현 정렬(representation alignment)은 디퓨전(diffusion) 학습을 가속화하는 효과적인 방법으로 자리 잡았지만, 그 이점이 픽셀 공간(pixel-space)의 클린 이미지(clean-image) 예측으로는 안정적으로 전이되지 않는다. JiT에서 우리는 보조 특징 정렬(auxiliary feature alignment)이 의미론적 특징(semantic feature)에 대한 접근성을 향상시키는 동시에 클린 이미지 예측에 필요한 이미지 변동(image variation)에 대한 접근성을 감소시켜, 보조 목표(auxiliary objective)와 디노이징(denoising) 과제 간의 불일치를 초래한다는 것을 발견했다. 이는 다른 원칙을 시사한다: 보조 지도(auxiliary supervision)는 별도의 표현 목표를 부과하기보다 예측 대상 자체를 개선해야 한다는 것이다. 우리는 서로 다른 노이즈 수준(noise level)에 걸쳐 클린 이미지 예측을 정렬하는 예측 지도(prediction-supervision) 방법인 JAx(Just Align x)를 제안한다. JAx는 마르코프 저하(Markov degradation)를 통해 더 노이즈가 많은 학생(student) 관측과 더 깨끗한 관측을 결합하며, 이 과정은 원래의 JiT 입력 분포를 보존한다. 이 결합 하에서, 더 깨끗한 상태로부터의 오라클 예측(oracle prediction)은 최적의 JiT 목표와 동일한 조건부 평균(conditional mean)을 가지면서도, 조건부 목표 공분산(conditional target covariance)은 더 크지 않다. 따라서 오라클 예측 정렬은 상수 항을 제외하면 모집단 JiT 목표를 보존하면서도 더 낮은 분산의 학습 목표를 제공한다. 불완전한 EMA 교사(teacher)를 사용하는 실제 상황에서 이 구성을 실용적으로 만들기 위해, JAx는 실제 정답 지도(ground-truth supervision)와 예측 위험도(prediction risk)에 기반하여 인접한 교사 상태를 선택하는 신뢰도 게이팅 결합 밴드(reliability-gated coupling band)를 결합한다. ImageNet 256x256에서 JAx는 외부 인코더나 아키텍처 또는 샘플링 절차의 변경 없이도 JiT-B/16, L/16, H/16 전반에 걸쳐 FID를 일관되게 향상시키고 수렴을 가속화한다. 그래디언트 진단(gradient diagnostics)은 미니배치 그래디언트 분산의 감소를 추가로 보여주며, 제거 실험(ablation)은 이러한 개선이 시간 재가중치화(time reweighting)만으로는 설명될 수 없음을 보여준다. 이러한 결과는 예측 공간 지도(prediction-space supervision)가 픽셀 공간 생성 모델(pixel-space generative model)에서 표현 정렬에 대한 단순하고 원칙적인 대안을 제공함을 보여준다.
표현 정렬(REPA, Representation alignment)은 디퓨전 트랜스포머 학습을 가속화하지만, 그 정렬 대상은 거의 전적으로 DINOv2나 CLIP과 같은 시맨틱 인코더에 한정되어 있다. 최근 분석에 따르면 정렬 효과를 매개하는 것은 전역적 시맨틱이 아니라 공간 구조(spatial structure)이지만, 그러한 구조를 예측하도록 학습된 밀집 예측(dense-prediction) 파운데이션 모델은 REPA 대상으로서 여전히 간과되고 있다. 픽셀 공간 디퓨전에서 SAM2, Depth Anything v2, Metric3D v2는 각각 DINOv2만을 사용한 GenEval 기준선을 능가하며, 두 기하학적(geometric) 교사 모델이 분할(segmentation) 교사 모델을 앞선다. 그러나 네 교사 모델을 단순히 합산하면 시맨틱 그래디언트와 기하학적 그래디언트가 하나의 디노이저 프로젝션을 두고 경쟁하게 되어, 최고의 단일 기하학적 교사 모델보다 낮은 성능을 보인다. 우리는 DINOv2와 SAM2를 시맨틱 프로젝션 스트림으로, Depth Anything v2와 Metric3D v2를 기하학적 프로젝션 스트림으로 각각 라우팅하고, 두 스트림을 서로 겹치지 않는(disjoint) 부분공간에 유지하는 가중치 공간 직교성(orthogonality) 페널티를 추가한 PixelDense를 제안한다. 네 교사 모델은 모두 학습 중에는 고정(frozen)되고 추론 시에는 제거된다. 단일 레시피로 PixelGen과 DeCo에 적용한 결과, PixelDense는 GenEval, DPG-Bench, HPS v2.1을 향상시키고, PixelGen-XXL의 GenEval Overall을 0.7927에서 0.8093으로 끌어올리며, 모든 단일 교사 모델 변형과 비분리형(unfactored) 다중 교사 모델 변형을 능가한다. 부분 노이즈(partial-noise) 복원 실험에서, 독립적인 panoptic, depth, surface-normal 프로브는 COCO와 Flickr30K 전반에 걸쳐 τ=0.5에서 최대 53.1%의 PQ 향상과 36.0%의 depth AbsRel 감소를 보인다. 무작위 초기화(random initialization)에서 시작했을 때도 PixelDense는 기준선의 최고 GenEval 성능에 1.23배 더 빠르게 도달한다. PIE-Bench에서의 SDEdit 편집 실험에서, PixelDense는 모든 편집 강도에서 원본의 배경과 레이아웃을 더 많이 유지하며, 배경 PSNR을 최대 2.2 dB까지 향상시킨다.
표현 정렬(representation alignment)은 외부 비전 인코더의 내부 표현을 향해 멀티모달 대규모 언어 모델(MLLM)의 내부 표현을 정규화함으로써 성능을 향상시키는 효과적인 접근법으로 부상하고 있다. 그러나 기존 방법들은 언어 백본의 고정된 층(layer)을 정렬하는 데 그쳐, 트랜스포머(Transformer) 모델의 세밀한 구조를 간과한다. 본 연구에서는 개별 어텐션(attention) 헤드 수준에서 교차 모달 정렬을 강제하는 방법인 Head-Wise Representation Alignment(HeRA)를 제안한다. 우리의 접근법은 플라톤 표현 가설(Platonic Representation Hypothesis)에 기반하며, 모달리티 간 표현의 위상적 구조(즉, 지역 이웃 관계)를 보존하는 데 초점을 맞춘다. 상호 K-최근접 이웃(Mutual K-Nearest Neighbor, MKNN) 정렬 지표를 따라, 우리는 지역 구조 매칭을 위한 미분 가능한 프록시로 작동하는 대조적 목적 함수(contrastive objective)를 도입한다. HeRA는 MKNN 지표에 따른 정렬 점수를 기준으로 선택된 LLM의 특정 어텐션 헤드에 대해 멀티모달 학습(training) 과정에서 이 목적 함수를 적용한다. 직관에 반하게도, 가장 정렬이 낮은 헤드를 정렬하는 것이 가장 큰 성능 향상을 가져옴을 발견하였다. 여러 MLLM과 18개 벤치마크에 걸친 광범위한 평가를 통해, HeRA가 도전적인 비전 중심 과제에서 일관되게 성능을 향상시키고, 언어적 사전(linguistic priors)에 대한 과도한 의존을 자연스럽게 억제함으로써 시각적 환각(hallucination)에 대한 효과적인 정규화기 역할을 함을 입증한다. 코드는 공개되어 있다.
표현 유사성 평가는 표현 학습(Representation learning)에 있어 근본적인 요소입니다. 그러나 기존 지표(metrics)는 변동하는 기준선(baselines)으로 인해 해석 가능성이 결여되어 있고, 이상치(outliers)에 대한 강건성(robustness)이 부족하며, 대규모 데이터셋(dataset)에서는 계산적으로 처리가 불가능하여 휴리스틱 근사(heuristic approximations)에 의존해야 한다는 중대한 한계를 겪고 있습니다. 이를 해결하기 위해 우리는 순서 유사성(ordinal-similarity) 프레임워크를 개발했으며, 이는 트리플릿(TSI) 및 쿼드러플릿(QSI) 유사성 지수(Similarity Indices)로 구체화됩니다. 이 프레임워크는 순서 관계(ordinal relationships)의 일관성을 정량화하여 정렬(alignment)을 측정합니다. 우리는 이 공식이 본질적으로 해석 가능하며, 이상치에 강건하고, 계산적으로 효율적임을 이론적으로 입증했습니다. 마지막으로, 우리는 TSI와 상호 최근접 이웃(Mutual Nearest Neighbors)으로 측정되는 지역 이웃 정렬(local neighborhood alignment) 사이의 형식적 동등성을 확립했습니다. 실험적으로 우리는 이러한 속성들을 검증했으며, 순서 유사성이 정렬을 측정할 수 있는 확장 가능한 접근 방식을 제공하여 실무자들이 표현(representations)을 더 잘 이해하고 설계할 수 있도록 함을 보여주었습니다.