PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02834v2cs.LG

분자 최적화를 위한 이산 확산 온라인 적응의 설계 공간에 관한 연구

On the Design Space of Discrete Diffusion Online Adaptation for Molecular Optimization

분자 최적화는 유효한 분자 구조에 대한 광범위한 사전 분포를 포착하는 사전학습된 생성 모델에서 출발하는 경우가 많다. 그러나 테스트 시점의 목표는 이 사전 분포에서 샘플링하는 것이 아니라, 제한된 오라클 예산을 활용하여 생성 방향을 과제별 고보상 분자로 전환하는 것이다. 우리는 이산 확산 모델에 대한 이 적응 문제를 연구한다. 각 온라인 라운드는 여러 선택을 결합한다. 루프는 어떤 후보를 평가할지, 보상이 어떻게 모델 업데이트로 이어질지, 어떤 피드백을 재사용할지, 그리고 사전학습된 사전 분포에서 얼마나 멀리 이동할지를 결정해야 한다. 이러한 선택들은 대부분 개별적으로 연구되어 왔으며, 전체 온라인 적응 루프 내에서 이들이 서로 보완되는지, 중복되는지, 또는 간섭하는지는 아직 밝혀지지 않았다. 우리는 여섯 가지 소분자 결합 친화도 과제와 세 가지 단백질 적합도 과제에 걸쳐 통제된 연구를 수행한다. 획득(acquisition), 보상 형성(reward shaping), 모델 디바이어싱(model debiasing)이 특히 소분자에서 더 높은 보상으로 이어지는 상호 보완적인 경로를 제공함을 발견하였다. 리플레이(replay)는 학습을 추가로 안정화시키며, 유효성 페널티는 소분자 탐험을 유효한 분자 다양체 위에 유지한다. 이러한 발견들은 피드백 효율적인 분자 최적화를 위한 실용적인 레시피를 제시한다: 획득, 보상 형성, 디바이어싱, 리플레이, 유효성 제어를 포함한 온라인 미세조정이다. 이 레시피는 동일한 오라클 호출 예산 및 GPU 시간 기준 하에서 오프라인 미세조정 및 추론 시점 탐색 기준선을 능가한다. 성능 향상은 고보상 후보가 사전학습된 사전 분포로부터 더 큰 이동을 필요로 할 때 가장 크게 나타난다.

arXiv:2610.00576v2cs.CV

Gestalt: 대규모 다중모달 상호작용 모델

Gestalt: Large Multimodal Interplay Model

본 논문에서는 다중모달 상호작용(multimodal interplay)을 중심으로 구축된 대규모 다중모달 모델(large multimodal model)의 새로운 패러다임인 Gestalt를 제안합니다. 급격한 발전에도 불구하고 기존 대규모 다중모달 모델들은 병목에 직면하고 있습니다. 기존 접근 방식들은 각 모달리티의 고유한 특성과 모달리티 간의 관계를 간과한 채 주로 추가적인 모달리티를 수용하는 데만 집중하기 때문입니다. 인간의 다감각 지각이 지닌 다단계 특성에 착안하여, 본 연구는 모달리티별 처리에서 시작하여 교차 모달 정렬(cross-modal alignment)을 거쳐 더 깊은 다중모달 통합으로 나아가는 과정으로 다중모달 모델링을 체계화하는 다중모달 상호작용 피라미드(multimodal interplay pyramid)를 제안합니다. 이 피라미드를 기반으로 Gestalt는 통합된 이산 확산(discrete diffusion) 프레임워크와 상호작용 분할 구조를 채택하며, 학습 가능한 상호작용 토큰이 교차 모달 교환 및 통합을 매개하도록 합니다. 또한 이 피라미드는 데이터 구성 및 학습 전략도 체계화합니다. 이미지 생성, 다중모달 이해, 텍스트 전용 평가 전반에 걸친 뛰어난 성능은 Gestalt가 모달리티별 정보를 보존하면서 교차 모달 통합을 크게 향상시키고, 확산 기반 다중모달 모델의 장점을 효과적으로 활용하여 통합 다중모달 인공지능을 향한 유망한 경로를 제시함을 보여줍니다. 프로젝트 페이지: https://GeWu-Lab.github.io/Gestalt

arXiv:2605.10971v2cs.LG

망가뜨리지 않고 제어하기: 이산 확산 언어 모델을 위한 기계론적 정보 기반 개입

Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models

이산 확산 언어 모델(Discrete diffusion language model, DLM)은 모든 위치를 병렬로 반복해서 노이즈를 제거(denoising)하며 텍스트를 생성하여 자기회귀 모델(autoregressive model)의 대안을 제공합니다. 자기회귀 모델에서 도입된 기존 DLM 제어 생성 방식들은 모든 노이즈 제거 단계에서 균일한 개입을 적용합니다. 본 연구는 이러한 균일한 스케줄이 비효율적이고 품질을 저하시키며, 여러 속성을 공동으로 제어(steering)할 때 손상이 가중됨을 보여줍니다. 이러한 실패 원인을 진단하기 위해 4개의 DLM(124M~8B 파라미터)에서 희소 오토인코더(sparse autoencoder)를 학습시켰으며, 서로 다른 속성들이 타이밍, 선명도, 크기 면에서 상이하고 뚜렷한 스케줄에 따라 결정된다는 점을 발견했습니다. 예를 들어, MDLM에서 주제(topic)는 노이즈 제거의 초기 2% 이내에 결정되는 반면, 감성(sentiment)은 전체 과정의 20%에 걸쳐 점진적으로 나타납니다. 이러한 프로파일에 착안하여, 각 속성이 활발하게 형성되는 구간에 개입을 집중하는 적응형 스케줄링 메커니즘을 제안합니다. 이상화된 할당 분석에 따르면 형성 과정이 더 급격히 집중되는 속성일수록 적응형 스케줄링의 이점을 더 크게 얻는 것으로 예측되며, 이를 실험적으로 확인했습니다. 4개의 DLM에 대한 7가지 단일 및 다중 속성 제어 작업 전반에서, 적응형 제어는 균일 개입 및 구간 제한 베이스라인 대비 제어와 품질 간의 균형을 일관되게 개선합니다.

arXiv:2609.21960v2math.ST

마스크 이산 확산 모델에서 타우 리핑을 위한 스케줄 최적화

Schedule optimization for tau-leaping in masked discrete diffusion

마스크 확산(masked diffusion) 모델은 이산 분포를 위한 대표적인 생성 모델이다. 표준적인 자기회귀(autoregressive) 샘플링과 달리, 이 모델은 여러 좌표를 병렬로 드러내며 각 블록의 결합 조건부 법칙을 1차원 좌표 조건부들의 곱으로 근사한다. 통상적으로 타우 리핑(tau-leaping)이라 불리는 이러한 절차는 계산 비용을 줄이지만, 완벽하게 학습된 예측기가 주어지더라도 인수분해 오차($\varepsilon_\text{fact}$)를 유발한다. 본 연구에서는 고정된 샘플링 예산 내에서 $\varepsilon_\text{fact}$를 최소화하기 위해 노이즈 제거 스케줄을 선택하는 방법에 초점을 맞추어, 생성 정확도와 계산 비용 사이의 상충관계를 분석한다. 이를 위해 스케줄과 타깃의 의존성 구조를 분리하는 $\varepsilon_\text{fact}$의 정확한 적분 표현을 확립하고 이를 의존성 밀도 $ρ$로 요약한다. 이 표현식은 최적 스케줄에 대한 재귀적 정상성 방정식을 도출하며, $ρ$의 추정 오차가 스케줄 선택에 미치는 영향을 정량화할 수 있게 한다. 차원 $N$과 샘플링 예산이 증가함에 따라 최적 스케줄의 특성을 규명하고, 결정론적 플래너 대비 무작위 블록 크기의 비용을 정량화한다. 또한 본 연구는 근본적인 이분법을 제시한다. 즉, $N\to\infty$일 때 $ρ$가 엄격하게 양인 연속 프로파일로 균등 수렴하면 스케줄 최적화는 $\varepsilon_\text{fact}$의 최고차 계수만 개선할 수 있는 반면, $ρ$가 퇴화하면 스케줄 최적화가 점근적 차수 자체를 개선할 수 있음을 보인다. 정상 과정(stationary process) 및 교환 가능 혼합 모델에 기반한 예시들을 통해 이러한 영역들을 실증한다.

arXiv:2603.14275v3eess.AS

이산 확산을 통한 제어 가능한 억양 정규화

Controllable Accent Normalization via Discrete Diffusion

기존의 억양 정규화(accent normalization) 방법들은 일반적으로 억양 강도에 대한 제어 기능을 제공하지 않지만, 언어 학습이나 더빙과 같은 많은 응용 분야에서는 조절 가능한 억양 유지가 요구됩니다. 본 논문에서는 자기지도 음성 토큰에 대한 마스킹된 이산 확산(discrete diffusion)을 기반으로 구축된 제어 가능한 억양 정규화 시스템인 DLM-AN을 제안합니다. 공통 토큰 예측기(Common Token Predictor)는 원어민 발음을 인코딩할 가능성이 높은 소스 토큰을 식별하며, 이러한 토큰들은 역 확산 과정을 초기화하기 위해 선택적으로 재사용됩니다. 이는 억양 강도를 제어하는 간단하면서도 효과적인 메커니즘을 제공합니다. 즉, 더 많은 토큰을 재사용할수록 기존 억양이 더 많이 보존됩니다. 나아가 DLM-AN은 원어민 리듬에 더 잘 부합하도록 전체 길이를 자동으로 조정하는 플로우 매칭(flow-matching) 기반의 길이 비율 예측기(Duration Ratio Predictor)를 통합합니다. 다중 억양 영어 데이터에 대한 실험 결과, DLM-AN은 비교 대상 시스템 중 가장 낮은 단어 오류율(WER)을 달성하는 동시에 경쟁력 있는 억양 감소 성능과 매끄럽고 해석 가능한 억양 강도 제어 기능을 제공함을 보여줍니다. 구현 코드는 https://github.com/P1ping/DLM-AN 에서 확인할 수 있습니다.

arXiv:2609.27306v1cs.LG

진화 변분 오토회귀 네트워크를 통한 이산 확산 모델

Discrete Diffusion Models via Evolving Variational Autoregressive Networks

기존 score 기반 확산 모델은 정규화된 밀도를 표현하지 않은 채 score만 학습하는 반면, 다루기 쉬운(tracable) 정규화 모델은 샘플링과 직접적인 가능도 평가를 모두 지원한다. 최근 텐서 네트워크 접근법은 이러한 표현을 제공하지만, 대체로 저차원 격자에 제한된다. 본 연구에서는 변분 오토회귀 네트워크로 정규화된 확률 분포를 매개변수화하는 이산 확산 모델을 제안한다. 명시적인 Markov jump 연산자가 순방향 노이징과 역방향 디노이징 역학을 지배하며, 정규화된 분포를 갖는 이산 확산 모델을 고차원 격자上的 스핀 시스템으로 확장한다. 이 프레임워크를 질서, 임계, 무질서 영역에 걸친 2차원·3차원 Ising 모델에 적용하여 자유 에너지, 에너지, 자화를 포함한 열역학량을 정확히 계산한다. 또한 Monte Carlo 샘플링과 통합하고, 적응형 확산 단계로 낮은 온도에서도 높은 수락률을 유지하면서 샘플 다양성을 높인다. 이 결과는 정규화된 확률 분포를 갖는 이산 확산 모델을 위한 신경망 프레임워크를 확립한다.

arXiv:2609.20581v2cs.AI

확산에서 신뢰도의 한계

Limits of Confidence in Diffusion

remasking 및 uniform-state sampler를 포함한 이산 확산(discrete diffusion)은 매 스텝마다 여러 토큰 위치에 기록하며, 각 위치는 위치별 분포에서 샘플링하고 어떤 위치를 기록할지도 동일한 분포들로부터 선택하는 방식으로 시퀀스를 생성한다. 픽셀, 음소, 단어 등 일반적인 관심 영역에서는 토큰 간 본질적인 종속성이 존재한다. 우리는 한 스텝이 학습 분포와 일치하는 것은 그 스텝이 기록하는 위치들이 이미 고정된 토큰들이 주어졌을 때 조건부 독립일 때에만 해당함을 보이고, 위치별 분포의 곱은 종속적인 그룹과 일치할 수 없으며, 위치별 분포가 그룹의 종속 여부를 결정하지 않음을 보인다. 두 결합 분포가 동일한 위치별 주변 분포를 가지면서도 어떤 값 조합이 발생하는지는 달라질 수 있다. 결합 분포를 폐형식으로 알 수 있는 합성 과제 ScanAndAdd에서, confidence ranking이 기록하는 미정 위치 두 개 이상의 모든 그룹이 종속임을 검증하고, 생성 분포의 총 변동(total variation)을 샘플링 노이즈 바닥의 $29\times$로 측정한 반면 샘플당 지표는 $1.0$이다.

arXiv:2607.13431v2cs.LG

이산 확산 모델: 토큰화에서 생성까지의 통합 프레임워크

Discrete Diffusion Models: A Unified Framework from Tokenization to Generation

이산 디노이징 확산 모델(DDM)은 최근 이산 데이터에 대한 자기회귀(AR) 모델링의 설득력 있는 대안으로 부상했으며, 병렬 생성과 반복적 전역 정제 능력을 제공한다. 상태 공간이 고정된 연속 확산과 달리, DDM은 이산 상태 공간이 어떻게 구성되는지—토큰화 방식, 어휘 토폴로지, 도메인별 구조적 알파벳—에 의해 근본적으로 형성된다. 본 연구는 기저 이산 상태 공간의 구성을 통해 이산 확산 모델을 조망하는 통합 개념 프레임워크를 제안한다. 이 프레임워크 내에서 전이 행렬(transition-matrix), 마스킹/흡수 상태(masking/absorbing-state), 점수/비율 기반(score/ratio-based) 접근법을 포함한 기존 공식화들이 공통 설계 공간의 서로 다른 인스턴스화로 나타난다. 이 프레임워크는 또한 학습 목표, 추론 알고리즘, 스케일링 행동, 시스템 최적화, 평가 프로토콜 전반에 걸친 공통 설계 트레이드오프를 드러내며, 향후 연구를 위한 여러 유망한 방향을 제시한다.

arXiv:2607.24176v1cs.CL

압축 단문 생성에서 품질이 붕괴되는 지점: 단계적 병목 국소화

Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization

압축 단문 생성기는 두 가지 서로 다른 지점에서 실패할 수 있다. 생성이 시작되기 전에 코덱이 정보를 버릴 수 있고, 잠재 생성기(latent generator)가 약한 코드를 만들 수 있다. 이러한 실패 모드를 분리하지 않으면, 연구자들은 잘못된 구성 요소를 개선하는 데 연산 자원을 쓸 수 있다. 우리는 계층적 VQ-VAE-2 코덱과 마스크된 이산 확산 생성기(MDLM)로 구성된 제어된 64-to-16 TinyStories 사례 연구에서 이 문제를 연구한다. 공유 외부 GPT-2 채점기(scorer) 아래에서 코덱 재구성 충실도, 잠재 생성 품질, 보조 잠재 진단을 분리하는 단계적 검증 프로토콜을 사용하고, 기하학 연구를 위해 보완적 의미론적 지표를 보고한다. 테스트된 구성에서, 코덱 재구성만으로도 중앙값 외부 perplexity가 15.17에서 27.36(+80.4%)으로, p95가 25.10에서 98.91(+294.1%)로 증가하여, 지배적인 품질 손실이 잠재 생성이 시작되기 전에 나타남을 보여준다. 동일한 채점기 하에서, 코드 공간 MDLM은 토큰 공간 확산보다 실질적으로 더 강함을 유지하며, 평균, 중앙값, p95를 각각 32.9%, 30.9%, 36.6% 줄인다. 기하학 인식 정규화(geometry-aware regularization)는 지역적 잠재 프록시를 개선하지만, 사용 가능한 실행에서는 디코딩된 텍스트 지표를 개선하지 않는다. 기여는 알고리즘적이기보다 방법론적이다. 본 논문은 하나의 구체적인 파이프라인에 대한 재사용 가능한 단계적 진단을 제시하고, 이 설정에서 잠재 디노이징(latent denoising)보다 코덱 충실도가 실질적 품질 상한을 설정함을 보여준다.

arXiv:2607.21634v1cs.LG

MotifRole-Diff: 마스킹 분자 그래프 확산을 위한 위험 최적 역할 인식 손상

MotifRole-Diff: Risk-Optimal Role-Aware Corruption for Masked Molecular Graph Diffusion

분자 그래프 생성을 위한 마스킹 이산 확산(masked discrete diffusion)은 일반적으로 무손실 그래프-투-시퀀스(graph-to-sequence) 표현의 모든 토큰에 균일한 손상(corruption) 스케줄을 적용하며, 구조적으로 이질적인 분자 구성 요소를 재구성 난이도와 중요도가 동일한 것처럼 암묵적으로 취급한다. 그러나 서로 다른 분자 그래프 토큰 역할은 디노이징(denoising) 난이도와 디코딩된 분자에 미치는 영향에서 상당한 차이를 보이므로, 역할별 손상 전략이 필요하다. 본 논문은 MotifRole-Diff를 제안한다. 이는 경험적으로 측정된 디노이징 난이도와 그래프 수준 교란(perturbation) 영향에 따라 마스킹 비율을 할당하는 역할 인식 손상 과정으로, 모델 아키텍처, 깨끗한 시퀀스 공간, 무손실 분자 그래프 디코더는 그대로 유지한다. 우리는 스케줄 선택을 고정된 마스킹 예산을 토큰 역할 간에 위험 최적으로 할당하는 문제로 공식화한다. 우리의 정리는 모델링된 역할 가중 잔여 위험(role-weighted residual risk)에 대한 최적성을 특성화하며, 하류 생성 성능은 경험적으로 평가한다. 동일한 아키텍처, 학습 예산, 샘플링 연산량 하에서 MotifRole-Diff는 QM9에서 validity를 0.905에서 0.944로 향상시키고 FCD를 1.701에서 1.609로 감소시켰으며, MOSES에서는 validity를 0.920에서 0.938로 향상시키고 FCD를 2.125에서 1.850으로 감소시켰다. 역할별 진단은 분자 그래프 토큰 범주 전반에 걸친 재구성 개선을 추가로 보여준다. 종합하면, 이러한 동일 연산량 결과는 구조적으로 정보를 반영한 손상이 직렬화된 분자 그래프 확산에 있어 균일 스케줄보다 더 효과적인 마스킹 전략임을 시사한다.

arXiv:2607.21372v1cs.LG

평균-점수 이산 확산: Score Entropy를 위한 사후 평균 디노이저

Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy

Score Entropy Discrete Diffusion(SEDD)는 비제약 양의 score ratio로 이산 역과정을 매개변수화한다. 양수성은 비음수 역 점프율을 보장하지만, 베이즈 실현가능성(Bayes realizability)을 보장하지는 않는다. 노이즈가 있는 상태에서의 ratio는 전방 커널 하에서 어떤 깨끗한 토큰 사후분포에 의해서도 공동적으로 유도될 필요가 없다. score-entropy 손실은 올바른 모집단 최적값을 갖지만, 그로부터 벗어난 경우에는 이 제약을 강제하지 않는다. 학습된 pure-uniform SEDD 체크포인트에서, 완전한 score vector의 대략 4분의 1이 좌표 box를 위반하고, 절반 이상은 그 안에 있으면서도 유효한 사후분포와 실질적으로 양립할 수 없다. 이러한 위반은 유한 단계 샘플링에서 정규화 이전 가중치가 음수가 되게 할 수 있다. 원시 score를 bridge polytope에 투영하면 관측된 모든 음수 가중치가 제거되고, 샘플러를 변경하지 않고도 외부 생성 PPL이 $203.6$에서 $175.1$로 개선된다. 우리는 깨끗한 토큰 사후 평균을 예측하고 이를 정확한 커널 의존 선형 사상을 통해 score로 변환하는 mean-to-score(M2S)를 제안한다. 이 구성은 완만한 support 조건을 만족하는 임의의 알려진 좌표별 연속시간 마르코프 체인(CTMC)에 적용된다. 균일 corruption의 경우, 확률 simplex를 bridge polytope로 사상하고; 흡수 마스크 corruption의 경우, 결과 목적함수가 MD4를 정확히 복원한다. 통제된 28.4M-매개변수 CIFAR-10 비교에서, M2S는 테스트 BPD를 $3.173$에서 $3.129$로, FID-50k를 $\CifarSEDDFID$에서 $\CifarMtwoSFID$로 낮춘다. 약 262B OpenWebText 토큰 슬롯으로 학습된 170M-매개변수 M2S 모델은 테스트된 모든 샘플링 예산에서 평가된 pure-uniform SEDD, GIDD, Neural CTMC 체크포인트를 능가하며, 128단계에서 생성 PPL $143.3$에 도달한다(가장 강한 pure-uniform 기준선의 $183.6$ 대비).

arXiv:2605.17232v4cs.LG

이산 확산 모델의 차원 무관 수렴: 수반 방정식이 적절한 공간을 유도한다

Dimension-Free Convergence of Discrete Diffusion Models: Adjoint Equations Induce the Right Space

이산 확산은 언어, 비전, 생물학 등 다양한 응용에서 생성 모델링을 위한 주요 프레임워크가 되었다. 그러나 기존 수렴 이론은 근본적인 한계를 보인다. KL 기반 분석은 마스크 분포와 같은 특이 사전분포(singular prior) 하에서 발산하며, 전체 변동(total variation, TV)에서의 상계는 상태 공간 크기 $S$에 의존하여, 어휘에 수십만 개의 토큰이 포함된 현대 언어 태스크에서는 무의미해진다. 우리는 임의의 적분 확률 거리(integral probability metric, IPM)에서 차원 무관 수렴 보장을 확립하는 통합된 수반 방정식 기반 프레임워크를 개발한다. 우리가 아는 한, 우리의 상계는 $S$로부터 완전히 자유로운 최초의 결과이며, 마스크 및 균등 사전분포 모두에 적용 가능하다. 중요하게도, 우리의 결과는 기존의 스텝 복잡도(step complexity) 보장을 임의의 IPM으로 확장할 수 있다. 또한 우리의 이론은 단 하나의 표준 속도 행렬(rate-matrix) 정칙성(regularity) 가정에만 의존하며 일반적인 사전분포에 적용된다. 다섯 가지 새로운 기법이 우리의 개선을 이끈다: 1. 확률 측도를 직접 다루기보다 수반 방정식을 통해 관측 가능량(observable)의 공간에서 작업하는 것; 2. 임의의 IPM에 대한 상계를 제공하는 정칙성 분석; 3. 균등 전이(uniform transition) 하에서 $S$ 의존성을 제거하는 커플링(coupling) 논증; 그리고 4. 스코어-주변(score-marginal) 상쇄 및 5. 마스크 전이(masked transition) 하에서 $S$ 의존성을 제거하는 exit-routing 기법. 따라서 우리의 프레임워크는 기존 분석과 뚜렷이 달라지며, 경로 공간 KL(pathspace-KL) 및 기존 TV 기반 접근법의 단점을 피한다. 수렴 상계를 넘어, 우리의 프레임워크는 손실 함수의 원칙적 선택과 차원 무관 스텝 복잡도를 포함하여 이산 확산 모델의 추가 이론 연구를 위한 다재다능한 도구 모음을 제공한다.

arXiv:2607.14522v1cs.LG

이산 확산 모델 미세조정을 위한 연속 시간 강화학습 프레임워크

A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models

우리는 확률적 제어(stochastic control) 접근법을 통해 이산 상태 공간과 잠재적으로 임의의 행동 공간을 갖는 연속 시간 강화학습(RL)을 공식화하며, 상태 역학(state dynamics)은 제어된 연속 시간 마르코프 연쇄(CTMC)로 모델링한다. 정책 최적화 문제를 고려하고 해당 정책 그래디언트 방법을 유도하여, 연속 시간 근접 정책 최적화(PPO) 및 그룹 상대 정책 최적화(GRPO) 변형에 이른다. 주요 응용으로, 점수 기반(score-based) 이산 확산 모델의 미세조정을 위한 완전한 연속 시간 RL 프레임워크를 개발한다. 제안된 프레임워크는 보상 신호에 대한 미분 가능성(differentiability)을 요구하지 않고 보상 기반 최적화를 가능하게 한다. 기존 GRPO 기반 접근법이 종단 보상(terminal reward)만에 의존하는 것과 대조적으로, 우리의 공식화는 노이즈 제거 궤적(denoising trajectory) 전반에 걸쳐 중간 보상 또는 advantage 신호를 통합할 수 있다. 중요하게도, 마스크 확산 모델(MDM)에 특화될 때, 우리 프레임워크는 어휘 단체(vocabulary simplex) 위에서 해석적으로 다룰 수 있는 확률 비(probability ratios)를 갖는 풍부한 정책 매개변수화 클래스를 포괄하며, MDM에서의 탐험(exploration)과 정책 최적화에 대한 통합적 관점을 제공한다. 마스크 확산 대규모 언어 모델(dLLM)에 대해서는 계산상 prohibitive한 궤적 우도(trajectory likelihood)를 효율적으로 추정하고 위치별 확률 비 계산의 계산 비용을 줄이기 위한 궤적 부분표본(trajectory subsampling) 기법을 추가로 제안한다. 저차원 엔트로피 정규화 최적화 문제와 수학적 추론 및 코딩 과제에서 dLLM의 RL 사후 학습(post-training) 모두에서 우리 방법의 효과를 입증한다.

arXiv:2512.14008v2cs.CV

Sparse-LaViDa: 희소 다중모달 이산 확산 언어 모델

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

마스크 이산 확산 모델(Masked Discrete Diffusion Models, MDMs)은 이미지 이해, 생성, 편집을 포함한 다양한 다중모달 작업에서 강력한 성능을 달성해 왔다. 그러나 모든 샘플링 단계에서 중복된 마스크 토큰을 반복적으로 처리해야 하므로 추론 속도는 여전히 최적이 아니다. 본 연구에서는 각 추론 단계에서 불필요한 마스크 토큰을 동적으로 잘라 내 MDM 샘플링을 가속하는 새로운 모델링 프레임워크인 Sparse-LaViDa를 제안한다. 생성 품질을 유지하기 위해, 잘려 나간 토큰에 대한 압축 표현 역할을 하는 전용 레지스터 토큰(register tokens)을 도입한다. 또한 학습과 추론 간 일관성을 보장하기 위해, 학습 중 잘림(truncation) 샘플링 절차를 충실히 반영하는 전용 어텐션 마스크를 설계한다. 최신 통합 MDM인 LaViDa-O를 기반으로 한 Sparse-LaViDa는 텍스트-이미지 생성, 이미지 편집, 수학적 추론 등 다양한 작업에서 생성 품질을 유지하면서 최대 2배의 속도 향상을 달성한다.

arXiv:2505.16839v4cs.CV공식 코드 · Papers with Code

LaViDa: 멀티모달 이해를 위한 대규모 디퓨전 언어 모델

LaViDa: A Large Diffusion Language Model for Multimodal Understanding

현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.

arXiv:2607.13120v1cs.LG

CoDiffGRN: BEELINE-KGC 벤치마크와 공진화 이산 확산을 통한 유전자 조절 네트워크 추론 재고

CoDiffGRN: Rethinking Gene Regulatory Network Inference via the BEELINE-KGC Benchmark and Co-evolutionary Discrete Diffusion

단일세포 전사체 데이터로부터 유전자 조절 네트워크(GRN)를 추론하는 것은 생물학적 발견에 중요하지만, 기존 접근법은 실제 요구와 근본적인 불일치 문제를 겪는다. 연구자들은 일반적으로 실험적 검증을 위해 소수의 고신뢰 조절 상호작용을 찾으며, 이는 종종 이전에 보지 못한 유전자를 포함한다. 그러나 현재 벤치마크는 전역 분류 지표를 사용하는 전이(transductive) 분할에 의존하는 반면, 주류 모델은 귀납(inductive) 설정에서 일반화하기 어렵다. 이 격차를 해소하기 위해, 우리는 GRN 추론을 귀납적·순위 중심 그래프 완성 문제로 재공식화하고, 귀납적 유전자 홀드아웃 분할과 지식 그래프 완성 지표를 함께 도입하여 상위 순위 예측을 더 잘 평가하는 새로운 벤치마크 BEELINE-KGC를 제안한다. 이를 바탕으로, 견고한 귀납적 일반화와 상위 순위 조절 발견 개선을 위해 생물학적으로 일관된 이산화된 유전자 발현 상태와 조절 상호작용을 공동으로 모델링하는 최초의 공진화 이산 확산 프레임워크 CoDiffGRN을 제안한다. 또한 확장 가능한 학습을 위해 TF-ALL Subgraph Sampling(TASS)을 도입한다. BEELINE-KGC에 대한 광범위한 실험에서 CoDiffGRN은 새로운 최고 수준(state-of-the-art) 성능을 달성하며, 새로운 조절 발견에서 기존 방법을 크게 능가하고, 절제 연구는 설계의 효과를 추가로 검증한다.

arXiv:2607.13013v1cs.AI

고정 이산 확산 언어 모델 기반 오디오 네이티브 음성 인식

Audio-Native Speech Recognition with a Frozen Discrete-Diffusion Language Model

자동 음성 인식은 토큰을 한 번에 하나씩 출력하는 자기회귀(autoregressive) 디코더가 주류를 이룬다. 우리는 대신 이산 확산 언어 모델이 음성을 전사할 수 있는지, 즉 적은 수의 디노이징(denoising) 단계에 걸쳐 전체 전사문을 병렬로 정제할 수 있는지를 묻는다. 우리는 DiffusionGemma를 위한 오디오 네이티브 인터페이스를 학습한다. DiffusionGemma는 최근 확산 언어 모델에서 흔한 흡수 마스크(absorbing-mask) 방식 대신 균일한 무작위 토큰 이산 확산으로 텍스트를 생성하는 260억 파라미터 규모의 전문가 혼합(MoE) 모델이다. 고정된 Whisper 인코더가 음향 특징을 제공하고, 경량 프로젝터가 이를 모델 임베딩 공간으로 매핑하며, 저랭크(low-rank) 어댑터가 고정된 백본이 새로운 모달리티에 어텐션할 수 있게 한다. 약 4,200만 개의 파라미터가 학습되며, 이는 백본의 0.16%에 해당한다. 우리는 자연스러운 학습 목적 함수가 오디오를 그라운딩하지 못한다는 것을 발견한다. 그 이유는 그래디언트가 이미 프로젝터를 배제한 어텐션을 통해서만 프로젝터에 도달하기 때문이다. 고정된 출력 헤드를 통해 적용된 연결주 시간 분류(connectionist temporal classification, CTC) 손실이 이 교착 상태를 해소한다. 그 결과 모델은 LibriSpeech test-clean에서 6.6%의 단어 오류율(word error rate, WER)을 달성하고, 발화 길이와 무관하게 대략 8번의 병렬 단계로 전사하며, 6개 언어로 학습된 단일 어댑터를 사용한다. 여기서는 영어, 힌디어, 북경어(만다린)에 대해 이를 평가한다.

arXiv:2510.22510v3cs.LG

CANDI: 하이브리드 이산-연속 확산 모델

CANDI: Hybrid Discrete-Continuous Diffusion Models

연속 확산(continuous diffusion)은 이미지 생성과 같은 연속 도메인에서 놀라운 성과를 거두었지만, 이산 데이터에 직접 적용하면 순수 이산 방식보다 성능이 낮았다. 이 격차를 이해하기 위해, 우리는 가우시안 노이즈가 이산 데이터를 손상시키는 두 가지 메커니즘—이산 아이덴티티 손상(discrete identity corruption)과 연속 랭크 저하(continuous rank degradation)—을 특성화하는 분석 프레임워크인 토큰 식별가능성(token identifiability)을 도입한다. 이 두 메커니즘이 어휘 크기에 따라 서로 다른 방식으로 스케일링되어, 연속 기하구조와 이산 구조의 동시 학습 사이에 트레이드오프를 강제하는 시간적 불일치(temporal dissonance)가 발생함을 밝힌다. 이를 해결하기 위해, 이산 손상과 연속 손상을 분리하여 두 가지를 동시에 학습할 수 있게 하는 하이브리드 프레임워크인 CANDI(Continuous ANd DIscrete diffusion)를 제안한다. 이를 통해 이산 공간에서도 연속 확산의 이점을 활용할 수 있다: 제어 생성(controlled generation)에서 CANDI는 단순한 그래디언트 덧셈을 통해 기성(off-the-shelf) 분류기로 분류기 기반 가이던스를 가능하게 하며, 텍스트 생성에서는 낮은 NFE 환경에서 마스크 확산(masked diffusion)을 능가함으로써 이산 공간을 위한 연속 그래디언트 학습의 가치를 입증한다. 코드는 프로젝트 페이지에서 확인할 수 있다: https://patrickpynadath1.github.io/candi-lander.

arXiv:2607.11758v1cs.LG

이산 확산 모델에서 전역 구성에서 인수별 전문가 구성으로

From Global to Factor-Wise Expert Composition in Discrete Diffusion Models

이산 확산 모델(discrete diffusion model)은 복잡한 추론 태스크를 해결하기 위한 강력한 프레임워크를 제공하며, 특히 여러 사전학습된 전문가(expert)를 결합하여 개별 학습 데이터를 넘어 일반화하는 조합적 생성(compositional generation)을 통해 그 역량을 발휘한다. 최근의 이론적 수정 연구들은 구성된 확산 다이나믹스를 의도한 목표 분포에 더 잘 정렬시키기 위해 시간 의존적 혼합 가중치(time-dependent mixing weights)를 도입하였다. 그러나 이러한 방법들은 각 생성 상태를 단일체로 취급하여 샘플 단위로 동작함으로써, 서로 다른 전문가들이 가질 수 있는 공간적 또는 기능적 특수성을 무시한다는 근본적인 한계가 있다. 본 연구에서는 이 한계를 해결하기 위해 확산 모델을 위한 인수별(factor-wise) 구성 프레임워크인 FactorDiff를 제안한다. 우리는 샘플을 더 작은 인수(factor)들로 분해할 수 있다고 가정하고, 각 인수를 가장 관련성 높은 전문가에게 동적으로 라우팅하는 샘플링 프로세스를 제안한다. 이 프레임워크를 공간/픽셀 수준의 구성으로 구체화하고 ARC-AGI 벤치마크에서 검증한 결과, 단순한 인수별 라우팅이 논리적 일관성과 공간적 분리(spatial disentanglement)를 요구하는 태스크에서 복잡한 전역 스칼라 가중치 방식을 일관되게 능가함을 보였다.

arXiv:2607.08357v1cs.AI

MobiDiff: 인간 이동성 데이터 생성을 위한 의미 인식 다채널 이산 확산

MobiDiff: Semantic-Aware Multi-Channel Discrete Diffusion for Human Mobility Data Generation

MobiDiff는 인간 이동 데이터 생성을 위한 엔드투엔드 이산 확산(discrete diffusion) 프레임워크로, 각 체크인 이벤트를 공간·활동·시간 다채널 의미 스켈레톤으로 분해하고 구조화된 마스킹을 통해 직접 노이즈 제거함으로써 고비용의 보간이나 잠재 궤적 구성 파이프라인을 제거한다. 애틀랜타, 보스턴, 시애틀 데이터셋 실험에서 궤적 길이와 시간 간격 분포를 효과적으로 보존하면서 GeoGen 대비 평균 5.3배 빠른 추론 속도를 달성했다.