PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.20581v2cs.AI

확산에서 신뢰도의 한계

Limits of Confidence in Diffusion

remasking 및 uniform-state sampler를 포함한 이산 확산(discrete diffusion)은 매 스텝마다 여러 토큰 위치에 기록하며, 각 위치는 위치별 분포에서 샘플링하고 어떤 위치를 기록할지도 동일한 분포들로부터 선택하는 방식으로 시퀀스를 생성한다. 픽셀, 음소, 단어 등 일반적인 관심 영역에서는 토큰 간 본질적인 종속성이 존재한다. 우리는 한 스텝이 학습 분포와 일치하는 것은 그 스텝이 기록하는 위치들이 이미 고정된 토큰들이 주어졌을 때 조건부 독립일 때에만 해당함을 보이고, 위치별 분포의 곱은 종속적인 그룹과 일치할 수 없으며, 위치별 분포가 그룹의 종속 여부를 결정하지 않음을 보인다. 두 결합 분포가 동일한 위치별 주변 분포를 가지면서도 어떤 값 조합이 발생하는지는 달라질 수 있다. 결합 분포를 폐형식으로 알 수 있는 합성 과제 ScanAndAdd에서, confidence ranking이 기록하는 미정 위치 두 개 이상의 모든 그룹이 종속임을 검증하고, 생성 분포의 총 변동(total variation)을 샘플링 노이즈 바닥의 $29\times$로 측정한 반면 샘플당 지표는 $1.0$이다.

arXiv:2606.12232v1cs.LG

마스크드 디퓨전 언어 모델에서의 신뢰도 기반 재마스킹 재평가

Re-evaluating Confidence Remasking in Masked Diffusion Language Models

마스크드 디퓨전 언어 모델(dLLMs)은 최근 병렬 토큰 생성을 통한 더 빠른 추론 가능성을 제시하며 자기회귀 언어 모델에 대한 경쟁력 있는 대안으로 부상했습니다. 그러나 마스킹 방식의 주요 제한 사항은 토큰이 한 번 마스크 해제(unmasked)되면 더 이상 수정될 수 없다는 점으로, 이로 인해 dLLMs는 초기 샘플링 오류에 취약해집니다. 이를 해결하기 위해, 자가 교정(remasking) 기능을 통해 마스크드 dLLMs를 확장하려는 연구가 증가하고 있습니다. 이러한 방법들 중 매력적인 일부는 토큰 신뢰도를 기반으로 학습(training) 없이 사후(post-hoc)적으로 이를 수행하며, 초기 보고된 결과는 고무적입니다. 본 연구에서는 대표적인 사후(post-hoc) 재마스킹 방법인 WINO [Hong et al., 2026]의 실증적 평가를 재검토하고, 표준 디코딩 설정(더 짧은 블록 길이)에서는 신뢰도 기반 언마스킹 단독 [Wu et al., 2025]에 비해 거의 이득이 없음을 발견했습니다. 평가를 비탐욕적(non-greedy) 디코딩으로 확장한 결과, 신뢰도 기반 재마스킹이 증가된 확률성으로 인한 오류를 어느 정도 완화할 수 있지만, 신뢰도 기반 언마스킹에 대해 이전에 보고된 다양성 붕괴(diversity collapse)를 악화시킴을 알 수 있습니다. 전체적으로, 본 연구의 결과는 사후(post-hoc) 신뢰도 기반 재마스킹의 이점이 설정에 매우 의존적임을 보여주며, 더 포괄적인 평가 프레임워크의 필요성을 강조합니다.