PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19349v1cs.CL

쿼리를 어디에 배치할 것인가? 디코딩 역학을 통한 디퓨전 대규모 언어 모델의 문맥 내 학습에서 위치적 바이어스의 규명 및 완화

Where to Place the Query? Unveiling and Mitigating Positional Bias in In-Context Learning for Diffusion LLMs via Decoding Dynamics

문맥 내 학습(ICL)은 자기회귀(AR) 대규모 언어 모델(LLM)에서 광범위하게 연구되었지만, 디퓨전 대규모 언어 모델(dLLM) 내에서의 메커니즘은 거의 탐구되지 않았습니다. 단방향 인과 마스킹으로 제한된 AR 모델과 달리, dLLM은 본질적으로 양방향 어텐션을 활용하여 쿼리 배치에 대한 광범위한 공간적 유연성을 제공합니다. 불행히도, 현재의 관행은 관습적으로 AR 스타일의 후행 쿼리 템플릿을 계승하며, 종종 구조적 패러다임의 변화를 간과합니다. 본 논문은 쿼리 위치가 실제로 dLLM에서 1차 변수임을 밝히는 포괄적인 분석을 제시합니다. 경험적 분리를 통해, 우리는 위치적 변동성이 예제의 의미적 품질과 동등한 수준으로 생성 품질에 영향을 미침을 입증합니다. 내부적으로, 이러한 위치적 민감도는 어텐션 흐름의 공간적 '최신성 효과(Recency Effect)'와 디코딩 궤적의 작업 의존적 변화에서 기인합니다. 정답 레이블 없이 이러한 불안정성을 완화하기 위해, 우리는 기존의 단일 단계 신뢰도($C_{decoded}$)가 dLLM에서 실패함을 밝혀냅니다. 대신, 우리는 반복적 디코딩 과정을 추적하는 새로운 지표인 평균 신뢰도($\overline{C}$)를 제안합니다. 기초적인 공간적 ICL 베이스라인을 확립함으로써, 우리는 쿼리 배치를 동적으로 최적화하여 이질적인 추론 및 인식 작업 전반에서 오라클 성능에 견고하게 접근하는 학습 없는 적응형 라우팅 전략인 Auto-ICL을 소개합니다.