From Self-Attention to Markov Models: Unveiling the Dynamics of Generative Transformers
원문 초록
Modern language models rely on the transformer architecture and attention mechanism to perform language understanding and text generation. In this work, we study learning a 1-layer self-attention model from a set of prompts and associated output data sampled from the model. We first establish a precise mapping between the self-attention mechanism and Markov models: Inputting a prompt to the model samples the output token according to a context-conditioned Markov chain (CCMC) which weights the transition matrix of a base Markov chain. Additionally, incorporating positional encoding results in position-dependent scaling of the transition probabilities. Building on this formalism, we develop identifiability/coverage conditions for the prompt distribution that guarantee consistent estimation and establish sample complexity guarantees under IID samples. Finally, we study the problem of learning from a single output trajectory generated from an initial prompt. We characterize an intriguing winner-takes-all phenomenon where the generative process implemented by self-attention collapses into sampling a limited subset of tokens due to its non-mixing nature. This provides a mathematical explanation to the tendency of modern LLMs to generate repetitive text. In summary, the equivalence to CCMC provides a simple but powerful framework to study self-attention and its properties.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습
PrefReward: Learning User Preference Matrix for Personalized Text Generation
대규모 언어 모델(LLM)은 사용자 이력과 문맥 단서를 활용하여 개인화된 콘텐츠를 생성하는 데 뛰어난 능력을 보여 왔다. 그러나 기존 개인화 접근법 대부분은 모델 파라미터 내부의 암묵적 표현에 의존하므로 사용자별 선호를 해석하거나 긴 문맥 의존성을 효과적으로 처리하기 어렵다. 이러한 문제를 해결하기 위해, 구조화된 선호 행렬을 통해 사용자 스타일을 명시적으로 모델링하고 이를 보상 신호로서 디코딩 과정에 통합하는 새로운 선호 인식 생성 프레임워크 PrefReward를 제안한다. PrefReward는 두 단계로 구성된다. (1) 개인의 문체 경향을 요약하는 사용자별 선호 행렬을 추출하고, (2) KL 발산 기반 보상 함수를 통해 이 행렬로 생성을 안내한다. LongLaMP 데이터셋에 대한 실험에서 PrefReward는 생성 품질과 개인화 해석 가능성 모두에서 검색 기반 베이스라인 및 컨텍스트 스티어링 방법을 능가하였다.
ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템
ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding
다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.
TACG: 확산 언어 모델 디코딩을 위한 궤적 인식 커밋 게이팅
TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding
확산 언어 모델은 각 노이즈 제거 단계에서 많은 마스크 위치를 예측하지만, 효율성과 출력 품질은 어떤 예측이 진화하는 문맥에 들어가는지에 달려 있다. 신뢰도는 이 결정에 유익하지만 불완전하다. 신뢰도가 같더라도 정체성과 지지 이력이 다른 제안은 서로 다른 1단계 수정률을 보인다. 우리는 현재 토큰 제안과 이를 확정할지에 대한 결정을 분리하는 학습 불필요 디코더인 궤적 인식 확정 게이팅(Trajectory-Aware Commit Gating, TACG)을 제안한다. TACG는 현재 제안의 로짓을 이전 로짓의 지수 이동 평균과 대비하여 그 제안의 시간적 지지도를 점수화하고, History Gate를 통해 제안의 정체성이 유지될 것을 요구하며, 단계당 상한이 있는 개수의 추가 위치를 승격한다. 게이트는 어떤 위치를 언제 확정할지를 결정하며, 기록되는 모든 토큰은 동시점의 기본 제안으로 유지된다. 명시된 단일 시드 프로토콜 하에서 4개 과제 전체에 대한 LLaDA 평가에서, 측정된 과제별 동작점은 평균 모델 평가 67.82회로 평균 정확도 51.02\%에 도달하며, 이는 Native Confidence의 48.00\%와 76.59회에 비해 우수하다. 이벤트별 확정 개수를 일치시킨 리플레이에서, 이력 기반 선택은 샘플당 NFE가 동일할 때 신뢰도 순위 방식보다 정확도가 8.3포인트 높다. 이력 참조 개입은 기본 제안 기록 규칙을 유지하면서 확정 시점을 변경한다. Dream과 LLaDA2-Mini에 대한 실험은 여러 백본과 생성 길이에 걸쳐 품질-비용 거동을 규명한다. 코드는 https://github.com/Clarence-CV/TACG-DLLM 에 공개되어 있다.
언어 모델링을 위한 토큰 시간 연속 확산
Token Time Continuous Diffusion for Language Modeling
본 논문에서는 토큰 시간 연속 확산(token time continuous diffusion, TTCD)을 소개한다. TTCD는 (a) 연속 공간에서 동작하며, 가우시안 노이즈를 최종 토큰 캔버스(token canvas)로 결정론적으로 매핑하고 추가 샘플링 없이 완료하는 새로운 확산 언어 모델이며, 중요하게도 (b) 토큰별 시간(per-token times)이라는 새로운 개념을 도입하여, 일부 토큰은 다른 토큰보다 더 빠른 속도로 노이즈에서 토큰으로 진행한다. 연속 공간 모델링은 TTCD가 여러 토큰의 병렬 샘플링을 피하도록 돕는다. 이는 순수하게 이산 공간에서만 반복하는 모델들이 높은 가속(speedup)에서 겪는 부정확성의 주요 원인이다. 토큰별 시간 개념은 TTCD가 조건부 생성(conditional generation)을 더 잘 모델링하도록 돕고, 더 확실한 토큰이 더 빠른 속도로 진행할 수 있게 하며, 정제(refinement) 과정에서 토큰 간 영향을 차별화할 수 있게 한다. TTCD는 높은 가속에서 이산 모델보다 우수한 성능을 보인다. OpenWebText에서 160M 매개변수 TTCD 모델을 학습한 뒤 자기 지식 증류(self-distill)를 수행했으며, 높은 가속에서 무조건부 생성 품질은 동일 데이터에서 학습하고 자기 지식 증류를 적용한 유사 크기의 기존 모델들과 비슷한 수준이고, 조건부 생성에서는 이들을 능가함을 확인했다. 수도쿠(Sudoku) 풀이에서도 유사한 성능 향상을 달성했다.
압박 속의 행동 양식: 사용자가 압박할 때 60개 언어 모델이 보이는 반응
Conduct Under Pressure: What Sixty Language Models Do When a User Pushes
우리는 불편한 상황에서 사용자가 압박을 가할 때 LLM이 어떻게 행동하는지를 연구한다. 사용자가 고집을 부리거나, 애원하거나, 아첨하거나, 슬픔을 호소하면, 모델은 올바른 사실을 포기하거나, 거절해야 할 문서를 작성하거나, 사용자에게 금전적 손실을 입힐 계획에 환호한다. 이는 다중 턴 형태의 아첨(sycophancy)이다. 우리는 고정된 다중 턴 장면을 13개 벤더의 60개 모델에 입력하고, 각 대화 기록에 궤적(모델이 입장을 유지했는가 굴복했는가)과 방식(어떻게 유지하거나 굴복했는가)을 라벨링한다. 세 개의 장면은 코드북을 구축하는 데 사용했고, 여섯 개의 장면은 이후에 작성하여 사전 등록된 재현 실험으로 사용했다. 모델이 입장을 유지하는지는 세대(generation)와 관련된다. 굴복률은 공개된 역량 지수와 두 장면 집합에 걸쳐 스피어먼 상관계수 -0.64에서 -0.69의 상관을 보이므로, 아첨이 모델 규모에 따라 증가한다는 기존 보고와 달리 최신 모델일수록 덜 굴복한다. 모델이 어떻게 입장을 유지하는지는 벤더와 관련된다. 17개 방식 코드 중 여섯 개가 코드북 전체에 대해 보정한 순열 검정 p <= 0.001로 벤더별로 구분되며, 그중 네 개는 재현 장면에서도 다시 그러하다. Anthropic의 모델은 감정을 명명하고, 경고하며, 대안을 제시한다. OpenAI의 모델은 이 세 가지를 모두 덜 하며 자신의 규칙을 거의 인용하지 않는다. Google의 모델은 무언가를 하도록 요청받으면 자기 자신과 AI라는 본성을 언급한다. Meta의 모델은 작성해서는 안 되는 산출물을 작성한다. 세 벤더의 LLM 코더 여섯 개가 모든 대화 기록에 라벨을 붙였고, 사람 코더 세 명이 보류된 대화 기록 쉰 개에 라벨을 붙였다. 기계가 더 일관된 판독자였으며(Krippendorff의 알파 0.66 대 0.46), 궤적에 대해 저자와 카파 0.84에서 0.91로 일치했고, 조정된 기준과는 0.83으로 일치했다. 비전문가도 판단할 수 있는 행동에 대해서는, 사람의 기여는 대량의 라벨을 생산하는 것이 아니라 코드를 작성하고 그 범위를 정하며 소규모 기준 집합을 책임지는 것이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.