Beyond the Black Box: A Statistical Model for LLM Reasoning and Inference
원문 초록
This paper introduces a novel Bayesian learning model to explain the behavior of Large Language Models (LLMs), focusing on their core optimization metric of next token prediction. We develop a theoretical framework based on an ideal generative text model represented by a multinomial transition probability matrix with a prior, and examine how LLMs approximate this matrix. Key contributions include: (i) a continuity theorem relating embeddings to multinomial distributions, (ii) a demonstration that LLM text generation aligns with Bayesian learning principles, (iii) an explanation for the emergence of in-context learning in larger models, (iv) empirical validation using visualizations of next token probabilities from an instrumented Llama model Our findings provide new insights into LLM functioning, offering a statistical foundation for understanding their capabilities and limitations. This framework has implications for LLM design, training, and application, potentially guiding future developments in the field.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?
Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.
QwenVLConnector: 세밀한 임상 지각과 텍스트 생성을 위한 빠르고 통합된 의료 VLM 챗봇
QwenVLConnector: A Fast, Unified Medical VLM Chatbot for Fine-Grained Clinical Perception and Text Generation
대부분의 의료 비전-언어 모델(VLM)은 개방형 보고서 생성과 VQA에는 뛰어나지만, 통합된 인터페이스 안에서 구조화된 세밀한 임상 지각을 지원하는 데는 한계가 있다. 본 논문은 QwenVLConnector를 제안한다. 이는 Qwen2.5-VL 기반 의료 챗봇으로, 분류, 다중 레이블 분류, 텍스트화된 검출, 계수, 회귀, 자유 형식 보고서 생성을 단일 next-token 목표 아래 하나로 통합한다. 핵심 구성요소는 경량의 밀집 다층 Connector로, 저수준·고수준 시각 특징을 집계하고 사전학습된 vision Merger를 통해 정렬한 뒤, 시퀀스 길이를 늘리지 않고 최종 시각 표현과 융합한다. 이 설계는 효율성을 유지하면서 시각 토큰을 상보적인 공간·의미 단서로 풍부하게 한다. FLARE-2D에서 QwenVLConnector는 검출 F1을 0.55에서 0.85로 개선하고, 단일 레이블 분류를 0.37에서 0.51로 높이며, Qwen2.5-VL 기준선 대비 보고서 생성 GREEN을 최대 18.3점 향상시킨다. 또한 보고서 생성을 위한 멀티모달 문맥 내 학습(ICL)을 탐구하여, 모델 매개변수를 갱신하지 않고도 추가 개선을 보였다. 전반적으로 QwenVLConnector는 구조화된 의료 지각과 개방형 임상 텍스트 생성을 결합하는 통합적이고 효율적인 프레임워크를 제공한다. 코드는 https://github.com/plnguyen2908/QwenConnector 에서 확인할 수 있다.
SyRuP: 보상 유도 예측을 통한 LLM 디코딩에서의 시스템 프롬프트 준수 향상
SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding
대규모 언어 모델(LLM)은 역할, 스타일, 형식, 안전성 요구사항을 명시하는 시스템 프롬프트를 통해 점점 더 많이 제어되고 있다. 그러나 모델은 문맥 내 학습(ICL)을 통해서만 이러한 프롬프트를 암묵적으로 따르며, 이는 복잡하거나 구성적(compositional) 프롬프트에는 불충분할 수 있다. 기존 접근법은 종종 모델 튜닝이나 응답 수준 재순위화를 요구하여, 경량 추론 시점 제어의 실용성을 제한한다. 우리는 기본 LM을 고정한 채 시스템 프롬프트 준수를 개선하는 디코딩 시점 프레임워크인 SyRuP를 제안한다. SyRuP는 시스템 프롬프트 조건 선호 쌍으로부터 크로스 어텐션 보상 헤드를 학습하며, 시스템 프롬프트를 별도의 메모리로 취급하여 토큰 수준 준수 점수를 생성한다. 추론 시 SyRuP는 학습된 보상 신호와 시스템에 의해 유도된 로짓 변화를 포착하는 선택적 대조(contrastive) 신호를 기본 로짓과 결합하여 기본 LM의 top-k 후보를 재순위화한다. 시스템 프롬프트 준수 벤치마크에 대한 실험에서 SyRuP는 적당한 추론 오버헤드로 프롬프팅 및 디코딩 시점 베이스라인을 일관되게 능가한다. 이러한 결과는 명시적 토큰 수준 안내가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘임을 시사한다.
한 번에 더 똑똑하고 더 저렴하게: 바이트 정확 KV-캐시 접목이 동결 소형 모델을 검증 지식 플라이휠로 바꾼다
Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel
가중치를 전혀 변경하지 않고, 동결된 소형 언어 모델을 한 번에 더 유능하면서도 극적으로 저렴하게 만드는 방법을 보고한다. 검증된 지식은 바이트 정확(byte-exact) 키-값(KV) 상태 아티팩트로 한 번 저장된 뒤, 접목(graft)을 통해 새로운 추론 컨텍스트에 복원된다. 복원은 비트 정확(bit-exact)하다: 고정된 결정론적 구성(pinned deterministic configuration) 아래, 접목된 logits는 새로 계산한 결과와 바이트 단위로 동일하며(SHA-256 동등), 50개 샘플에서 KL 발산 0, argmax 일치 100%를 달성한다. 부동소수점 회전 인코딩(rotary encoding)을 사용하는 모델에서 own-position graft가 유일한 수치적으로 정확한 동작점임을 보이며, 두 모델 규모(12B, 31B)와 두 GPU 대상에서 바이트 정확성을 검증했고, 그중 하나는 사전 등록된 재현(replay)을 통해 확인했다. AIME 2025에서 동결된 Gemma-4-12B는 검증된 해법 라이브러리를 접목한 뒤 80.0%에서 93.3%로 향상되며, 자체 77.5%와 31B 형제 모델의 공개 기준점 89.2%를 모두 상회한다. 반복되는 사례에서는, 기본 모델이 401,026토큰 예산 내에서 한 번도 풀지 못한 8개 문제를 캐시된 검증 해법으로 총 61 디코드 토큰만으로 답했으며, 이는 토큰 수 기준 6,574배 적고 에너지는 약 8,700배 적다; 능력 주장 자체는 홀드아웃 전이(31B에서 7/7)에 근거한다. 동일한 바이트 정확 저장소는 추가 가속기 메모리 없이 사용 가능 컨텍스트를 32,768에서 2,854,766토큰으로 확장하며, 동일 아키텍처 머신 간에 바이트 동일하게 이동한다. 시스템을 동작 수준에서 기술하며, 엔진은 독점(proprietary)이고 보고된 모든 수치는 커밋된 입력·출력 해시로 뒷받침되어 엔진 없이도 채점을 재검증할 수 있다.
CatalogAgent: 생성형 AI 모델의 컨텍스트 엔지니어링을 가능하게 하는 감독 에이전트 중재형 자기학습 시스템
CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models
상품 카탈로그는 전자상거래 사이트의 핵심이지만, 재질, 색상, 형태와 같은 다수의 구조화 속성(SA) 값이 누락되는 경우가 많다. 일반적으로 SA 값은 제목과 설명을 포함한 상품 정보에서 추출된다. 대규모 언어 모델(LLM) 기반 생성기-평가기 프레임워크는 한 LLM이 SA 값을 생성하고 다른 LLM이 이를 평가하는 SA 예측에서 효과가 입증되었지만, 생성기와 평가기가 충돌하는 출력을 내면면 어느 한 구성요소든 실수할 수 있어 어려움이 있다. 우리는 전자상거래 카탈로그 보강을 위해 생성기와 평가기 모델을 지속적으로 개선하는 새로운 에이전트형 시스템인 CatalogAgent를 제안한다. (1) LLM 기반 생성기와 평가기 간의 내부 충돌, 또는 (2) 판매자의 LLM 출력에 대한 외부 피드백으로 불일치가 발생하면, 감독 에이전트(Supervisor Agent)가 개입하여 충돌을 중재하고 최종 결정을 내린다. 이 시스템은 또한 개별 사례의 감독 에이전트 활동을 저장하고 패턴을 학습 내용으로 집계하는 메모리 베이스(Memory Base)와 메모리 요약기(Memory Summarizer)를 포함한다. 이러한 학습 내용은 워커(worker) 생성기 및 평가기 LLM에 다시 제공되어, 인간 개입 없이 자기 개선을 가능하게 한다. 컨텍스트 엔지니어링(context engineering)—워커 LLM의 컨텍스트에 학습 내용과 통찰을 주입함—을 통해 이 시스템은 감독자의 역량을 생성기와 평가기로 성공적으로 이전하여, 각각의 성능을 15.24%와 13.98% 향상시킨다. 우리 실험은 생성형 AI 모델의 정확도를 높이기 위한 감독 에이전트 중재형 자기학습 시스템의 새로운 패러다임을 보여준다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.