PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09338v1cs.CL

엔드투엔드 생성 TOD에서의 비일관성 탐지를 향하여

Towards Detecting Inconsistencies in End-to-end Generated TODs

생성형 AI는 대화 시스템의 핵심 기술을 근본적으로 변화시키며, 컴포넌트 기반 방식에서 엔드투엔드 방식으로의 전환을 이끌고 있다. 그러나 대규모 언어 모델(LLM)은 여전히 비일관성을 생성할 수 있으며, 이는 특히 작업 지향 대화(TOD)에서 심각한 문제가 된다. TOD에서는 시스템 응답이 도메인 지식 베이스(예: 도시 내 식당 정보)의 정보를 엄격히 준수해야 하기 때문이다. 단 하나의 환각(예: 존재하지 않는 식당을 추천하는 것)도 심각한 작업 실패로 이어질 수 있다. 우리는 TOD를 제약 만족 문제(CSP)로 개념화하여 비일관성을 자동으로 탐지하는 방법을 연구한다. 이 접근법에서 변수는 대화 도메인을 참조하는 대화 세그먼트를 나타내고, 변수 간의 제약 조건은 턴 일관성 및 도메인 지식 준수와 같은 대화 속성을 포착한다. 우리는 대상 대화에서 변수를 먼저 식별한 후 CSP 솔버를 적용하여 유효한 해를 찾는 파이프라인을 제안한다. 대상 대화와 유효한 변수 할당을 비교함으로써 비일관성을 탐지하고 대화 일관성을 보장하기 위한 최소한의 변경 사항을 제안할 수 있다. 우리는 비일관성 탐지에서 CSP 기반 접근법의 높은 정확도를 입증하고, 연구 결과에 대한 상세한 분석을 제공한다.

arXiv:2607.09324v1cs.CL

데이터가 말하게 하라: AI를 활용한 크라우드소싱 컬렉션에서의 키워드 추출

Letting the Data Speak: Extracting Keywords from Crowdsourced Collections with AI

대규모로 키워드를 식별하고 할당하는 작업은 크라우드소싱 컬렉션에 있어 기술적, 실용적, 윤리적 과제를 동시에 제기한다. 본 논문은 옥스퍼드 대학교가 호스팅하는 크라우드소싱 제2차 세계대전 디지털 컬렉션인 Their Finest Hour Online Archive를 사례 연구로 활용한 "크라우드소싱 컬렉션에서의 키워드 추출" 프로젝트의 연구 결과를 보고한다. 이 프로젝트는 키워드 추출 자동화를 위한 세 가지 자연어 처리(NLP) 접근법—개체명 인식(Named Entity Recognition), 키워드 추출(Keyword Extraction), 토픽 모델링(Topic Modelling)—을 평가하였으며, 전통적인 통계적 방법부터 현대의 생성 AI 신경망에 이르기까지 다양한 인공지능 기법을 대상으로 이를 검증하였다. 정량적·정성적 분석 결과, 자연어 처리 접근법은 크라우드소싱 컬렉션에서의 대규모 키워드 추출에 실질적인 가능성을 보여주지만, 단일 방법만으로는 완전한 해결책이 되지 못하며 모델 선택이 결과에 상당한 영향을 미치는 것으로 나타났다. 우리는 메타데이터가 살아있는 기여자들과의 직접적인 상호작용의 산물인 크라우드소싱 컬렉션에서 자동화된 키워드 추출이 기술적 성능과 함께 반드시 다루어야 할 고유한 관리 책임을 수반한다고 주장한다. 오픈 가중치(open-weight) 추출형 모델이 책임 있는 배포를 지원하는 데 가장 적합한 것으로 평가에서 나타났으며, 생성 AI는 추상적 잠재력에도 불구하고 크라우드소싱 컬렉션을 관리하는 누구나 신중히 고려해야 할 책임성 위험을 내포한다.

arXiv:2607.09316v1cs.CL

대규모 문학 코퍼스의 자동 주제 색인화: 볼테르 전집에 대한 머신러닝 접근법

Automatic Thematic Indexing of Large Literary Corpora: A Machine Learning Approach to Voltaire's Complete Works

주제 색인화(thematic indexing) -- 텍스트 구간에 구조화된 개념적 레이블을 부여하는 관행 -- 은 대규모 문학 및 역사적 편집본에 대한 학술적 접근에 필수적이지만, 여전히 대부분 수작업으로 이루어지는 노동 집약적인 과정이다. 본 논문은 볼테르 전집의 두 가지 주요 하위 코퍼스인 『민족들의 풍속과 정신에 관한 시론(Essai sur les mœurs et l'esprit des nations)』과 『백과전서에 관한 질문들(Questions sur l'Encyclopédie)』을 테스트 케이스로 삼아 자동 주제 색인화에 대한 머신러닝 적용을 탐구한다. 이 과제는 다중 레이블 분류(multi-label classification) 문제로 설정되며, 모델은 전문 색인 작성자가 주어진 텍스트 페이지에 적용할 색인 항목 집합을 할당해야 한다. 우리는 분류 헤드를 갖춘 인코더 기반 모델부터 저랭크 적응(LoRA)을 통해 파인튜닝된 생성형 대규모 언어 모델(LLM)에 이르기까지 다양한 접근법을 비교하며, 모델 크기는 약 30억에서 1,200억 파라미터에 걸쳐 있다. 4비트 양자화 구성의 Mistral 계열에서 나온 최고 성능 모델은 F1 점수 최대 0.67을 달성한다. 우리는 전문 색인화의 본질적 주관성과 모델 예측이 인쇄 색인과 다름에도 의미론적으로 유효한 경우가 빈번하다는 점을 고려할 때, 이 수치가 하한값에 해당한다고 주장한다. 우리는 코퍼스 간 일반화도 추가로 평가하고, 자동화 처리에 특히 저항적임이 밝혀진 원본 텍스트의 문학적·수사적 특성에 대한 모델 행동의 상세한 정성적 분석을 수행한다. 우리의 연구 결과는 대규모 문학 및 역사적 코퍼스에 대한 구조화된 주제 접근을 제공하는 보다 광범위한 과제에 시사점을 갖는다.

arXiv:2607.09204v1cs.CL

언어 모델 사전학습을 위한 복잡도 기반 컴포넌트별 초기화

Complexity-Guided Component-wise Initialization for Language Model Pretraining

사전학습된 언어 모델은 구조화된 가중치 스펙트럼을 자주 나타내며, 이는 학습이 레이어별 및 컴포넌트별로 유사한 구조를 반복적으로 생성할 수 있음을 시사한다. 본 연구에서는 이러한 반복적인 스펙트럼 패턴을 GPT-2 방식의 언어 모델 사전학습을 위한 초기화 신호로 재활용할 수 있는지 탐구한다. 먼저, 크기·언어·토크나이저·학습 코퍼스가 상이한 11개의 사전학습된 GPT-2 방식 체크포인트를 분석하여, 레이어와 트랜스포머 서브컴포넌트 전반에 걸쳐 프로베니우스 노름(Frobenius norm)과 유효 랭크 엔트로피(effective-rank entropy)를 측정한다. 해당 체크포인트들은 공통된 깊이별 경향을 보이며, 특히 잔차 기록 행렬(residual-writing matrices)에서 스케일 증가와 강한 스펙트럼 집중이 관찰된다. 이후 사전학습된 모델의 컴포넌트별 크기와 스펙트럼 프로파일을 모방하는 초기화 방식을 구성하고, 여러 가중치 초기화 방법들과 비교한다. 이러한 초기화 방식은 모델의 구조적 스펙트럼 패턴을 뚜렷하게 변화시키지만, 평가 결과는 그에 상응하는 성능 이점을 보이지 않는다. 사전학습 가중치 재활용은 여전히 경쟁력 있는 방법인 반면, 거친 스펙트럼 매칭만으로는 신뢰할 만한 최적화 전략이 되지 못한다. 본 연구의 결과는 사전학습된 스펙트럼이 학습된 모델 구조를 진단하는 데 유용하지만, 효과적인 재활용을 위해서는 컴포넌트별 스케일과 특잇값(singular-value) 형태보다 더 풍부한 정보를 보존해야 할 가능성이 높음을 시사한다.

arXiv:2607.09121v1cs.CL

대규모 언어 모델로 기본적 분석 강화: 투자자 브리프 생성을 위한 RAG 기반 시스템

Augmenting Fundamental Analysis with Large Language Models: A RAG-Based System for Generating Investor Briefs

본 연구에서는 기업 보고서, GDP 및 인플레이션 변화와 같은 거시경제 상황을 기술한 데이터 및 문서, 그리고 EDGAR에서 찾을 수 있는 미국 증권거래위원회(SEC) 제출 문서를 기반으로 한 기업 기본적 분석(fundamental analysis)의 다양한 측면에 대규모 언어 모델(LLM)이 가져오는 기회를 검토한다. 해당 데이터를 전처리한 후 API를 통해 검색-증강 생성(RAG) 방식으로 gpt-4o 모델에 전송하였다. 또한 키친 순환(Kitchin cycles)에 기반한 예시적 투자자 지식을 기술한 문서도 별도로 준비하였다. 9개 기업의 분석에 중요한 데이터를 4주간 스캔하였으며, LLM을 활용하여 해당 기업들에 대한 자동 브리프를 생성하였다. 생성된 브리프는 이러한 데이터 분석 접근법의 유용성을 평가하기 위해 개인 투자자 9명에게 전송되었다.

arXiv:2607.09092v1cs.CL

AgentKGV: 지식 그래프 사실 검증을 위한 2단계 학습 기반 에이전틱 LLM-RAG 프레임워크

AgentKGV: Agentic LLM-RAG Framework with Two-Stage Training for the Fact Verification of Knowledge Graphs

지식 그래프(KG)는 대규모 코퍼스로부터 자동 구축되는 경우가 많지만, 노이즈가 많은 소스와 추출 실패로 인해 불가피하게 사실 오류를 포함하며, 산업 규모에서 이를 신뢰성 있게 검증하는 것은 여전히 중요한 과제로 남아 있다. 이를 해결하기 위해 우리는 AgentKGV, 즉 KG 사실 검증을 위한 에이전틱 LLM-RAG 프레임워크를 제안한다. 이 프레임워크는 동적 라우팅과 반복적 쿼리 재작성을 통합하여 문서 수준 검색에서 발생하는 표면 형태 불일치 문제를 처리한다. 산업 배포 환경에서 이 프레임워크의 정확도와 비용 효율성을 높이기 위해, 우리는 2단계 학습 전략을 추가로 도입한다: 안정적인 쿼리 재작성 및 추론을 위해 대형 교사 모델(teacher model)의 추론 능력을 소형 모델(model)로 전달하는 턴 수준 증류 기반 SFT, 그리고 대규모 환경에서 불필요한 검색을 줄이기 위해 검색 정책을 최적화하는 궤적 수준 GRPO이다. 오픈 도메인 T-REx 벤치마크의 롱테일 술어 분할에서, 우리의 프레임워크는 단일 턴 RAG 대비 매크로-F1을 5.5%p 향상시키며, 2단계 학습(training)을 적용하면 추가로 9.4%p 향상된다. 또한 GRPO는 정확도를 저수준화(lowering)하지 않으면서 평균 검색 호출 횟수를 3.24회에서 1.63회로 줄인다.

arXiv:2607.09053v1cs.CL

창발적 신기루: 창발적 정렬 불일치와 재정렬은 과연 견고한 현상인가?

An Emergent Mirage: Is Emergent Misalignment and Realignment Indeed a Robust Phenomenon?

최근 연구에서는 창발적 정렬 불일치(Emergent Misalignment, EM)가 보고되었는데, 이는 좁고 도메인 특화된 정렬 불일치 데이터셋으로 미세조정된 언어 모델이 갑작스럽게 광범위한 정렬 불일치 행동을 획득하는 현상으로, 제한적인 재정렬을 통해 이 행동이 역전될 수 있다는 증거와 함께 제시되었다. 우리는 통제된 미세조정 루프를 사용하여 반복적인 정렬 및 정렬 불일치 사이클을 체계적으로 연구하면서 학습 전반에 걸쳐 행동적 성능과 LoRA 표현을 추적하였다. EM을 재현하였음에도 불구하고, 정렬 불일치와 재정렬 모두 표면적인 데이터셋 특성에 매우 민감하며, 겉으로 보이는 빠른 재정렬은 응답 길이 차이를 통제한 후 대부분 사라짐을 발견하였다. 또한 이전에 보고된 메커니즘적 특징, 즉 LoRA 공간에서의 표현 위상 전환이 학습 전반에 걸쳐 행동적 정렬 불일치와 일관되게 상관관계를 보이지 않음을 발견하였다. 우리의 결과는 EM에 대한 현재의 증거가 이전에 주장된 것보다 덜 견고함을 시사하며, EM 현상의 견고성을 규명하기 위해 이러한 표면적 데이터셋 아티팩트를 신중하게 통제하는 평가 프로토콜의 필요성을 강조한다.

arXiv:2607.08775v1cs.CL

HALO: 언어 모델을 위한 하이브리드 적응적 잠재 추론

HALO: Hybrid Adaptive Latent Reasoning for Language Models

우리는 소량의 적응적 추가 연산을 통해 동결된 사전학습 언어 모델을 개선하는 방법을 연구한다. 간단한 접근법은 백본 은닉 상태 위에 추가적인 정제 단계를 적용하는 것이지만, 고정된 추가 정제는 비효율적일 수 있다: 1단계 정제 헤드는 너무 약할 수 있고, 전체 시퀀스에 걸쳐 2단계 정제를 강제하면 전이 성능 향상 없이 연산량만 증가할 수 있다. 우리는 HALO를 소개한다. HALO는 거친 정제 단계와 토큰 스코어링 및 단조 토큰 중단(monotonic token halting)으로 선택된 토큰 부분집합에 대한 선택적 2단계 잠재 정제를 결합한 하이브리드 적응적 잠재 정제 방법이다. MMLU-Pro와 GPQA-Diamond로 구성된 주요 공개 벤치마크 비교에서, HALO는 논문 대상 방법들 중 전체 평균 최고 성능을 달성하여 동결된 백본, fixed-1, fixed-2 기준선을 모두 능가한다. 내부 분석에서는 HALO가 fixed-1보다 적은 평균 정제 단계를 사용하고 fixed-2보다 훨씬 적은 단계를 사용하면서도 fixed-2와 거의 동일한 토큰 정확도 수준에 도달함을 추가로 보여준다. 이러한 결과는 핵심적인 이점이 단순히 더 많은 정제에 있는 것이 아니라 정제의 더 나은 배분에 있음을 시사한다: HALO는 두 고정 기준선 중 어느 것보다 적은 컨트롤러 연산량을 사용하면서도 논문 대상 결과에서 가장 강력한 성능을 달성한다.

arXiv:2607.08642v2cs.CL

DominoTree: 추론 가속을 위한 Domino 기반 조건부 트리 구조 드래프팅

DominoTree: Conditional Tree-Structured Drafting with Domino for Speculative Decoding

투기적 디코딩(speculative decoding)은 여러 토큰을 드래프팅한 후 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. DFlash와 같은 블록-확산(block-diffusion) 드래프터는 단일 패스로 드래프트 블록을 생성하지만 위치별 주변 분포(marginal)만 모델링하며, DDTree와 같은 최선-우선(best-first) 트리 방법은 해당 주변 분포로부터 후보 트리를 확장한다. 공개된 Domino 드래프터는 GRU 기반 인과적 보정(causal correction)을 추가하여 각 드래프트 토큰 분포를 경로 의존적으로 만드는데, 이는 DDTree의 인수분해 공식화(factorized formulation)로는 표현할 수 없는 구조다. 우리는 DominoTree를 제안한다. DominoTree는 루트-노드 경로별로 Domino의 조건부 비인수분해 보정(conditional, non-factorized correction)을 점수로 활용하는 학습 불필요(training-free) 최선-우선 드래프트 트리로, 노드별 보정을 상위 M개 후보 집합으로 제한함으로써 실용성을 확보한다. 8개 벤치마크에서 Qwen3-4B 기준, DominoTree는 자기회귀 디코딩 대비 최대 6.6배 속도 향상을 달성하며, 모든 테스트 온도에서 평가된 방법 중 가장 높은 평균 수락 길이(최대 라운드당 10.7 토큰)를 기록한다. DominoTree는 GPU 네이티브 CUDA 그래프 빌더로 트리를 구성하며, 이 빌더는 참조 Python 구현과 비트 단위로 동일하므로 수락률은 변하지 않으면서 라운드별 트리 구성 비용을 낮게 유지한다. 이 빌더를 기본값으로 채택함으로써 DominoTree는 기반 드래프터인 공개 Domino 디코더 대비 모든 테스트 온도에서 처리량을 향상시킨다: Qwen3-4B 전체 기준 9~10%, Alpaca에서는 최대 22% 향상. 또한 DominoTree는 탐욕적 디코딩뿐만 아니라 모든 테스트 온도에서 DDTree와 CaDDTree를 능가한다. Qwen3-8B에서 DominoTree는 모든 온도에서 가장 높은 수락 길이를 유지하며, T=0에서 DDTree 대비 24% 처리량 향상을 달성한다. 온도가 높아질수록 DDTree 및 CaDDTree와의 격차는 동률 내지 소폭 손실로 좁혀지지만, DFlash 및 Domino 대비 전반적인 이점은 유지된다.

arXiv:2607.03882v2cs.CL

일관성은 있지만 오보정됨: 자연어에서의 위험 소통을 위한 LLM 한계 평가

Consistent but Miscalibrated: Evaluating LLM Limitations for Risk Communication in Natural Language

대규모 언어 모델(LLM)은 AI 생성 출력의 사후 설명자로 점점 더 많이 활용되고 있으나, 이들이 자연어로 확률적 정보를 신뢰성 있게 전달할 수 있는지는 여전히 불분명하다. 이 역할이 실행 가능하려면, 모델은 동일한 입력에 대해 동일한 언어적 설명을 생성해야 하며, 기저 수치 양의 크기를 정확히 반영하는 설명을 선택해야 한다. 우리는 아홉 개의 LLM이 2단계 예측 파이프라인 내에서 이러한 요건을 충족하는지 평가한다. 이 파이프라인에서 상위 모델은 가능도와 불확실성으로 특성화된 확률적 출력을 생성하며, LLM은 각각에 적합한 언어적 서술어를 선택하는 과제를 수행한다. 우리는 최빈값과 사전 샘플 크기로 매개변수화된 베타 분포에서 샘플을 추출하여 상위 모델의 예측을 시뮬레이션한다. 그런 다음 여섯 가지 도메인 맥락과 열 가지 온도 설정하에서 LLM에 이러한 예측을 설명하도록 프롬프트를 제공하고, 각 실험을 열 번 반복한다. 우리는 LLM이 전반적으로 일관성은 있지만 오보정(miscalibrated)되어 있으며, 가능도 과제보다 불확실성 과제에서 현저히 낮은 성능을 보임을 발견한다. 모델에 사전 계산된 요약 통계량(최빈값 및 사전 샘플 크기)을 제공하면 맥락적 프레이밍에 대한 민감도가 감소했지만, 기저의 오보정 문제는 해결되지 않았으며, 이는 병목이 언어화(verbalization) 단계 자체에 있음을 시사한다. 이러한 결과는 현재의 LLM이 확률적 예측을 위한 신뢰할 수 있는 제로샷 독립형 위험 소통 도구로서 아직 충분하지 않음을 나타낸다.

arXiv:2606.18613v3cs.CL

대규모 언어 모델(LLM)은 의사를 보조할 준비가 되었는가? 대화형 의사-환자-EHR 보조를 위한 PhysAssistBench

Are LLMs Ready to Assist Physicians? PhysAssistBench for Interactive Doctor-Patient-EHR Assistance

의료용 대규모 언어 모델(LLM)의 가장 현실적인 단기적 역할은 의사를 대체하기보다는 보조하는 것이지만, 현재의 평가는 종종 임상 지식, 전자 건강 기록(EHR) 시스템 상호작용, 또는 환자와의 소통과 같은 개별적인 능력만을 테스트합니다. 의사 보조는 대신 동일한 상호작용 내에서 이러한 능력들을 조율하는 것을 요구하며, 여기서 의사는 불완전한 요청을 하고, 환자는 증상을 모호하게 설명하며, EHR 시스템은 정밀한 도구 사용을 요구합니다. 우리는 대화형 의사-환자-EHR 보조를 위한 벤치마크인 PhysAssistBench를 소개합니다. 실제 MIMIC-IV 사례를 기반으로 구축된 PhysAssistBench는 확장 가능한 파이프라인을 사용하여 에이전트 환자를 구축합니다. 이는 임상적 사실성을 유지하면서 정적인 EHR 기록을 멀티턴 임상 시나리오로 변환하는 대화형이며 기록 기반의 에이전트입니다. PhysAssistBench는 1,296개의 수동 검토 및 의사 검증된 턴으로 구성된 엄선된 이중 언어 평가 세트를 제공합니다. 선도적인 LLM을 사용한 실험에 따르면, 현재 모델들은 이 설정에서 여전히 신뢰할 수 없는 것으로 나타났습니다. 이는 임상용 LLM의 주요 병목 현상을 드러냅니다: 신뢰할 수 있는 보조는 지식, 소통, 시스템 간의 조율을 필요로 하며, 그중 어느 하나에서의 개별적인 향상만으로는 부족합니다.

arXiv:2605.14563v2cs.SE

궤적을 기억하라: 일관되고 계층적인 저장소 수준 코드 문서화를 위한 메모리 기반 장기 에이전트 프레임워크

Remember Your Trace: Memory-Guided Long-Horizon Agentic Framework for Consistent and Hierarchical Repository-Level Code Documentation

자동화된 코드 문서화는 현대 소프트웨어 개발에 필수적으로, 인간 개발자와 코딩 에이전트 모두가 대규모 코드베이스를 탐색하는 데 의존하는 맥락적 기반을 제공한다. 기존의 저장소 수준 접근법들은 컴포넌트를 독립적으로 처리하여 문서 전반에 걸쳐 중복된 검색과 상충하는 설명을 야기하며, 계층적 구조가 결여된 출력물을 생성한다. 이에 본 논문에서는 전체 저장소에 걸쳐 단일한 통합 컨텍스트 내에서 문서를 생성하는 장기 에이전트 프레임워크인 MemDocAgent를 제안한다. MemDocAgent는 두 가지 구성 요소를 결합한다: (i) 의존성 및 세분화 계층을 고려한 순회 순서를 사전에 결정하는 의존성 인식 순회 가이딩(Dependency-Aware Traversal Guiding), (ii) 에이전트가 읽기, 쓰기, 검증 연산을 통해 이전 작업 궤적을 축적하는 공유 메모리인 RepoMemory와 상호작용하는 메모리 기반 에이전트 상호작용(Memory-Guided Agentic Interaction). 심층적인 다중 기준 평가를 통해 MemDocAgent는 오픈소스 및 클로즈드소스 기준 모델 대비 최고 성능을 달성하며, 실제 소프트웨어 개발 워크플로우에서의 실용적 적용 가능성을 입증한다.

arXiv:2605.12920v3cs.MA

대화를 통한 월드 모델 정렬 기반 체화 멀티 에이전트 협력

Embodied Multi-Agent Coordination by Aligning World Models Through Dialogue

체화된 에이전트 간의 효과적인 협력은 공유된 환경에서 행동하는 것 이상을 요구하며, 각 에이전트의 끊임없이 변화하는 세계 이해에 근거한 소통이 필수적이다. 에이전트가 주변 환경을 부분적으로만 관찰할 수 있을 때 소통 없는 협력은 증명 가능하게 어렵지만, 소통은 원칙적으로 에이전트들이 관찰을 공유하고 월드 모델을 정렬할 수 있게 함으로써 이 간극을 메울 수 있다. 본 연구에서 우리는 LLM 기반 체화 에이전트가 실제로 소통 능력을 실현하는지 살펴본다. 우리는 협력적 가정용 로보틱스 벤치마크인 PARTNR를 자연어 대화 채널로 확장하여, 부분 관찰 가능성을 가진 두 에이전트가 작업 실행 중 소통할 수 있도록 한다. 대화가 피상적 협력이 아닌 진정한 월드 모델 정렬로 이어지는지 평가하기 위해, 우리는 에이전트별 월드 그래프에 기반하여 월드 모델 정렬을 측정하는 프레임워크를 제안한다: 관찰 수렴(개인 월드 모델이 시간이 지남에 따라 정렬되는가?), 정보 신규성(메시지가 파트너에게 부족한 내용을 전달하는가?), 신념 민감적 메시징(에이전트가 파트너의 지식 상태를 모델링하는가?). 세 가지 LLM에 걸친 실험에서 대화가 행동 충돌을 40에서 83 퍼센트포인트 감소시키지만 침묵 협력 대비 작업 성공률을 저하시킨다는 것이 드러났다. 우리의 지표를 활용하여 피상적 협력과 진정한 월드 모델 정렬 간의 간극을 규명하고, 현재 모델들이 이 스펙트럼의 어느 지점에 위치하는지 파악한다. 프로젝트 웹사이트: https://uiuc-conversational-ai-lab.github.io/partnr-dial-wmd/

arXiv:2604.01206v2cs.CL

RELISH: 잠재 반복 상태 헤드를 활용한 LLM 회귀

RELISH: LLM REgression with a Latent Iterative State Head

본 논문에서는 대규모 언어 모델을 이용한 텍스트 회귀를 위해 설계된 새롭고 경량화된 아키텍처인 RELISH(REgression with a Latent Iterative State Head)를 제안한다. RELISH는 수치 목표값을 텍스트로 디코딩하거나 여러 생성 출력을 집계하는 방식 대신, 동결된 LLM 표현으로부터 스칼라 값을 직접 예측한다. 구체적으로, 토큰 수준 표현에 대한 크로스-어텐션을 통해 학습된 잠재 상태를 반복적으로 정제한 뒤, 선형 회귀기로 최종 상태를 점 추정값에 매핑한다. 6개의 데이터셋, 4가지 LLM 백본, 2가지 LLM 학습 체제에 걸쳐 RELISH는 자기회귀적 디코딩, 회귀 인식 추론, 기존 예측 헤드 방법을 포함한 세 가지 주요 LLM 회귀 계열의 모든 기존 기준선을 일관되게 능가한다. 이러한 성능 향상에도 불구하고, RELISH는 동결된 LLM 백본에서 학습 가능한 매개변수를 약 340만~370만 개만 필요로 하여(추가 오버헤드 0.01~0.04%에 불과) 매개변수 효율성이 매우 높으며, 모델 크기에 따라 증가하는 LoRA 기반 대안(0.26~0.42%)보다 훨씬 적다. 코드는 https://github.com/SamSoup/RELISH 에서 공개되어 있다.

arXiv:2604.00130v2cs.CL

계층적 사고의 연쇄: LLM 추론 성능과 효율성 향상

Hierarchical Chain-of-Thought: Enhancing LLM Reasoning Performance and Efficiency

사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰다. 그러나 기존의 CoT는 중복성과 준최적 성능 문제를 겪는 비구조적이고 평탄한 추론 체인에 의존하는 경우가 많다. 본 연구에서는 복잡한 다단계 추론의 과제를 해결하기 위해 특별히 설계된 구조적 추론 패러다임인 계층적 사고의 연쇄(Hierarchical Chain-of-Thought, Hi-CoT)를 제안한다. Hi-CoT는 지시적 계획과 단계별 실행을 교대로 수행함으로써 추론 과정을 계층적 하위 단계로 분해한다. 이러한 분해는 LLM이 긴 추론 구간을 더 잘 관리하고 논리적 일관성을 유지할 수 있도록 한다. 다양한 LLM과 수학적 추론 벤치마크에 대한 광범위한 평가에서 Hi-CoT는 CoT 대비 추론 경로 길이를 13.9% 줄이면서 평균 정확도를 6.2%(일부 모델 및 과제에서 최대 61.4%) 일관되게 향상시키는 것으로 나타났다. 또한 모델이 계층적 구조를 엄격히 준수할 때 정확도와 효율성이 최대화됨을 보인다. 코드는 https://github.com/XingshuaiHuang/Hi-CoT에서 확인할 수 있다.

arXiv:2603.10145v2cs.CL

역전파에서 길을 잃다: LM 헤드는 그래디언트 병목이다

Lost in Backpropagation: The LM Head is a Gradient Bottleneck

신경망 언어 모델(LM)의 마지막 층은 차원 $D$의 출력 특징을 어휘 크기인 차원 $V$의 로짓으로 투영하며, 일반적으로 $D \ll V$이다. 이러한 불일치는 신경망 언어 모델의 표현력을 제한하는 위험을 높이는 것으로 알려져 있으며, 소위 소프트맥스 병목(softmax bottleneck)을 야기한다. 우리는 소프트맥스 병목이 표현력 병목일 뿐만 아니라 최적화 병목이기도 함을 보인다. $V$차원 그래디언트를 랭크-$D$ 선형 계층을 통해 역전파하면 불가피한 압축이 발생하며, 이는 대다수 파라미터에 제공되는 학습 피드백을 변질시킨다. 우리는 이 현상에 대한 이론적 분석을 제시하고, 그래디언트 노름의 95~99%가 출력 층에 의해 억제되어 극히 비최적적인 업데이트 방향이 초래됨을 실증적으로 측정한다. 우리는 통제된 사전학습 실험을 수행하여 그래디언트 병목이 단순한 패턴조차 학습 불가능하게 만들고, 대규모 언어 모델(LLM)의 학습 역학에 심각한 영향을 미침을 보인다. 우리는 이 고유한 결함이 모델 아키텍처와 무관하게 대규모 학습 비효율성에 기여하며, 새로운 LM 헤드 설계의 필요성을 제기한다고 주장한다.

arXiv:2602.10229v2cs.CL

잠재 사고 튜닝: 잠재 토큰의 융합 정보로 컨텍스트와 추론 연결

Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens

명시적 사고의 연쇄(Chain-of-Thought, CoT)는 대규모 언어 모델(LLM)에 강력한 추론 능력을 부여하지만, 모델의 사고를 이산적인 어휘 공간으로 제한한다. 최근 연속 잠재 공간에서의 추론이 유망한 대안으로 부상하고 있으나, 현재의 패러다임은 은닉 상태를 반복적으로 재사용할 때 발생하는 분포 불일치로 인한 특징 붕괴(feature collapse)와 불안정성, 또는 보조 모델에 의존할 때 발생하는 정렬 문제로 어려움을 겪는다. 이를 해결하기 위해 우리는 잠재 사고가 구성되고 활용되는 방식을 재정의하는 사후 학습 프레임워크인 잠재 사고 튜닝(Latent Thoughts Tuning, LT-Tuning)을 제안한다. 원시 은닉 상태에만 의존하는 대신, 우리의 방법은 컨텍스트 은닉 상태와 어휘 임베딩 공간의 예측적 의미 안내를 공동으로 활용하는 컨텍스트-예측-융합(Context-Prediction-Fusion) 메커니즘을 도입한다. 점진적인 3단계 커리큘럼 학습 파이프라인과 결합하여, LT-Tuning은 잠재 사고 모드와 명시적 사고 모드 간의 동적 전환도 가능하게 한다. 실험 결과, 우리의 방법은 기존 잠재 추론 기준선을 능가하며 특징 붕괴를 효과적으로 완화하고 견고한 추론 정확도를 달성함을 입증한다.

arXiv:2512.04013v3cs.CL

AugServe: 증강 대규모 언어 모델 추론 서빙을 위한 적응형 요청 스케줄링

AugServe: Adaptive Request Scheduling for Augmented Large Language Model Inference Serving

외부 도구를 활용한 증강 대규모 언어 모델(LLM)이 웹 애플리케이션에서 점점 더 많이 사용됨에 따라, 증강 LLM 추론 서빙의 효율성 향상과 서비스 수준 목표(SLO) 최적화가 사용자 경험 개선에 있어 중요한 과제가 되고 있다. 이를 달성하기 위해 추론 시스템은 지연 시간 제약 내에서 요청 처리량을 극대화해야 하며, 이를 유효 처리량(effective throughput) 향상이라 한다. 그러나 기존 시스템은 두 가지 주요 문제에 직면해 있다: (i) 선입선출(FCFS) 스케줄링에 대한 의존으로 인한 심각한 선두 차단(head-of-line blocking) 현상으로, 다수의 요청에서 SLO를 초과하는 큐잉 지연이 발생하고, (ii) 변동하는 부하 및 하드웨어 조건에 적응하지 못하는 정적 배치 토큰 한도가 문제가 된다. 이 두 요인은 유효 처리량과 서비스 품질을 저하시킨다. 본 논문에서는 증강 LLM 추론 서비스의 큐잉 지연을 줄이고 유효 처리량을 향상시키기 위해 설계된 효율적인 추론 프레임워크인 AugServe를 제안한다. AugServe의 핵심 아이디어는 2단계 적응형 요청 스케줄링 전략이다. 구체적으로, AugServe는 증강 LLM 요청의 추론 특성을 결합하여 스케줄링 결정의 순서를 최적화하고(1단계), 이 결정을 런타임 정보로 지속적으로 개선하여(2단계) 요청 특성과 시스템 성능 모두에 적응한다. 또한 AugServe는 하드웨어 상태와 실시간 부하를 기반으로 토큰 배치 메커니즘을 동적으로 조정하여 처리량 성능을 추가적으로 향상시킨다. 실험 결과, AugServe는 vLLM 및 InferCept 대비 각각 4.7배, 3.3배 높은 유효 처리량을 달성하였으며, 첫 토큰 생성 시간(TTFT)을 각각 최대 96.3%, 95.0% 단축하였다.

arXiv:2511.17813v3cs.CL

의사 진행 발언: 데이터 기반 시민 숙의를 위한 행동 인식 LLM 페르소나 모델링

Point of Order: Action-Aware LLM Persona Modeling for Data-Grounded Civic Deliberation

LLM 기반 시뮬레이션은 시민 숙의(civic deliberation)에 대한 통제된 연구를 가능하게 할 수 있으나, 현재 시스템은 화자 귀속 데이터와 장문의 제도적 행동을 평가하는 방법이 부족하다. ASR 전사본은 일반적으로 $Speaker\_1$과 같은 익명 레이블을 사용하여, 모델이 여러 회의에 걸쳐 안정적인 참여자 행동을 학습하는 것을 방해한다. 우리는 공개 Zoom 녹화물을 페르소나 프로필, 주제, $[propose\_motion]$과 같은 화용론적 '행동 태그'로 풍부하게 보강된 화자 귀속 전사본으로 변환하는 재현 가능한 파이프라인을 제시한다. 이 파이프라인을 활용하여 정부 숙의에 관한 세 가지 공개 데이터셋(항소법원 청문회, 교육위원회 회의, 시의회 세션)을 공개하고, 행동 인식 데이터로 LLM 페르소나를 미세조정한다. 우리는 시뮬레이션을 네 가지 차원인 페르소나 충실도, 페르소나 일관성, 제도적 충실도, 행동적 일관성에서 평가한다. 행동 인식 미세조정은 퍼플렉서티(perplexity)를 67% 감소시키고, 분류기 기반 페르소나 충실도를 두 배로 높이며, 투표 시도를 최대 $3.6\times$ 증가시키고, 숙의적 반응성을 최대 70% 향상시킨다. 인간 평가 결과, 시뮬레이션된 발췌문은 실제 숙의와 구별하기 어려운 경우가 많아, 데이터 기반 시민 시뮬레이션 연구를 위한 실용적인 기반이 마련되었음을 보여준다.

arXiv:2510.03595v2cs.CL

LLM 생성에서 태스크 해결과 출력 형식화의 분리

Decoupling Task-Solving and Output Formatting in LLM Generation

대규모 언어 모델(LLM)은 수학적 추론 및 자동 평가와 같은 복잡한 문제를 해결하는 데 점점 더 뛰어난 능력을 보이고 있다. 그러나 프롬프트가 태스크 지시사항과 엄격한 형식 요구사항을 혼재시킬 경우 성능이 저하되는 경우가 많다. 이러한 혼재는 모델에 상충하는 목표를 만들어 추론 능력을 저해한다. 이를 해결하기 위해, 우리는 형식 준수와 문제 해결을 명시적으로 분리하는 디코딩 프레임워크인 Deco-G를 소개한다. Deco-G는 형식 준수를 별도의 형식 추정 모듈(FEM, Format Estimation Module)에 위임하며, 이 모듈은 확률적 선행 탐색(probabilistic lookahead)을 수행하여 미래 형식 준수율을 추정하고 토큰 확률을 재가중함으로써 LLM이 태스크 해결에만 집중할 수 있도록 한다. 이 접근 방식을 실용적이고 효율적으로 만들기 위해, 지시사항 인식 증류(instruction-aware distillation), 유연한 트라이(trie) 구축 알고리즘, HMM 상태 가지치기라는 세 가지 핵심 기법을 도입한다. 수학적 추론, 이벤트 인수 추출, LLM-as-a-judge에 걸친 실험에서 Deco-G는 형식 준수를 보장하면서 프롬프팅 또는 구조화된 생성 기준선을 지속적으로 능가함을 보여준다. 코드는 https://github.com/haikangdeng/deco-g에서 공개한다.