arXiv:2505.11183

On Next-Token Prediction in LLMs: How End Goals Determine the Consistency of Decoding Algorithms

Jacob Trauger, Ambuj Tewari

제출 2025-05-16

원문 초록

Probabilistic next-token prediction trained using cross-entropy loss is the basis of most large language models. Given a sequence of previous values, next-token prediction assigns a probability to each possible next value in the vocabulary. There are many ways to use next-token prediction to output token sequences. This paper examines a few of these algorithms (greedy, lookahead, random sampling, and temperature-scaled random sampling) and studies their consistency with respect to various goals encoded as loss functions. Although consistency of surrogate losses with respect to a target loss function is a well researched topic, we are the first to study it in the context of LLMs (to the best of our knowledge). We find that, so long as next-token prediction converges to its true probability distribution, random sampling is consistent with outputting sequences that mimic sampling from the true probability distribution. For the other goals, such as minimizing the 0-1 loss on the entire sequence, we show no polynomial-time algorithm is optimal for all probability distributions and all decoding algorithms studied are only optimal for a subset of probability distributions. When analyzing these results, we see that there is a dichotomy created between the goals of information retrieval and creative generation for the decoding algorithms. This shows that choosing the correct decoding algorithm based on the desired goal is extremely important and many of the ones used are lacking theoretical grounding in numerous scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27354v1cs.SE공통 태그 Prediction, Information Retrieval

제약 기반 컨텍스트 엔지니어링: AI 시스템을 위한 도메인 인터페이스 설계

Constraint-Driven Context Engineering: Designing Domain Interfaces for AI Systems

생성형 AI 시스템은 도메인 문제를 해결하기 위해 점점 더 널리 배포되고 있다. 이러한 시스템은 해당 도메인에서 허용 가능한 AI 행동과 결과를 정의하는 기술적, 규제적, 기관적, 규범적 제약 하에서 동작한다. 우리는 산업 협력 과정에서 반복되는 패턴을 관찰했다. 파트너들은 종종 동작은 하지만 상대적으로 범용적인 AI 솔루션을 가지고 찾아온다. 과제는 더 이상 AI 시스템을 처음부터 구축하는 것이 아니라, AI가 생성한 솔루션의 품질과 도메인 적합성을 높이는 데 있다. 이러한 상황에서 병목은 종종 시스템에 제공되는 컨텍스트의 품질, 범위, 구조이다. 그러나 기존 컨텍스트 엔지니어링 접근법은 주로 검색(retrieval), 메모리(memory), 도구(tools)를 통해 도메인 지식을 공급하는 데 초점을 두며, 운영 환경에서 AI 시스템을 지배하는 제약을 체계적으로 식별하고 운영화하는 데 대한 지원은 제한적이다. 본 논문은 AI 시스템을 위한 도메인 인터페이스를 설계하기 위한 설계 접근법인 제약 기반 컨텍스트 엔지니어링(Constraint-Driven Context Engineering, CDCE)을 제안한다. 소프트웨어 아키텍처 설계와 도메인 주도 설계(Domain-Driven Design, DDD)에 기대어, CDCE는 도메인 제약을 1급 설계 동력으로 다룬다. 제약을 식별·특성화하고, 필요한 컨텍스트 자산을 결정하며, 이러한 자산이 AI 시스템에 제공되도록 하는 표현(representation)을 설계한다. 우리는 교육 평가, 의료 의사결정 지원, 재정적 어려움 예측 분야에서 산업 및 공공 부문 파트너와 비교 다중 사례 연구를 수행했다. 제약의 특성에 따라 AI 행동을 안내하거나, 허용 가능한 경계를 강제하거나, AI 생성 결과의 검증을 지원할 수 있다. 사례들은 대조적인 도메인 전반에서 CDCE의 적용 가능성을 보여 주며, 제약 특성이 최종 도메인 인터페이스를 어떻게 형성하는지를 보여 준다.

arXiv:2609.24921v1cs.AI공통 태그 Prediction, Information Retrieval

BackTrend: 후향적 재구성을 통한 과학적 약신호 예측 평가

BackTrend: Evaluating Scientific Weak-Signal Prediction via Backward Reconstruction

과학적 약신호(weak signal)는 초기에는 가시성이 낮지만 나중에 성숙한 과학적 연구 주제의 핵심이 되는 연구 방향을 의미합니다. 그러나 트렌드 추적, 인용 예측, 미래 예측 보고서와 같은 기존 리소스는 구체적인 초기 전조(precursor)와 이후의 패러다임을 연결하는 검증된 참조 데이터셋을 제공하는 경우가 거의 없습니다. 본 논문에서는 성숙한 타깃 주제와 시점 기반 근거 제약이 주어졌을 때, 시스템이 잘 알려지지 않은 연구 문제인 문제 공간 신호와 알려진 문제에 대한 새로운 방법론인 해결책 공간 신호라는 두 가지 유형의 전조를 복원해야 하는 소급적(retrospective) 벤치마크인 BackTrend를 소개합니다. BackTrend는 인공지능 및 머신러닝 분야의 성숙한 타깃 주제 25개와 인간 검증을 거친 66개의 약신호를 포함하며, 2019~2024년 논문 출판 빈도 궤적에 각 후보를 그라운딩(grounding)하여 대규모 문헌으로부터 재구성되었습니다. 본 연구에서는 의미적 매칭 및 커버리지 기반 지표를 사용하여 프론티어 대규모 언어 모델(LLM), 검색-증강 생성(RAG) 시스템, 에이전트(agent) 기반 연구 시스템을 평가(evaluation)합니다. 현재 시스템들은 그럴듯하지만 정렬(alignment)되지 않은 전조를 생성하는 경우가 흔하며, 주제 이탈, 세분성 불일치, 아슬아슬한 미스 매칭, 불완전한 커버리지를 보입니다. 가장 우수한 시스템도 F1 점수가 10.1%에 불과하며, Coverage10은 참조 신호의 최대 18.5%에만 도달합니다. 예산 분석 결과, 추가적인 검색 및 웹 검색 근거는 적정 예산 범위 내에서 성능을 향상할 수 있지만, 이것만으로는 상당한 성능 격차를 완전히 좁히지 못함을 보여줍니다.

arXiv:2607.21625v1cs.AI공통 태그 Prediction, Information Retrieval

시간적 의사결정을 위한 궤적 인식 검색 에이전트

Trajectory-Aware Retrieval Agents for Temporal Decision- Making

우리는 대규모 언어 모델(LLM) 에이전트를 사용하여 장문의 시간적으로 구조화된 텍스트로부터 의사결정하는 문제를 연구한다. 표준 검색-증강 생성(RAG) 파이프라인은 시간순 문맥을 고립된 스니펫으로 분할하여, 올바른 하류 의사결정에 종종 결정적인 시간적 구조를 버린다. 우리는 SHAP 기반 피드백을 사용하여 증거 집합을 반복적으로 정제하는 폐루프 에이전트 프레임워크인 TLM(Trajectory Language Model)을 제안한다. 핵심 기술적 기여는 검색된 청크 임베딩 위의 잠재 성장 곡선 모델(LGCM)로, 궤적 추세, 전환점, 정보 공백을 탐지하는 해석 가능한 메커니즘을 제공한다. 우리는 스코어러 보정(scorer-calibration) 가정(실제로는 대략 성립함) 하에서, 반복적 정제 절차가 정답 레이블에 할당된 확률이 단조 비감소(monotonically non-decreasing)임을 보인다. 실증적으로 TLM은 의료 질의응답, 실적 발표 서프라이즈 예측, 야간 주식 갭 예측의 세 가지 시간적 근거 의사결정 과제에서 평가된다. TLM은 의료 과제에서 제로샷 LLM 베이스라인과 표준 검색-증강 접근법을 모두 크게 능가하며, 두 금융 과제에서 일관되고 경제적으로 의미 있는 성능 향상을 달성한다.

arXiv:2607.22639v2cs.AI공통 태그 Information Retrieval

TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼

TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs

파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.

arXiv:2609.27144v2cs.LG공통 태그 Prediction

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.