높은 온도에서 긴 문맥 생성은 샘플링 문제다
Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)
한국어 초록
가중치가 공개된 언어 모델은 생성이 길어질수록 성능이 떨어지는 경우가 많다. 이를 해결하기 위해 학습을 늘리는 시도가 흔하다. 높은 온도에서는 모델의 확률분포에서 다음 토큰을 고르는 규칙인 샘플러가 장문 생성과 에이전트의 생성 성능이 유지되거나 개선되는지를 좌우한다. 매개변수 10억~1,220억 개 규모의 공개 가중치 모델 29개를 기존 벤치마크 10개와 최대 100만 토큰의 니들 검색 과제로 평가했다. 평가에는 SWE-bench Verified 코딩 에이전트, 긴 사고 과정 추론, 장문 작성, 긴 구조화된 출력, 긴 문맥 읽기가 포함된다. 온도를 높여도 토큰 후보군을 작고 일정하게 유지하는 샘플러는 정확도를 잃지 않았다. 확률이 낮은 토큰을 후보에 포함하는 샘플러는 성능이 급락했다. Qwen3.5 모델 세 가지에서 온도를 2로 높이면 top-p, top-k 또는 Top-H를 사용한 코딩 에이전트는 GitHub 이슈 100개 중 하나도 해결하지 못했다. 같은 에이전트에 top-nsigma를 적용하면 46~62개를 해결했고, 두 샘플러의 결과가 엇갈린 이슈는 모두 top-nsigma가 해결했다. 전체 벤치마크에서 top-nsigma는 온도 1 점수의 중앙값 기준 100%를 유지했으며, top-p는 26%를 유지했다. 샘플러가 허용하는 토큰 개수를 세면 그 이유를 설명할 수 있다. Llama-3.1-8B가 작성한 이야기 한 편에서 온도를 1에서 2로 높이자 top-p의 후보군은 4개에서 51,845개까지 늘었고 top-nsigma는 3개를 유지했다. 샘플러 설정과 온도 조합 133개에 걸쳐 대표적인 후보군 크기로 평가 품질을 예측할 수 있었다(스피어만 상관계수 -0.77). 온도 1에서 후보군을 고른 뒤 온도를 적용하면 Top-H, min-p, p-less의 성능 급락이 사라졌다. 기본 온도 1에서는 대부분의 샘플러가 비슷한 성능을 보인다. 모든 코드와 데이터를 공개한다.
원문 초록
Open-weight language models are widely observed to get worse the longer they generate. Often, attempts to fix this involve more training. At high temperature, The sampler, i.e. the rule that picks the next token out of the model's probabilities, decides whether long and agentic generation survives and/or thrives. We test 29 open-weight models from 1B to 122B parameters on ten established benchmarks plus needle retrieval out to one million tokens, covering SWE-bench Verified coding agents, long chain-of-thought reasoning, long-form writing, long structured output and long-context reading. Samplers that keep their pool of candidate tokens small and steady as temperature rises don't lose accuracy. Samplers that let in low-probability tokens fall apart. At temperature 2, coding agents running top-p, top-k or Top-H resolve 0 of 100 GitHub issues, while the same agents running top-nsigma resolve 46 to 62 and win every issue the two samplers disagree on, on three Qwen3.5 models. Over all benchmarks top-nsigma keeps a median 100% of its temperature-1 score where top-p keeps 26%. Counting how many tokens each sampler lets through explains why. In one Llama-3.1-8B story, going from temperature 1 to 2 grows top-p's pool from 4 tokens to 51,845 while top-nsigma stays at 3. Across 133 combinations of sampler setting and temperature, the typical pool size predicts judged quality (Spearman correlation of -0.77), and when we pick the pool at temperature 1 and only apply temperature afterwards, Top-H, min-p and p-less stop collapsing. At the default temperature of 1 most samplers perform about the same, We release all code and data to the public.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22148v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.