오류 국소화를 통한 테스트 시점 스케일링
Test-Time Scaling via Error Localization
추론 시점 연산의 스케일링은 복잡한 추론 및 프로그래밍 과제에서 대규모 언어 모델(LLM)의 성능을 향상시키는 신뢰할 수 있는 방법으로 부상했다. 그러나 독립 샘플링(independent sampling)과 순차적 다중 턴 정제(sequential multi-turn refinement)와 같은 표준 접근법은 토큰 수준의 credit assignment 없이 동작하여, 유효한 추론 접두 문맥이 자주 폐기되기 때문에 계산 비효율이 발생한다. 본 연구에서는 고정 또는 환경 피드백을 활용해 토큰 수준의 오류 국소화를 수행하는 추론 시점 알고리즘인 Test-Time Scaling via Error Localization(TTEL)을 제안한다. 정보가 제공된 피드백 하에서의 조건부 확률을 null-context 기준선과 비교함으로써, TTEL은 오류가 발생한 단계를 분리한다. 그다음 알고리즘은 궤적을 잘라내고 새로운 생성을 분기하여, 유효한 접두 문맥을 최대한 재사용한다. 광범위한 평가 결과, TTEL은 생성 토큰 비용 대비 pass-at-k로 측정한 순차 추론 영역 전반에서 엄격하게 우위에 있는 파레토 프런티어를 형성함을 보여준다. LiveCodeBench에서 Qwen3-8B를 사용할 때, TTEL은 독립 샘플링이 생성하는 토큰 수(735.0k)의 약 절반(360.4k)만 생성하면서 pass@64 71.0%를 달성한다. 수학 벤치마크 AIME-2025와 HMMT-2025로 일반화할 때, TTEL은 Qwen3-8B와 Qwen3-4B-Thinking-2507 모두에서 경쟁하는 테스트 시점 기준선들을 명확히 능가한다.