모든 오류가 동일하지는 않다: 결과 인식 추론 연산 할당
Not All Errors Are Equal: Consequence-Aware Reasoning Compute Allocation
테스트 시점 연산(test-time compute)은 추론(inference) 시 대규모 언어 모델(LLM)의 능력을 향상시키는 효과적인 패러다임으로 부상했습니다. 기존 할당 전략은 주로 난이도, 불확실성, 또는 예상 성능 향상에 따라 작업의 우선순위를 정하며, 이는 예측 오류의 비용이 모두 동일하다고 암묵적으로 간주합니다. 이러한 가정은 하위 작업에 따라 실패의 여파가 크게 달라질 수 있는 실제 배포 환경과 일치하지 않는 경우가 많습니다. 이러한 한계를 해결하기 위해 본 논문은 추가 연산의 한계 이득과 함께 작업의 실패 결과(consequence)를 우선순위로 삼는 비용 가중 스케줄링 문제를 공식화하여 결과 인식(consequence-aware) 테스트 시점 연산 할당을 제안합니다. 그러나 실제로는 실행 전에 한계 이득을 예측하기 어렵기 때문에, 결과를 라우팅 신호로 사용하는 배포 가능한 스케줄러를 제안합니다. 이 스케줄러는 솔루션 도출 전 입력으로부터 작업 결과를 예측하고 상위 작업에 가용한 프리미엄 연산을 할당합니다. SWE-bench Lite에서의 실험은 결과가 작업 난이도를 넘어선 정보를 제공하며 문제 해결 전에 예측될 수 있음을 보여줍니다. 고정된 연산 예산 하에서 결과 인식 라우팅은 전반적인 정확도를 경쟁력 있게 유지하면서도 중대한 결과를 초래하는 작업에서 최고의 성공률을 달성합니다. 통제된 모델 내 실험은 추론 시도 횟수만 재할당할 때도 동일한 이점이 있음을 추가로 확인합니다.