연산 정렬 학습: 테스트 시점 추론을 위한 최적화
Compute Aligned Training: Optimizing for Test Time Inference
테스트 시점 연산(test-time compute)의 확장은 대규모 언어 모델(LLM)의 성능을 향상시키는 강력한 메커니즘으로 부상했습니다. 그러나 지도 미세조정(SFT) 및 강화학습(RL)과 같은 표준적인 사후 학습 패러다임은 기본 정책 하에서 개별 샘플의 가능도를 최적화하므로, 집계되거나 필터링된 출력에 의존하는 테스트 시점 절차와의 불일치를 유발합니다. 본 연구에서는 학습 목표를 테스트 시점 전략과 정렬하는 연산 정렬 학습(Compute Aligned Training)을 제안합니다. 추론 전략을 기본 정책에 작용하는 연산자(operator)로 개념화함으로써, 해당 전략이 적용될 때 성능을 극대화하는 새로운 손실 함수를 도출합니다. 또한 일반적인 테스트 시점 전략 전반에 걸쳐 SFT 및 RL을 위한 이러한 손실 함수를 구체화합니다. 마지막으로, 본 학습 방법이 표준 학습 대비 테스트 시점 스케일링을 실질적으로 개선한다는 경험적 증거를 제시합니다.