잠재 공간에서의 제약 최적화를 통한 효율적인 추론
Efficient Reasoning via Constrained Optimization in Latent Space
대규모 추론 모델(LRM)은 뛰어난 추론 능력을 보여주었으나, 여전히 불필요한 추론 단계를 생성하여 상당한 토큰(token) 소모를 유발하는 오버씽킹(overthinking) 문제를 겪고 있습니다. 반추적 키워드를 억제하거나 강제로 추론 길이를 단축하는 기존 방법들은 이 문제를 완화하려 하지만, 필연적으로 필요한 단계를 잘라내고 언더씽킹(underthinking)을 유발하여 성능을 저하시킵니다. 이러한 딜레마를 해결하기 위해 본 논문에서는 잠재 표현(latent representation)을 조사하였으며, 효율적인 추론 단계들이 잠재 공간(latent space) 내의 집중된 영역에 자연스럽게 군집하는 반면, 이 영역을 벗어나는 단계들은 장황한 시퀀스를 생성하는 경향이 있음을 관찰했습니다. 이를 활용하기 위해, 벗어난 은닉 상태(hidden state)를 해당 영역으로 다시 투영하는 이차 계획법(quadratic program)을 통해 추론이 이 영역 내에 집중되도록 유지합니다. 이어 성능 저하 없이 토큰 생성 비용을 줄여 효율적인 추론을 달성하는 새로운 학습(training) 불필요 프레임워크를 제안합니다. 1.5B부터 14B에 이르는 4개 모델과 수학 추론, 코딩, 과학 질의응답 분야의 6개 벤치마크에서 수행된 광범위한 실험을 통해 본 방법의 효과를 검증하였으며, 생성 토큰을 11.8%에서 52.8%까지 줄이면서도 정확도를 최대 12.1% 향상시켰습니다. 코드는 \href{https://github.com/hzn18/Opt4Reasoning}{https://github.com/hzn18/Opt4Reasoning}에서 확인할 수 있습니다.