PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13570v1cs.AI

추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축

Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models

추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.

arXiv:2609.34181v2cs.AI

잠재 공간에서의 제약 최적화를 통한 효율적인 추론

Efficient Reasoning via Constrained Optimization in Latent Space

대규모 추론 모델(LRM)은 뛰어난 추론 능력을 보여주었으나, 여전히 불필요한 추론 단계를 생성하여 상당한 토큰(token) 소모를 유발하는 오버씽킹(overthinking) 문제를 겪고 있습니다. 반추적 키워드를 억제하거나 강제로 추론 길이를 단축하는 기존 방법들은 이 문제를 완화하려 하지만, 필연적으로 필요한 단계를 잘라내고 언더씽킹(underthinking)을 유발하여 성능을 저하시킵니다. 이러한 딜레마를 해결하기 위해 본 논문에서는 잠재 표현(latent representation)을 조사하였으며, 효율적인 추론 단계들이 잠재 공간(latent space) 내의 집중된 영역에 자연스럽게 군집하는 반면, 이 영역을 벗어나는 단계들은 장황한 시퀀스를 생성하는 경향이 있음을 관찰했습니다. 이를 활용하기 위해, 벗어난 은닉 상태(hidden state)를 해당 영역으로 다시 투영하는 이차 계획법(quadratic program)을 통해 추론이 이 영역 내에 집중되도록 유지합니다. 이어 성능 저하 없이 토큰 생성 비용을 줄여 효율적인 추론을 달성하는 새로운 학습(training) 불필요 프레임워크를 제안합니다. 1.5B부터 14B에 이르는 4개 모델과 수학 추론, 코딩, 과학 질의응답 분야의 6개 벤치마크에서 수행된 광범위한 실험을 통해 본 방법의 효과를 검증하였으며, 생성 토큰을 11.8%에서 52.8%까지 줄이면서도 정확도를 최대 12.1% 향상시켰습니다. 코드는 \href{https://github.com/hzn18/Opt4Reasoning}{https://github.com/hzn18/Opt4Reasoning}에서 확인할 수 있습니다.

arXiv:2606.17890v1cs.CL

RL 학습된 추론 모델에서 과잉 사고를 줄이기 위한 동적 롤아웃 편집

Dynamic Rollout Editing for Reducing Overthinking in RL-Trained Reasoning Models

장문의 사고의 연쇄(chain-of-thought) 추론은 복잡한 작업에서 대규모 언어 모델(LLM)의 성능을 향상시킬 수 있지만, 모델은 올바른 답이 나온 후에도 불필요한 추론을 계속 생성하는 경우가 많습니다. 우리는 이러한 행동을 과잉 사고(overthinking)라고 부릅니다. 우리는 GRPO 스타일 강화학습(RL) 사후 학습의 관점에서 이 현상을 연구하며, 이를 단순한 디코딩 시점의 중단 문제가 아닌 학습 시점의 신용 할당(credit-assignment) 문제로 프레이밍합니다. GRPO 학습 시작 시점에 샘플링된 롤아웃에서, 우리는 동일한 프롬프트에 대해 성공적인 궤적이 실패한 궤적보다 약간 더 높은 수준의 과잉 사고를 보일 수 있음을 관찰했습니다. 이러한 초기 불균형은 바람직하지 않은 피드백 루프의 시작점이 됩니다: GRPO가 시퀀스 수준의 신용을 할당하기 때문에, 성공적인 궤적을 길게 만드는 불필요한 연장 부분과 해결책에 도달하는 접두 문맥을 구별할 수 없습니다. 둘 다 긍정적인 업데이트 신호를 받으므로, 초기 불균형이 학습 과정에서 더 심각한 과잉 사고로 성장할 수 있습니다. 이 문제를 해결하기 위해 우리는 답변이 출현한 후에도 사고를 계속하는 성공적인 궤적에 대한 학습 시점 개입인 동적 롤아웃 편집(DRE)을 제안합니다. DRE는 인정된 검증된 접두 문맥을 보존하고 나머지 사고 부분을 편집하며, 동일한 RL 그룹 내에서 편집된 궤적을 선호하여, 답에 도달하는 데 필요한 추론에 불이익을 주지 않으면서 불필요한 사고에 대한 선호 신호를 약화시킵니다. 다양한 작업에 걸친 실험에서 DRE의 효과가 입증되었습니다.