PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24760v1cs.AI

역방향 사고 구축: 대규모 언어 모델의 역방향 사고 능력 개발

Construting Reverse Thinking: Developing Large Language Models' Reverse Thingking Ability

복잡한 문제에 직면했을 때, 인간은 서로 다른 문제에 대해 다양한 아이디어를 시도하는 경향이 있다. 인간의 사고 패턴은 다양한 상황에 적응하는 데 있어 뛰어난 유연성을 보인다. GPT-o1, GPT-o3, DeepSeek-R1은 긴 사고의 연쇄(Chain-of-Thought) 모델을 채택하여 추론 깊이를 늘림으로써 복잡한 문제를 해결하며, 기본적으로 순방향 추론 모드를 따른다. 우리는 서로 다른 규모의 모델에서 다양한 수학 문제 데이터셋에 대한 정확도를 통계적으로 분석하여, 오류의 다섯 가지 원인을 발견했다: 해 공간(solution-space) 커버리지 부족, 계산 실수, 검증되지 않은 가정, 제약 조건 무시, 최대 응답 길이 제한. 위의 문제들을 해결하기 위해, 우리는 모델의 역방향 사고 능력과 동적 적응력을 향상시키는 것을 목표로 하는 역방향 추론 패턴 구축 방법을 제안한다. 먼저, 대규모 모델을 학습시키고 서로 다른 난이도 수준에서 추론 능력을 점진적으로 향상시키기 위해 쉬운 단계와 어려운 단계로 구성된 2단계 수학 데이터셋을 구축했다. 이 데이터셋은 순방향 추론 경로와 역방향 추론 경로를 모두 포함한다. 그리고 모델의 역방향 추론 능력을 점진적으로 학습시키기 위해 2단계 지도 미세조정(supervised fine-tuning) 과정을 적용한다. 더 나아가, 완만한(smoothed) 보상 신호를 사용하여 추론 과정에서 모델이 사고 모드를 자율적으로 선택하는 능력을 강화함으로써 보상 해킹(reward hacking)을 방지하는 세밀한 보상 메커니즘을 개발했다. 학습 과정에서 순방향 및 역방향 추론 경로 샘플 간의 균형을 유지하기 위해 선형 감쇠 균형 샘플링(linear-decay balanced sampling) 전략을 설계하여, 모델이 빠르고 안정적으로 수렴할 수 있도록 했다. 실험 결과는 우리의 방법이 수학적 증명과 같은 작업에서 추론 효율성과 정확도를 크게 향상시키며, 복잡한 문제를 해결하기 위한 유연하고 효율적인 추론 패러다임을 제공함을 보여준다.