PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.33149v2cs.AI

너무 어렵지도, 너무 쉽지도 않게: LLM 구조적 추론을 위한 중간 상태로부터의 학습

Not Too Hard, Not Too Easy: Learning from Intermediate States for LLM Structured Reasoning

효과적인 학습의 일반적인 원리는 이미 숙달되었거나 진전을 이룰 수 없을 정도로 너무 어렵지 않은 내용을 연습하는 것입니다. 본 연구에서는 스도쿠(Sudoku) 및 미로 찾기(maze solving)와 같은 구조적 추론 작업에 이 원리를 어떻게 적용할 수 있는지 질문을 던집니다. 이러한 작업에서 모델은 불완전하거나 부정확한 후보 해(candidate solution)가 문제의 제약 조건을 만족할 때까지 이를 반복적으로 수정할 수 있습니다. 이 궤적을 따르는 중간 후보 해들은 자연스러운 학습(training) 예시를 제공합니다. 어떤 것은 이미 해결되었고, 어떤 것은 아직 모델이 수정할 수 없으며, 또 어떤 것은 모델이 현재 달성 가능한 진전의 최전선(frontier)에 놓여 있습니다. 이에 따라 사전학습(pre-training)된 언어 모델(LLM)이 이러한 상태를 수정하는 방법을 학습할 수 있는지, 그리고 이 최전선의 상태에 대해 학습하는 것이 더 넓은 범위의 추론 능력을 향상시키는지 조사합니다. 이를 위해 사전학습된 언어 모델 백본(backbone)과 명시적 해 상태를 반복적으로 수정하는 순환 업데이트기(recurrent updater)를 결합하여, 매 업데이트 단계마다 동일한 파라미터를 사용하도록 합니다. 더 나아가 현재 모델이 생성한 궤적에서 학습 상태를 선별하는 FOCUS(Frontier-Oriented Curation Using Self-trajectories)를 소개합니다. FOCUS는 고정된 횟수의 순환 업데이트 내에서 모델이 각 상태를 얼마나 개선하는지 측정하고, 상당한 진전을 이룰 수 있는 상태를 우선순위에 둡니다. Qwen3-1.7B를 사용했을 때 FOCUS는 Sudoku-Extreme에서 64.4%, Maze-Hard에서 91.1%의 완전 해결 정확도(exact solve accuracy)를 달성했으며, 1.7B에서 8B 파라미터에 이르는 5개의 Qwen 및 Llama 백본 전반에서 유사한 성능 향상이 관찰되었습니다. 또한 순환 업데이트기를 비활성화하고 다운스트림 미세조정(fine-tuning)을 수행하지 않았을 때도, 적응된 LLM이 수학적 추론 및 코드 실행으로 제로샷(zero-shot) 전이되는 것을 확인했습니다.