PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13632v1cs.AI

올림피아드 에이전트의 인간화: Solve, Review, Wiki, Verify를 활용한 올림피아드 문제 해결용 다중 세션 워크플로

Humanize Olympiad Agents: A Multi-Session Workflow for Olympiad Problem Solving with Solve, Review, Wiki, Verify

대규모 언어 모델(LLM) 에이전트는 장기적인 과학 및 올림피아드 과제에서 빠르게 발전하고 있습니다. 최근 시스템들은 나비에-스토크스(Navier--Stokes) 문제에 대한 Lean 정형화 해법과 에르되시 추측(Erdős Conjectures) 데이터베이스의 4개 미해결 문제에 대한 자율적 해법을 제시했습니다. 그러나 두 시스템 모두 기반 모델과 완전한 추론 스택을 동시에 공개하지는 않았습니다. 더 넓게 보면, 단일 에이전트 세션은 고난도 문제에서 여전히 취약합니다. 초기 오류가 전파될 수 있고, 도메인 지식 부족으로 진행이 중단될 수 있으며, 겉보기의 성공이 원래 과제에 대한 오해나 조건 완화를 감추고 있을 수도 있습니다. 본 연구에서는 상호보완적인 세 가지 피드백 채널을 통해 다중 에이전트 세션을 조율하는 공개 플로우 수준 프레임워크인 HOA(Humanize Olympiads Agent)를 소개합니다. 첫째, 독립적인 검토자(reviewer)가 각 후보 해법을 평가하고 실행 가능한 피드백을 제공합니다. 둘째, 구조화된 위키가 모델 사전학습에서 누락되었거나 신뢰할 수 없는 과제 특화 지식을 제공합니다. 셋째, 검증기(verifier)가 생성된 Lean 증명을 신뢰할 수 있는 문제 명제와 대조하여 확인합니다. GPT-5.6 Sol을 적용한 HOA는 IMO, IPhO, IOI 2026에서 만점을 기록하고, IChO 2026 문제 세트에서 만점에 근접한 점수를 얻었으며, PutnamBench의 672개 문제 전체(100%)를 해결했습니다. Lean-Eval 리더보드에서 HOA는 304개 문제 중 251개(82.6%)를 해결하여 1위를 기록했습니다. 나아가 오픈 모델을 활용해 HOA를 평가했습니다. Kimi-K3를 사용했을 때 HOA는 IMO, IPhO, IOI에서 만점을 달성하고 IChO에서 97.1%의 금메달 수준 점수를 획득했습니다. 이러한 결과는 IMO와 IPhO에서 폐쇄형 GPT-5.6 Sol + /Goal 기준선과 거의 일치하는 동시에 IChO와 IOI에서는 이를 능가하여, 체계적인 피드백이 기본 모델 역량의 상당한 격차를 해소하는 데 기여할 수 있음을 보여줍니다.