PAPER2LLM++: 연구 논문을 통한 대규모 언어 모델(LLM)의 지속적 자기 진화
PAPER2LLM++: Continual Self-Evolution of LLMs from Research Papers
대규모 언어 모델(LLM)에 관한 연구는 모델의 한계점과 그 원인, 잠재적 해결책을 지속적으로 밝혀내고 있습니다. 그러나 이러한 인간의 발견은 모델의 진화와 대체로 단절되어 있으며, LLM은 자신의 실패 사례를 다룬 새로운 연구로부터 자동으로 학습하지 못합니다. 본 논문에서는 연구 논문을 기반으로 LLM이 지속적으로 자기 진화할 수 있도록 지원하는 프레임워크인 PAPER2LLM++를 소개합니다. PAPER2LLM++는 논문을 단순한 검색 대상 지식으로 취급하는 대신, 계속해서 늘어나는 문헌들을 모델 개선을 위한 증거이자 지도 신호(supervision)의 연속적인 흐름으로 활용합니다. 새로 유입되는 논문마다 근거 기반의 연구 결과를 추출하고, 보고된 한계점이 현재 모델에 여전히 존재하는지 테스트하며, 필요한 경우 이러한 발견을 후보 학습 신호로 변환합니다. 이후 '시도-평가-반영(try-evaluate-commit)' 절차를 통해 이전 개선 사항을 크게 잊거나 일반적인 성능을 저하시키지 않으면서 목표한 동작을 개선할 때에만 업데이트를 통합합니다. 연구를 통해 발견된 LLM 실패 사례들의 순차적 흐름 전반에 걸쳐, 모델이 이전의 성능 향상을 유지하면서 새로운 연구 결과를 점진적으로 통합할 수 있음을 보여줍니다. 따라서 PAPER2LLM++는 인간의 발견과 모델 진화 사이의 간극을 좁히는 한 걸음을 내딛으며, 모델이 자신의 한계와 개선 방안에 대한 연구로부터 지속적으로 학습할 수 있도록 합니다.