추론 에이전트를 활용한 대규모 반례 기반 학습
Counterexample Guided Learning in the Large using Reasoning Agents
대규모 언어 모델(LLM)과 LLM 에이전트는 피드백을 받으면 개선해야 하지만, 언제 그럴 수 있는지 식별하는 것은 어렵습니다. 피드백은 이질적이고 도메인 특화적이며 제어하기 어렵기 때문입니다. 우리는 LLM에게 정규 표현식 유도(regular-expression induction)를 수행하도록 요청함으로써 이 문제에 접근합니다. 이는 고전적인 기호 학습(symbolic learning) 문제로, 반례(counterexample) 형태로 피드백에 대한 정확한 메커니즘이 존재합니다. 반례 기반 학습에서 학습자(LLM)는 긍정/부정 레이블이 지정된 문자열로부터 후보 정규 표현식을 제안하고, 교사(검증기)는 후보 언어와 목표 언어 간의 차이를 보여주는 반례를 반환합니다. 우리는 정규화(regularization) 및 기호 반례 클러스터(symbolic counterexample clusters)와 같이 효과적인 정규 표현식(regex) 학습을 가능하게 하는 새로운 반례 기반 정제 전략을 식별했습니다. 또한 반성(reflection) 및 수정 루프(repair loops)와 같은 에이전트 전략도 탐구합니다. 실험적으로, 우리는 검증기 피드백이 어려운 정규 표현식 유도 작업에서 샘플 효율성을 크게 향상시킨다는 것을 발견했습니다. 이는 필요한 레이블된 예제의 수를 줄이고, 표준 프롬프팅이 실패하는 복잡한 목표 표현식의 학습을 가능하게 합니다. 예를 들어, 가장 어려운 작업 그룹에서 우리의 반례 기반 프레임워크는 두 가지 다른 정규 표현식 도메인에서 성공률을 3.2%에서 38.1%로, 38.9%에서 74.1%로 향상시켰습니다. 이러한 결과는 LLM이 피드백을 단순히 추가 데이터로 취급하는 것을 넘어 풍부한 피드백으로부터 이득을 얻을 수 있음을 시사하며, LLM 기반 프로그램 합성(program synthesis) 및 형식적 추론(formal reasoning)을 위한 강력한 검증기 기반 방법의 가능성을 열어줍니다.