정확한 피드백은 제어가 아니다: LLM에서 텍스트 기반 폐루프 수정 평가
Exact Feedback Is Not Control: Evaluating Text-based Closed-Loop Revision in LLMs
폐루프(closed-loop) 수정은 대규모 언어 모델(LLM) 응용에서 점점 더 많이 쓰이지만, 실패는 불완전한 피드백 또는 올바른 피드백에 대한 비효과적인 대응에서 비롯될 수 있다. 우리는 정확한 길이, 어휘, 구성(compositional) 제약에 걸친 모든 남은 위반을 보고하는 결정론적 검증기(deterministic verifiers)를 갖춘 고정 예산 수정 프로토콜을 제안한다. 피드백의 정확성과 완전성을 고정함으로써 모델 측 수정 동작을 분리한다. 19개의 오픈·폐쇄형 소스 모델 전반에서, 컨트롤러 수준의 최종 결합 성공률 평균은 17.4%에서 99.8%까지 분포하며, 동일한 초안에서도 상당한 모델 간 격차가 지속된다. 통제 실험은 정확한(exact) 피드백에 대한 재현 가능한 모델별 반응을 보여준다. 사후 학습과 스케일(scale)은 이러한 반응을 재형성하지만, 정확한 수정에 더 가깝게 일관되게 끌어오지는 못한다. 모든 제약 계열에서 실패 궤적은 종종 이전 출력을 반복하며, 선행 반복은 이후 회복 가능성 저하와 연관된다. 매칭 상태(matched-state) 개입은 현재 초안과 피드백을 고정한 채 이전 대화를 제거하면 반복 탈출은 변하지만 최종 성공을 믿을 만하게 개선하지는 않음을 보여준다; 효과는 모델, 과제, 트리거 상태 구성에 따라 달라진다. 정확한 피드백은 수정 오류를 관찰 가능하게 하지만, 폐루프를 신뢰할 수 있게 만들지는 않는다. 코드 및 재현 방법: https://github.com/kevinjiang0121-cyber/exact-feedback-code.