PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02668v1cs.CL

검증기-생성기 정렬을 통한 대규모 언어 모델 개선

Improving LLMs via Validator-to-Generator Alignment

대규모 언어 모델(LLM)은 일관성이 부족하다: 프롬프트를 변형하거나 관련 없는 정보를 포함시키면 모델 출력이 예기치 않게 변할 수 있다. 생성기-검증기(G-V) 간극은 이 현상의 한 발현으로, LLM이 생성한 응답을 이후 검증을 위해 재질의했을 때 유효하지 않다고 판단하는 경우를 말한다. 본 연구에서는 발화 빈도(utterance frequency)에 대한 원칙적인 보정을 포함하는 새로운 G-V 일관성 공식화를 제안한다. 구체적으로, 생성기는 유효한 문자열이 사전적으로(a priori) 발생 가능성이 낮다는 이유만으로 해당 문자열에 낮은 가능도를 할당하는 경우가 많아, 단순한 G-V 일관성 개념은 실용적이지 않다. 복수의 정답이 존재하는 질문에 답하는 합리적 에이전트의 자연스러운 모델 하에서, 검증기와 빈도 보정된 생성기 점수 간의 일관성이 자연스럽게 도출됨을 보인다. 우리의 방법인 FCPA는 실제 LLM에 대해 빈도 보정 G-V 일관성을 구현하는 학습 목적 함수이다. 실험 결과, FCPA를 이용한 학습은 기존 방법 대비 G-V 일관성과 생성기 성능을 모두 크게 향상시키며, IFEval 및 HumanEval에서 피어슨 상관계수 최대 +27pp의 성능 향상을 달성하면서도 모든 평가 태스크에서 검증기 품질을 유지함을 보여준다.