PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2608.10137v2cs.CL

파서는 이미 알고 있다: 제약된 디코딩에서의 경량 바이어스 보정

The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding

문법 제약 디코딩(GCD)은 매 단계에서 규칙을 따르지 않는 토큰을 마스킹하여 언어 모델(LM)이 구문론적으로 유효한 출력을 생성하도록 강제합니다. 그러나 마스킹은 현재까지 각 토큰이 유효한지만 확인할 뿐이므로, 완성된 출력에 대한 결과 분포는 문법을 조건으로 하는 LM 자체의 분포와 달라져 유효하지만 최적은 아닌 출력 쪽으로 생성을 편향(bias)시킵니다. 온라인 샘플링을 통해 이러한 분포를 복원할 수 있지만 비용이 많이 드는 반복적 재샘플링을 거쳐야만 합니다. 본 연구의 핵심 통찰은 GCD 도구가 이미 유지하고 있는 파서 및 렉서 상태가 향후의 문법적 유효성에 대한 강력한 신호를 지니고 있다는 점입니다. 본 논문에서는 이러한 구문 및 어휘 상태와 후보 다음 토큰들을 조건으로 하여 LM의 다음 토큰 확률을 보정하는 경량 오프라인 학습 방식인 SHIM을 소개합니다. GCD 도구가 이미 이러한 상태를 계산하므로 SHIM은 LM 자체를 수정하지 않고 그대로 유지합니다. 비트 벡터 및 text-to-SQL 문법 전반에서 이 보정 방식은 마스킹 속도에 가깝게 작동하면서도, 마스킹 및 온라인 샘플링에 비해 LM의 문법 조건부 분포와의 격차를 실질적으로 좁힙니다. 다음 토큰만 확인하는 변형 모델조차도 두 베이스라인 모두를 개선할 수 있어, 파서 상태를 노출하지 않는 GCD 도구에서도 SHIM을 활용할 수 있습니다.