PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.25031v3cs.CL

라운드트립 검증과 수정을 통한 충실한 자동 형식화

Faithful Autoformalization via Roundtrip Verification and Repair

LLM이 자연어를 형식화(formalize)할 때, 그 출력이 원문에 충실한지 어떻게 알 수 있을까? 본 논문은 정답 주석(ground-truth annotation)을 필요로 하지 않는 라운드트립 검증(roundtrip verification) 방식을 제안한다. 이 방식은 문장을 형식화하고, 그 결과를 다시 자연어로 번역한 뒤, 이를 재형식화하여 형식 도구(formal tool)로 논리적 동치성을 검사한다. 두 형식화 결과가 일치하면 이는 충실한 형식화임을 뒷받침하는 증거가 된다. 두 결과가 일치하지 않으면 단계 수준(stage-level) 진단을 통해 오류가 발생한 특정 번역 단계를 국소화하고, 범위 한정 수정 연산자(scoped repair operator)가 해당 단계를 바로잡으려 시도한다. 우리는 두 가지 법령 도메인(텍사스 교통법(Texas Transportation Code)과 텍사스 공원·야생동물법(Texas Parks and Wildlife Code))에서 두 가지 LLM(Claude Opus~4.6과 GPT-5.2)과 세 가지 수정 베이스라인을 사용하여 이 프레임워크를 평가한다. 진단 기반 범위 한정 수정이 가장 효과적인 방법이었으며, 그 효과는 진단 함수의 신뢰성에 좌우된다. 두 도메인과 두 모델 전반에서, 우리의 전체 수정 시스템 하에서 동치성 검사를 통과하지 못한 규칙은 통과한 규칙보다 자연어 추론(NLI) 드리프트(drift)가 1.4배에서 2.5배 더 크게 나타난다.