PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27517v1cs.AI

의도하신 의미가 아니다: LLM은 지정된 부정 의미론을 따를 수 있는가?

Not What You Meant: Can LLMs Follow a Specified Negation Semantics?

부정(negation)은 도메in마다 균일한 해석을 갖지 않는다. 법률·규제·의료 추론에서는 의도된 해석이 적용되는 독해(reading)에 따라 달라진다 — 개방 세계(open-world) 대 폐쇄 세계(closed-world), 이값(two-valued) 대 삼값(three-valued), 그리고 credulous 대 skeptical 추론. 우리는 대규모 언어 모델(LLM)이 기본적으로 어떤 부정 독해를 채택하는지, 다른 독해가 명시적으로 지정될 때 그 선호를 바꿀 수 있는지 연구한다. 이를 위해 SLDNF, well-founded semantics(WFS), stable-model semantics 하의 credulous·skeptical 추론 등 네 가지 의미론적 관점을 아우르는 solver 인증(solver-certified) 인스턴스의 절차적 생성기 NAFBench를 제안한다. 생성기는 깊이·너비·순환 구조가 통제된 ground normal logic program을 출력한다. 각 프로그램은 SWI-Prolog, well-founded semantics solver, clingo로 네 관점 모두에서 풀어 최대 네 개의 서로 다른 레이블을 얻는다. 이후 프로그램은 답이 불변인 여러 프레이밍과 규칙 순서 하에서 자연어로 서술된다. 결과는 일관된 격차를 드러낸다. 오픈소스 모델 전반에서 명시된 부정 의미론을 따르는 문제는 여전히 미해결이다: 가장 강한 모델은 네 의미론적 관점에서 59–74%를 기록하고, 가장 약한 모델은 31–67%이다. 모든 모델은 논리적으로 동일한 규칙 재배열의 절반 이상에서 순서에 민감하며, 두 약한 모델은 well-founded "undefined"에서 자주 과잉 확정(overcommit)한다. 두 frontier 모델은 주요 고정 복잡도 평가 세트에서 100%에 도달하고, 세 번째인 o4-mini는 거의 완벽하나 well-founded "undefined"에서만 81%로 떨어진다. 추론을 solver에 위임하거나, 인증된 trace에 대한 미세조정, 또는 명시적 삼값 판정을 강제하는 것 각각이 격차를 부분적으로 줄인다.