답변 엔지니어링: 대규모 언어 모델에서 프로토콜 제약 의사결정을 위한 국소 궤적 편집
Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models
대규모 언어 모델(LLM)은 절차적 준수가 중요한 영역에서 자신 있지만 프로토콜에 부합하지 않는 답변을 생성할 수 있다. 본 논문은 Answer Engineering을 제시한다. 이는 재학습, 모델 가중치 수정, 또는 전역 탐색 없이 표준 자기회귀(autoregressive) 생성 과정에서 관찰 가능한 추론 궤적에 국소적 규칙 기반 개입을 적용하는 결정론적 런타임 및 저작 층이다. 이 방법은 돌발성 감각신경성 난청(SSNHL)에 대한 통제된 임상 벤치마크에서 평가되며, 여기서 올바른 처치는 증상 발생 시점, Weber/Rinne tuning fork 소견, 이경(otoscopic) 소견의 프로토콜 일관적 해석에 달려 있다. 벤치마크에서 단계별 추론은 오류를 제거하기보다 오히려 전환시켰다. SSNHL에 대한 준수 결과는 비유도 생성에서 54.5%에서 25.1%로 감소했고, 전음성(conductive) 대조 조건에서의 수용률은 1.6%에서 58.9%로 증가했다. 국소 궤적 편집은 SSNHL 준수율을 83.5%로, 전음성 사례 준수율을 77.9%로 높여, 추론 전용 생성에서 42.0%였던 균형 정확도(balanced accuracy)를 80.7%로 끌어올렸다. 이 결과는 추론 궤적에 대한 감사 가능한 런타임 제어를 통해 프로토콜 준수를 개선할 수 있다는 시스템 수준의 관점을 뒷받침하면서, 규칙 커버리지, 트리거 신뢰성, 지속적인 진단 우선 생성 역학으로 인한 한계도 함께 밝힌다.