PhantomFill: 양식이 답을 요구하면, 언어 모델은 답을 지어낸다
PhantomFill: When the Form Demands an Answer, Language Models Invent One
프로덕션 환경의 언어 모델은 산문을 쓰지 않는다. JSON 필드, 함수 인자, 추출 템플릿 같은 양식을 채운다. 우리는 양식 자체가 환각(hallucination)을 유발한다는 것을 보여준다. 동일한 입력에 대해 열세 개 모델에 같은 질문을 하고, 답변 형식만 바꾼다. 입력은 질문에 답할 수 없도록 구성된다: 12,400개의 좋아요는 보이지만 답글이 보이지 않는 바이럴 게시물, 통화가 전사되지 않은 지원 티켓. 자유 텍스트에서는 GPT-5.5가 정직하게 답한다. 98%의 경우 답글 데이터가 없다고 말한다. 감성(sentiment)에 대한 필수 JSON 필드가 주어지면, 같은 모델은 40번 중 40번 답을 지어낸다. 본 적 없는 군중의 분위기를 지어내고, 들은 적 없는 고객의 말을 인용한다. 이 패턴은 강력하게 유지된다. 필수 필드는 열세 모델 중 열 개에서 날조(fabrication)를 100%로 끌어올린다. 명시적인 "증거 불충분(insufficient evidence)" 옵션은 프론티어 모델만 구출한다: 아홉 개의 오픈 가중치(open-weight) 모델은 모두 이를 무시한다. "감성을 추론하지 마라"는 직접 지시는 여섯 모델 중 네 개에서 스키마(schema)에 의해 무시된다. 저항은 스케일링(scaling)과 함께 오지 않는다: 단일 모델 계열 내에서, 가장 작은 모델은 거부하고, 중간 크기 모델은 날조하며, 가장 큰 모델은 다시 거부한다. 형식 압력 하에서의 정직함은 아무도 측정하지 않는 학습(training) 결과물이다. 날조는 회피(hedging)가 불가능한 바로 그곳, 면책 문구가 들어갈 자리가 없는 필수 enum과 최소 개수 배열 같은 필드에 숨겨진다. 우리는 결정론적 채점을 갖춘 벤치마크(benchmark) PhantomFill을 공개하며, 두 가지 보고 가능한 수치인 Coerced Fabrication Rate와 Escape Utilization Rate를 제시한다. 우리가 테스트한 수정은 스키마 한 줄이다. 우리가 측정한 실패는 어디에나 있다.