PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.20492v1cs.LG

PhantomFill: 양식이 답을 요구하면, 언어 모델은 답을 지어낸다

PhantomFill: When the Form Demands an Answer, Language Models Invent One

프로덕션 환경의 언어 모델은 산문을 쓰지 않는다. JSON 필드, 함수 인자, 추출 템플릿 같은 양식을 채운다. 우리는 양식 자체가 환각(hallucination)을 유발한다는 것을 보여준다. 동일한 입력에 대해 열세 개 모델에 같은 질문을 하고, 답변 형식만 바꾼다. 입력은 질문에 답할 수 없도록 구성된다: 12,400개의 좋아요는 보이지만 답글이 보이지 않는 바이럴 게시물, 통화가 전사되지 않은 지원 티켓. 자유 텍스트에서는 GPT-5.5가 정직하게 답한다. 98%의 경우 답글 데이터가 없다고 말한다. 감성(sentiment)에 대한 필수 JSON 필드가 주어지면, 같은 모델은 40번 중 40번 답을 지어낸다. 본 적 없는 군중의 분위기를 지어내고, 들은 적 없는 고객의 말을 인용한다. 이 패턴은 강력하게 유지된다. 필수 필드는 열세 모델 중 열 개에서 날조(fabrication)를 100%로 끌어올린다. 명시적인 "증거 불충분(insufficient evidence)" 옵션은 프론티어 모델만 구출한다: 아홉 개의 오픈 가중치(open-weight) 모델은 모두 이를 무시한다. "감성을 추론하지 마라"는 직접 지시는 여섯 모델 중 네 개에서 스키마(schema)에 의해 무시된다. 저항은 스케일링(scaling)과 함께 오지 않는다: 단일 모델 계열 내에서, 가장 작은 모델은 거부하고, 중간 크기 모델은 날조하며, 가장 큰 모델은 다시 거부한다. 형식 압력 하에서의 정직함은 아무도 측정하지 않는 학습(training) 결과물이다. 날조는 회피(hedging)가 불가능한 바로 그곳, 면책 문구가 들어갈 자리가 없는 필수 enum과 최소 개수 배열 같은 필드에 숨겨진다. 우리는 결정론적 채점을 갖춘 벤치마크(benchmark) PhantomFill을 공개하며, 두 가지 보고 가능한 수치인 Coerced Fabrication Rate와 Escape Utilization Rate를 제시한다. 우리가 테스트한 수정은 스키마 한 줄이다. 우리가 측정한 실패는 어디에나 있다.

arXiv:2607.09665v1cs.AI

형식 민감도 지수: LLM 벤치마킹에서 토큰 제어 기반 프롬프트 래퍼 강건성과 스키마 준수

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

프롬프트 래퍼는 형식만 다른 경우에도 모델 점수를 충분히 변화시켜 리더보드 결론을 뒤집을 수 있다. 본 연구는 토큰 제어 프로토콜 하에서 이 분산을 분석하고, 두 가지 보완적 지표를 제안한다: 래퍼 선택에 의해 유발되는 정확도 범위인 형식 민감도 지수(FSI)와, 이에 대응하는 정답 파싱 가능성 범위인 파싱 가능성 민감도 지수(PSI)이다. 7개의 QA 태스크, 5개의 래퍼 패밀리, 7B에서 72B 파라미터에 이르는 4개의 인스트럭션 튜닝 모델에 걸쳐 생성된 140,000건의 OpenRouter 출력을 분석한 결과, 평균 FSI는 모델 간 30배 이상 차이를 보이며, 이는 대부분 준수 실패(compliance failures)로 설명된다. 고정 효과 회귀 분석을 통해, 태스크·모델·래퍼를 통제한 이후에도 파싱 가능성이 정확도의 강력한 예측 변수임을 확인한다. 본 연구는 래퍼 분산 및 준수 여부 없이 정확도만 보고하는 것은 통계적으로 취약하다고 주장하며, 벤치마킹 및 구조화된 출력 배포 모두에 대한 실용적 권고안을 제시한다.

arXiv:2605.13076v3cs.CL

TruncProof: A Guardrail for LLM-based JSON Generation under Token-Length Constraints

토큰 길이 제한 하에서 기존 문법 제약 생성(GCG) 방식은 JSON 출력이 중간에 잘리거나 문법적으로 깨질 수 있는데, TruncProof는 LL(1) 파서로 각 디코딩 단계마다 문법적으로 유효한 완성에 필요한 최소 토큰 수를 추정해 사전 정의된 토큰 한도 내에서 유효한 JSON을 생성한다. Text-to-JSON 지시 과제 실험에서 엄격한 토큰 예산에서도 구문적으로 올바른 출력을 만들었고, Beam Search·MCTS 등 고급 디코딩 전략과 결합하면 의미적 정확도도 높일 수 있음을 보였다.