자신 있게 틀리고, 조용히: 배포된 온디바이스 언어 모델의 탐지 불가능한 실패 감사
Confidently Wrong, Silently So: Auditing Undetectable Failures of a Deployed On-Device Language Model
한국어 초록
배포된 언어 모델의 정렬(alignment)은 출력을 언제 신뢰할 수 있는지 아는 것을 요구하지만, 온디바이스 모델은 이제 서버 측 검열 없이 수억 대의 기기에 탑재되며, 개발자가 실제로 배포할 수 있는 구성은 독립적으로 감사되는 경우가 드뭅니다. 우리는 감독(oversight) 질문으로 프레이밍한, 개발자가 접근 가능한 온디바이스 기반(foundation) 모델에 대한 재현 가능한 신뢰성 감사를 제시합니다. 사용자나 자원이 제한된 개발자가 모델이 틀렸을 때 이를 알 수 있는가? 캘리브레이션(calibration), 거짓 전제(false-premise) 질문에서의 자신 있게 하는 날조(confident confabulation), 양성(benign) 프롬프트에 대한 과도한 거부(over-refusal)에 대해 레드팀 테스팅(red-teaming)한 결과, \emph{작업 비대칭적 miscalibration}을 발견합니다. 작업마다 가드레일(guardrails)이 상반된 방향으로 실패합니다(거짓 전제의 69\%에서 날조하면서 완전히 양성인 입력의 18\%는 거부). 이는 포화되어 변별력이 없는 자기 보고 신뢰도(self-reported confidence) 위에 놓여 있습니다(AUROC 0.47; ECE 70, 유사한 소형 모델 중 최악). 결정적으로, 자신 있게 맞은 출력과 자신 있게 틀린 출력은 \emph{표면상 구분 불가}(surface-indistinguishable)합니다. 15개의 사용자에게 보이는 특징에 대한 분류기가 AUROC 0.55로만 구분하며(동등성 확인됨), 추론 시점에 감독을 위한 신호를 남기지 않습니다. 값싼 단일 생성(single-generation) 신호는 이러한 실패를 표시하지 못합니다($\le$0.68 AUROC). 반면 모델 접근이 필요 없는 블랙박스 일관성 래퍼(black-box consistency wrapper)는 조정 가능한 비용으로 신뢰성을 회복합니다(자신 있게 하는 날조 75\%$\to$3\%; 선택적 정확도(selective accuracy) 43\%$\to$83\%). 우리는 모델 불가지론적(model-agnostic) 감사 프로토콜, 표면 구분 불가능성(surface-indistinguishability) 테스트, 그리고 배포된 모델 감사를 위한 재사용 가능한 인프라로 공개된 코드와 고정(frozen) 평가 항목을 기여합니다.
원문 초록
Aligning deployed language models requires knowing when their outputs can be trusted, yet on-device models now ship to hundreds of millions of devices with no server-side moderation, and the configuration developers can actually deploy is rarely audited independently. We present a reproducible reliability audit of the developer-accessible on-device foundation model, framed as an oversight question: can a user or a resource-constrained developer tell when the model is wrong? Red-teaming it on calibration, confident confabulation on false-premise questions, and over-refusal of benign prompts, we find a \emph{task-asymmetric miscalibration}: its guardrails fail in opposite directions across tasks (confabulating on 69\% of false premises while refusing 18\% of entirely benign inputs), atop a self-reported confidence that is saturated and non-discriminative (AUROC 0.47; ECE 70, worst among comparable small models). Crucially, confident-correct and confident-wrong outputs are \emph{surface-indistinguishable}: a classifier over 15 user-visible features separates them at AUROC only 0.55 (equivalence-confirmed), leaving no signal for oversight at inference time. No cheap single-generation signal flags these failures ($\le$0.68 AUROC), whereas a black-box consistency wrapper requiring no model access recovers reliability (confident confabulation 75\%$\to$3\%; selective accuracy 43\%$\to$83\%) at a tunable cost. We contribute a model-agnostic audit protocol, a surface-indistinguishability test, and released code and frozen evaluation items as reusable infrastructure for auditing deployed models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.23663v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.