arXiv:2611.18284v1 cs.LG

깔끔한 주문서, 잘못된 주문: 브라우저 탭 속 언어 모델로 조용한 오류 잡기

Clean Tickets, Wrong Orders: Catching Silent Errors with a Language Model in Your Browser Tab

Umar Ahmed, Maxim Dunaev, Mohammad Nour Al Awad, Sergey Ivanov, Ivan Khodnenko

제출 2026-11-13

저자 비고

arXiv Comments

4 pages, 4 figures, 2 tables. Demo: https://wrong.cuyor.com. Companion paper: arXiv:2611.17169

한국어 초록

입력된 주문을 구조화된 형태로 바꾸는 소형 언어 모델은 두 가지 방식으로 실패할 수 있다. 하나는 깨진 결과를 출력하는 것으로, 어떤 시스템이든 이를 거부한다. 다른 하나는 아무도 하지 않은 주문을 깔끔하고 형식이 올바르게 출력하는 것이다. 우리의 후속 연구에서는 후자를 조용한 오류(silent error)라 부르며, 이것이 위험한 유형이다. 본 논문은 미세 조정된 0.8B 파라미터 모델이 WebAssembly로 컴파일된 llama.cpp를 통해 방문자의 브라우저 탭 안에서 전적으로 실행되는 웹 데모를 제시한다. 주문 텍스트는 기기 밖으로 나가지 않는다. 이 페이지는 방문자가 입력하는 동안 주문을 파싱하고, TypeScript로 포팅한 PIZZA 벤치마크의 자체 매처로 모든 주문서를 채점하며, 모델이 열린 웹을 마주할 수 있도록 메뉴에 없는 항목은 "?"로 거부하고, 방문자가 조용한 오류를 찾거나 직접 유발해 볼 수 있게 한다. 1,357개 PIZZA 테스트 주문 전체를 브라우저에서 실행했을 때, 배포된 모델은 99.0%의 주문에서 서버 평가와 동일한 출력을 내고 동일한 정확 일치율(0.882)에 도달하며, 노트북 3대에서의 지연 시간도 함께 보고한다. 데모: https://wrong.cuyor.com

원문 초록

A small language model that turns a typed order into structure can fail in two ways. It can print something broken, which any system rejects. Or it can print a clean, well formed order that nobody placed. Our companion work calls the second kind a silent error, and it is the dangerous one. We present a web demo in which a fine-tuned 0.8B parameter model runs entirely inside the visitor's browser tab, through llama.cpp compiled to WebAssembly. No order text leaves the device. The page parses orders as the visitor types, scores every ticket with the PIZZA benchmark's own matcher ported to TypeScript, refuses anything off the menu with "?" so the model can face the open web, and lets visitors hunt for silent errors or try to cause one. Run in the browser on all 1,357 PIZZA test orders, the deployed model writes the same output as the server evaluation for 99.0% of them and reaches the same exact match (0.882); we also report its latency on 3 consumer laptops. Demo: https://wrong.cuyor.com

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.18284v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.