arXiv:2610.32955v4 cs.CL

학습하기 전에 측정하라: 개인 다국어 받은편지함 라우팅을 위한 유형화된 결정 모델, 고전적 기준선, 생성형 LLM의 비교

Measure Before You Train: Typed Decision Models vs. a Classical Baseline vs. a Generative LLM for Routing a Personal Multilingual Inbox

Federico Lucca

제출 2026-11-03

한국어 초록

개인 이메일 에이전트는 모든 메시지에 대해 그 유형과 긴급도, 그리고 답장 초안을 작성할지, 작업을 만들지, 무시할지를 결정한다. 실제 운영에서는 이러한 결정이 생성형 LLM이나 규칙에 맡겨지며, 저장된 라벨을 시스템 스스로 작성했기 때문에 오류율이 거의 측정되지 않는다. 본 논문은 자체 호스팅 개인 받은편지함 에이전트 Foyer와, 학습 이전에 정답 데이터를 만들어 내는 측정 프로토콜(층화 표집, 고정된 스냅샷, 스레드 단위 분할, 비밀 정보 삭제, 검토 루프 내 사람 라벨)을 기술한다. 이탈리아어와 영어로 된 이메일 231건에서 저장된 운영 환경 유형, TF-IDF + 로지스틱 회귀 기준선, 로컬 및 호스팅 유형화된 결정 모델(Tev1, Nimble, Jeva, Jev), 생성형 LLM의 11개 시스템을 비교한다. 네 가지 결과를 얻었다. 저장된 운영 환경 유형은 다수 클래스 57%에 비해 28%의 점수를 기록한다. 약 200개의 라벨이 있으면 로지스틱 회귀는 모든 필드에서 가장 높은 점 정확도(다섯 시드에 걸친 유형 0.77 +/- 0.02)를 1000분의 1의 지연 시간으로 달성하지만, 모든 필드에서 적어도 하나의 호스팅 모델은 이와 통계적으로 구별되지 않는다(정확 McNemar 검정, Holm 보정). 생성 모델은 텍스트로부터 발신자와 소유자의 관계를 부분적으로 복원하며(0.60), 발신자가 이전에 등장한 경우 연락처로부터의 상속은 98.6% 정확하다. 따라서 이는 프롬프트가 아니라 연락처 그래프에 속한다. 이메일별 정확도는 제품 지표가 아니다. 행동으로 합성하면 분류기는 조치가 필요했던 이메일의 18%를 무시하는 반면 최고의 생성 모델은 4%를 무시한다. 비용에 따라 선택한 임계값은 이를 10%로 줄여 호스팅 결정 모델의 값과 구별되지 않게 하며, 적대적 코퍼스에서 임계값을 적용한 분류기는 누락 이메일 가격이 4를 넘는 구간에서 가장 저렴한 시스템이다. 두 명의 블라인드 주석자는 유형에 대해 kappa 0.81과 0.86으로 기준과 일치한다. v4는 v1-v3에서 잘린 코퍼스로 계산된 임계값 결과를 정정한다.

원문 초록

Personal email agents decide, for every message, its type and urgency and whether to draft a reply, create a task or ignore it. In production these decisions are delegated to a generative LLM or to rules, and their error rate is rarely measured: the stored labels were written by the system itself. We describe Foyer, a self-hosted personal inbox agent, and a measurement protocol (stratified sampling, frozen snapshots, thread-grouped splits, secret redaction, human labels in the review loop) that produces ground truth before any training. On 231 emails in Italian and English we compare eleven systems: the stored production type, a TF-IDF + logistic-regression baseline, local and hosted typed decision models (Tev1, Nimble, Jeva, Jev) and generative LLMs. Four results. The stored production type scores 28% against a 57% majority class. With about two hundred labels a logistic regression has the highest point accuracy on every field (type 0.77 +/- 0.02 over five seeds) at a thousandth of the latency, but on every field at least one hosted model is statistically indistinguishable from it (exact McNemar, Holm-corrected). A generative model recovers part of the sender's relationship to the owner from the text (0.60); inheritance from the contact is right 98.6% of the time where the sender was seen before: it belongs in the contact graph, not in the prompt. Per-email accuracy is not the product metric: composed into actions, the classifier ignores 18% of the emails that needed action, against 4% for the best generative model; a cost-chosen threshold cuts that to 10%, indistinguishable from the hosted decision model's; on the adversarial corpus the thresholded classifier is the cheapest system above a missed-email price of 4. Two blind annotators agree with the reference at kappa 0.81 and 0.86 on type. v4 corrects threshold results computed on a truncated corpus in v1-v3.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.32955v4제출 시각 미확인
  2. arXiv:2610.32955v3제출 시각 미확인
  3. arXiv:2610.32955v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.