arXiv:2607.26200v1 cs.CL

모더레이션 위치와 방식의 선택: 필터 배치 및 응답 재작성의 엔드투엔드 트레이드오프

Choosing Where and How to Moderate: End-to-End Trade-offs in Filter Placement and Response Rewriting

Mengya Hu, Susie Park, Suzana Ilic, Qiong Wei, Sandeep Atluri, Myra Deng, Tucker Fross, Curt Tigges

제출 2026-07-28

한국어 초록

콘텐츠 모더레이션 분류기는 대개 개별적으로 평가되지만, 실제 배포 시에는 어느 시점에 개입할지와 플래그 지정 이후 어떤 조치를 취할지 선택해야 합니다. 본 연구에서는 컴포넌트 정확도 대신 두 가지 엔드투엔드(end-to-end) 고객 결과 지표를 사용하여 이러한 선택을 평가합니다. 즉 유해하지 않고 관련성이 있는 응답이 표시된 턴의 비율인 유용성(Usefulness)과, 유해한 응답이 표시된 비율인 유해 노출(Harmful Exposure)입니다. 지연 시간(latency)과 오류율은 진단 지표로 활용됩니다. 인간이 라벨링한 프로덕트 벤치마크와 공개 ToxicChat 평가에서 입력만(Input only), 응답만(Response only), 입력+응답(Input + response) 하드 블로킹 방식을 비교합니다. 평가된 작동 지점에서 응답만 차단하는 방식은 두 환경 모두에서 필터 전용 기준 가장 높은 유용성을 달성한 반면, 입력+응답 방식은 더 낮은 유해 노출을 달성합니다. 응답만 차단하는 방식을 응답+재작성(Response + rewrite)으로 대체하면 차단된 트래픽의 대부분을 복구할 수 있으며, 선택된 구성에서 응답만 차단하는 방식과 동일한 관측 유해 노출 건수를 기록합니다. 단, 이러한 수치적 동일성이 동등성 결과를 의미하는 것은 아닙니다. 프로브 라우팅(probe routing)은 대규모 언어 모델(LLM) 라우팅 대비 유사한 측정 결과에서 조건부 경로 지정 및 생성 시간을 크게 단축합니다. 집중적인 출력 검토 결과, 재작성은 무해한 의도와 안전한 방향 전환을 유지하면서 유발 요인이 되는 표현을 일반화함으로써 필터 통과와 유용성의 균형을 맞추는 방식을 보여줍니다. 그러나 민감한 도메인의 일부 출력에서는 안전과 관련된 잠재적 지원 정보가 누락되기도 합니다. 이러한 결과는 보편적인 배치 규칙을 적용하기보다 배포 환경별 안전성 및 지연 시간 제약 조건 하에서 모더레이션 구성을 비교해야 함을 뒷받침합니다. 코드 및 공개 아티팩트는 https://github.com/microsoft/mod-frontier 에서 확인할 수 있습니다.

원문 초록

Content-moderation classifiers are usually evaluated in isolation, but deployment requires choosing where to intervene and what follows a flag. We evaluate these choices using two end-to-end customer-outcome metrics rather than component accuracy: Usefulness, the fraction of turns with a shown, non-harmful, relevant response, and Harmful Exposure, the fraction with a shown harmful response. Latency and error rates are diagnostics. We compare Input only, Response only, and Input + response hard blocking on a human-labelled product benchmark and public ToxicChat evaluation. At the evaluated operating points, Response only achieves the highest filter-only Usefulness in both settings, while Input + response achieves lower Harmful Exposure. Replacing Response only blocking with Response + rewrite recovers most blocked traffic and yields the same observed Harmful Exposure count as Response only blocking for the selected configuration; this equality is not an equivalence result. Probe routing substantially reduces conditional route-and-generation time relative to LLM routing at comparable measured outcomes. A focused output review shows how rewrites balance filter passage with usefulness by generalizing triggering language while retaining benign intent and safe redirection; some sensitive-domain outputs nevertheless omit potentially safety-relevant support information. These results support comparing moderation configurations under deployment-specific safety and latency constraints rather than applying a universal placement rule. Code and public artifacts are available at https://github.com/microsoft/mod-frontier

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.26200v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.