arXiv:2608.26119v1 cs.CL

DeflectBench: A Benchmark for Evaluating Rhetorical Fallacy Generation in LLMs

Art Kanke

제출 2026-06-18

한국어 초록

대규모 언어 모델(LLM)을 프롬프트하여 요청에 따라 수사적 허술을 생성하게 할 수 있는지, 현재의 안전성 사후 학습이 이러한 행동을 얼마나 제약하는지는, 기존 텍스트에서 허술을 탐지하는 관련 질문보다 덜 주목받아 왔다. 우리는 DeflectBench로 이 공백을 메우며, 네 가지 프런티어 모델에서 나온 23,990개의 생성 결과를 세 가지 회피 전략(whataboutism, ad hominem, red herring), 일곱 가지 프롬프트 프레이밍, 네 가지 논쟁 수준에 걸친 80개의 주장에 대해 평가한다. 거절은 주장 내용보다 요청 구조에 의해 주로 좌우된다. 80개 주장에 걸친 주장별 거절률 변동은 11퍼센트포인트에 불과한 반면, 프롬프트 프레이밍을 하나만 바꾸면 동일 모델 내 거절률이 거의 100퍼센트포인트까지 변할 수 있고, 명시적 프레이밍 안에서 요청된 허술 유형을 바꾸면 80퍼센트포인트 이상 변할 수 있다. 교육용 토론 코치 프롬프트 프레이밍은 네 모델 계열 모두에서 거절을 거의 0에 가깝게 줄이지만, 우회된 행동은 clean compliance가 아니다. 모델은 일반적으로 요청된 조작 기법을, 그 조작이 담긴 응답 본문과 같은 응답 안에서 이름 붙여 밝히는 labeled compliance를 낸다. 네 모델은 거절, labeled compliance, soft refusal, clean compliance에 걸쳐 서로 다른 분포를 보인다. 코드와 데이터셋은 https://github.com/ArtKanke/DeflectBench 에서 공개된다.

원문 초록

Whether large language models can be prompted to generate rhetorical fallacies on demand, and whether current safety post-training constrains this behavior, has received less attention than the related question of detecting fallacies in existing text. We close this gap with DeflectBench, evaluating 23,990 generations from four frontier models across three deflection strategies (whataboutism, ad hominem, red herring), seven prompt framings, and 80 claims spanning four controversy levels. Refusal is governed primarily by request structure rather than claim content. Per claim refusal varies by only 11 percentage points across the 80 claims, while a single prompt frame change can swing within model refusal by nearly 100 percentage points and switching the requested fallacy type can swing it by over 80 percentage points within explicit framings. An educational debate coach prompt framing collapses refusal to near zero across all four model families, but the bypassed behavior is not clean compliance. Models typically produce labeled compliance, naming the requested manipulation in the same response that contains it. The four models distribute differently across refusal, labeled compliance, soft refusal, and clean compliance. The code and dataset are released at https://github.com/ArtKanke/DeflectBench.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.26119v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.