Automated toxicity moderation systems operate in dynamic online environments where harmful behavior evolves through coded language, shifting targets, and strategic adaptation to enforcement. Existing drift detection methods often focus on global distributional change, but such signals may miss safety-relevant shifts that emerge in localized harm subspaces or high-risk model-error regions. This paper introduces DriftGuard, a safety-aware adaptive moderation framework that combines multi-monitor drift detection with selective model updating. The framework tracks global text drift, identity-harm drift, model uncertainty, toxic-risk drift, and false-negative-risk drift. When safety-relevant change is detected, the model is updated using a hard-mix adaptation set that prioritizes likely false negatives, identity-related high-risk examples, false-positive-risk examples, and uncertain boundary cases. Experiments on Civil Comments temporal shift and Jigsaw-to-DynaHate cross-dataset shift show that safety-aware monitors detect risks missed by global drift alone. Hard-mix adaptation improves toxic recall and accuracy over no-update and random-balanced baselines. It raises toxic recall from 0.8453 to 0.8777 on Civil Comments and from 0.7107 to 0.8523 on DynaHate. Bootstrap analysis further shows stable DynaHate safety gains, with toxic recall increasing by 0.1418 and false-negative prevalence decreasing by 0.0781. Overall, DriftGuard links safety-aware drift detection with targeted, lightweight model updating for more robust adaptive toxicity moderation.
프로덕션 대규모 언어 모델(LLM) 시스템은 재사용 가능한 운영 경험을 축적하지만, 실제 배치 문제는 단순히 그러한 경험이 도움이 되는지 여부가 아닙니다. 문제는 현실적인 제약 조건 하에서 서로 다른 서빙 전략들이 품질과 온라인 비용을 어떻게 상충(trade-off)시키는가입니다. 외부 경험을 주입하면 작업 품질을 향상시킬 수 있지만, 프롬프트 부담, 지연 시간(latency), 및 서빙 압력 또한 증가시킵니다. 우리는 외부 경험 서빙을 배치 지향 품질-비용 트레이드오프 문제로 연구합니다. 우리는 실제 프로덕션 모더레이션(moderation) 설정에서 이 문제를 평가하며, 서로 다른 출력-비용 체제(regimes)를 드러내는 보조 대비 작업으로 툴 사용(tool-use)과 GPQA를 사용합니다. 우리는 경험 없는 베이스라인, 무작위 경험 통제군, 전역 프롬프트 주입, 검색 기반 선택적 주입을 비교하고 작업 품질과 서빙 비용을 모두 분석합니다. 결과에 따르면, 경험이 사례 의존적이게 되면 선택적 검색이 무조건적인 전역 주입보다 더 강력한 운영 지점을 제공합니다. 또한 검색 품질이 단순히 Top-$K$를 늘리는 것보다 더 중요하며, 동일한 서빙 정책이 짧은 출력(short-output) 및 디코딩 집중(decode-heavy) 체제에서 상당히 다른 비용-편익 프로필을 나타낼 수 있음을 보여줍니다. 이러한 발견은 외부 경험을 보편적인 추가 기능이 아닌, 선택적이고 비용 인식적인 서빙 결정으로 취급하는 것이 가장 좋음을 시사합니다. 전반적으로, 여기서 연구된 설정에서 외부 경험은 서빙 인터페이스와 작업별 비용 구조가 품질 향상이 온라인 비용을 감당할 만한 가치가 있게 만들 때만 효과가 있습니다.
To avoid moderation and surveillance on social media, some users routinely invent indirect linguistic expressions (ILE) that camouflage sensitive meanings. Such disguised expressions surface as algospeak, euphemisms, and adversarial obfuscation, depending on intent and context, and often involve recurring encoding mechanisms. We propose a comprehensive, mechanism-oriented taxonomy of ILE that abstracts away from communicative goals and instead categorizes the underlying operations through which meaning is encoded and recovered. We evaluate the taxonomy by incorporating it into large language model (LLM) prompts and comparing it with four existing taxonomies and a no-taxonomy baseline, using 2,000 manually annotated TikTok and Bluesky posts. The proposed taxonomy attains the strongest document- and span-level performance across three LLMs. Compared with the best-performing benchmark, its document-level gains are +3.8 accuracy/+4.3 macro-F1 percentage points for GPT-5.4, +0.9/+1.3 for Sonnet 4.6, and +2.1/+2.2 for DeepSeek V4. While the direction of improvement is consistent, the magnitude is model-dependent. The span-level gains are mainly driven by higher recall, sometimes at the cost of precision. In an additional cross-lingual evaluation of 800 Chinese codedlanguage reviews, the unadapted taxonomy also achieves the highest document- and span-level F1 across the three LLMs. The empirical results reveal the importance of a comprehensive, mechanism-oriented taxonomy as a stable scaffold for detecting emerging coded language and a useful input to content moderation. Disclaimer: This paper contains content that may be profane, vulgar, or offensive.
멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.
최근 오디오-비디오 생성 모델은 텍스트, 이미지, 오디오, 비디오의 결합 조건화(joint conditioning)를 점진적으로 지원하고 있습니다. 이러한 기능은 교차 모달(cross-modal) 상호작용을 악용하거나 유해한 의도를 은폐하여 안전장치를 우회하고 유해한 오디오-비디오 출력을 유도하는 공격을 가능하게 하기도 합니다. 그러나 기존의 생성 안전성(generation-safety) 벤치마크는 이러한 발전을 따라가지 못하여, 멀티모달 입력 조합 및 은폐된 공격 의도에 대한 제한적인 커버리지만을 제공합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 11개의 비단일(non-singleton) T/I/A/V 조건화 구성 전반, 4가지 공격 의도 범주, 5가지 위해(harm) 범주에 걸친 11,024개의 공격 인스턴스로 구성된 멀티모달-오디오-비디오 생성을 위한 최초의 전면적 레드팀 벤치마크 Multi2AV-Safety를 소개합니다. 4개의 멀티모달 조건부 오디오-비디오 생성 모델과 8개의 안전 가드를 포함한 최신 SOTA 모델을 평가한 결과, 생성 및 안전 보호 전반에서 상당한 취약점이 드러났으며, 멀티모달 구성적 위험과 은폐된 공격 의도 위험이 상호 보완적인 두 가지 과제로 대두되었습니다. 이러한 결과를 바탕으로, 본 논문에서는 구조화된 위험 인식 학습을 통해 구성적 위험 및 공격 의도에 대한 감독을 통합하는 옴니모달(omni-modal) 가드 PerceptGuard를 제안합니다. 근거 생성과 안전성 분류(classification)를 공동으로 학습(training)함으로써, 안전 헤드가 필요 시 설명을 생성하는 능력을 유지하면서도 근거 디코딩 없이 추론(inference) 시 효율적인 예측을 수행할 수 있도록 공유된 위험 표현을 학습합니다. 34개의 안전 벤치마크 전반에서 PerceptGuard는 SOTA 멀티모달 안전 탐지와 매우 경쟁력 있는 단일모달(unimodal) 성능을 결합하여, 옴니 모델에 대한 멀티모달 공격에 맞서는 입력단 안전장치를 강화합니다. 특히 앞서 언급한 위험에 대한 안전 보호를 향상하여 Multi2AV-Safety에서 86.06%의 종합 재현율(recall)을 달성하고 GuardReasoner-Omni를 14.56% 상회합니다.
대규모 언어 모델(LLM)과 함께 배포되는 안전성(safety) 분류기는 흔히 두 가지 이유로 실패합니다. 분류기의 결정이 배포자가 원하는 정책이 아닌 학습(training) 중에 학습된 정책을 반영한다는 점과, 배포 환경의 트래픽이 변화함에 따라 성능이 저하된다는 점입니다. 본 연구에서는 기존 안전성 분류기를 재학습하지 않고도 적응시키는 경량 래퍼인 체제 조건부 검증(Regime-Conditional Verification, RCV)을 제안합니다. RCV는 분류기의 내부 표현으로부터 각 예측이 배포자의 정책과 일치하지 않을 확률을 추정하고, 틀릴 가능성이 높은 예측을 선별적으로 수정합니다. 또한 동일한 정확도 추정치는 분포 변화(distribution shift)를 감지하기 위한 라벨 없는 신호를 제공하여, 정확도 추정 층(layer)을 업데이트하고 라벨 예산 내에서 수정이 실패할 때에만 분류기 미세조정(fine-tuning)을 수행하는 유지관리 루프를 가능하게 합니다. 세 가지 기존 안전성 분류기와 두 가지 벤치마크 데이터셋(dataset)에 걸친 실험에서, RCV는 기반 분류기를 수정하지 않고도 모든 분류기-데이터셋 조합에서 배포자 정책에 대한 준수율을 향상시켰으며, 이전에 놓쳤던 유해 콘텐츠를 최대 0.81까지 포착했습니다. RCV 학습에서 제외된 위해 범주로 구성된 10개의 공격 캠페인을 활용한 배포 연구에서, RCV는 전용 주입 패널의 모든 캠페인을 감지했습니다. 또한 유지관리 조사에서 대부분의 드리프트 사례는 분류기를 업데이트하지 않고도 해결되었으며, 미세조정은 잔여 사례에 대해서만 선별적으로 적용되었습니다.
타입 기반 결정 모델(typed decision model)은 호출자가 정의한 여러 옵션 각각에 대한 확률을 반환함으로써 입력에 대한 고정된 질문에 답한다. 각 옵션은 짧은 레이블과 작성된 정의를 가지며, 개발자는 이 정의를 통해 모델이 적용해야 할 규칙을 명시한다. Jev는 라우팅, 모더레이션, 트리아지(triage)를 위해 이러한 인터페이스를 도입했고 오픈소스 구현들이 뒤따랐으며, 레이블 문자열의 점수를 매겨 언어 모델을 분류기로 사용할 때마다 동일한 연산이 발생한다. 본 연구에서는 가중치를 검사하고 수정할 수 있는 오픈소스 구현들을 연구하며, 그 확률이 정의를 따르는지 아니면 레이블을 따르는지 질문을 던진다. 레이블에 대한 선호를 옵션-레이블 바이어스(option-label bias)라고 부른다. 4개의 공개 가중치 타입 기반 결정 모델, Qwen2.5 백본에서 답을 읽어내는 3가지 방식, 11개의 분류 작업, 그리고 규칙이 정의에만 나타나는 자체 제작 합성 라우팅 벤치마크 제품군인 PolicyBench 전반에 걸쳐 답은 대부분 레이블을 따른다. 모든 정의를 삭제해도 정확도는 거의 변하지 않으며(laya-td: 0.8487 대비 0.8559, 비록 이 정의들만으로도 0.7971을 달성할 수 있음에도 불구하고), 옵션 이름을 A와 B로 변경하면 정확도가 +0.1511 [+0.1377, +0.1646] 상승한다. 한 시스템인 von은 영향을 받지 않는데, 두 코드베이스는 단 하나의 표현식에서 차이를 보인다. laya는 각 옵션을 "{label}: {definition}"으로 작성하는 반면, von은 정의만 작성한다. 가중치 변경 없이 해당 표현식을 양방향으로 변경하면 3개의 laya 체크포인트 모두 정확히 불변(+0.0000 [+0.0000, +0.0000])하게 되며, 레이블이 정의와 모순될 때 von에서는 정확도가 0.8511에서 0.2281로 떨어지는 효과가 발생한다. 선행 연구에서는 이러한 실패의 원인을 이 모델들이 텍스트 디코더 대신 사용하는 제약된 결정 헤드 탓으로 돌렸으나, 우리의 결과는 원인이 프롬프트 렌더링에 있음을 밝혀낸다. 우리는 실무자가 자신의 모델에 어떤 경우가 해당하는지 알 수 있게 해주는 2회 호출 테스트를 제시하고, 4가지 완화책의 효과를 측정한다.
금융 서비스 및 에이전트 환경에서 대규모 언어 모델(LLM)을 배포하려면 프롬프트 인젝션, 규제 준수, 일반 유해를 동시에 처리하는 안전 분류기가 필요하지만, 기존 공개 가드레일 중 단일 추론 패스로 이 조합을 처리하는 것은 없다. Semalith v1.4는 단일 순전파로 프롬프트 인젝션, 일반 유해, 금융 서비스 규제 준수를 포함한 3축 안전 분류를 동시에 수행하는 184M 매개변수 DeBERTa-v3-base 분류기이다. 22클래스 헤드(BENIGN, 프롬프트 인젝션 하위 유형 9개, general-harm, BFSI 레이블 11개)는 공동 가중 손실 하에 4클래스 보조 상위 카테고리 헤드와 함께, 49개 공개 출처에서 채굴된 76,204행 코퍼스로 학습되었으며, 모든 홀드아웃 평가 세트에 대해 SHA-1 중복 제거를 적용했고, 22개 벤치마크 중 21개는 오염이 0(최대 0.22%)이다. 22개 홀드아웃 벤치마크에서 Llama-Guard-3-8B와 비교할 때, Semalith v1.4는 매개변수 44배 적음에도 프롬프트 인젝션 평가(7/7)에서 모두 승리하고 전체 18개 벤치마크 중 11개에서 우수하며, 208개의 무해한 에이전트 프롬프트에서 FPR = 0.000(Llama-Guard-3-8B는 0.063)을 기록했다. 일반 유해 벤치마크(WildGuardMix, HEx-PHI, HarmBench)에서는 Llama-Guard-3가 앞서며, 이러한 상보적 분할은 Section 4에 기술되어 있다. 6가지 측정된 약점은 Section 6에 공개되어 있다. 배포 가이드: 대화형 조정 배포에는 v1.3을 권장한다(ToxicChat F1 0.624); BFSI 레이블 커버리지 또는 무해한 에이전트 프롬프트에서의 zero-FPR이 우선일 때는 v1.4를 권장한다.
인공지능 생성 콘텐츠(AIGC)의 급격한 성장은 영상 제작과 유통 방식을 재편하고 있으며, 아동이 점점 더 많은 AIGC 영상에 노출되고 있다. 전통적으로 제작된 영상과 달리, AIGC 영상은 시각적 세부 사항, 서사적 일관성, 콘텐츠 표현에서 더 큰 불확실성을 보이는 경우가 많으며, 이는 아동에게 발달 단계에 부적절한 위험을 초래할 수 있다. 그러나 기존 영상 안전성 연구는 대체로 성인 관점에서 일반적인 위반 탐지를 위해 설계되어 있으며, 아동이 AIGC 영상을 시청할 때 마주칠 수 있는 세밀하고 암묵적이며 맥락 의존적인 위험을 식별하기에는 여전히 불충분하다. 이러한 공백을 해소하기 위해, 우리는 아동 중심 AIGC 영상 위험 검토를 연구하며 세 가지 기여를 한다. 첫째, 다수의 플랫폼에서 수집한 605개의 실제 영상으로 구성된 벤치마크 CAVSR을 구축하고, 아동 시청 위험의 체계적 평가를 지원하기 위해 6개의 최상위 범주와 26개의 세분화된 레이블로 이루어진 계층적 위험 분류 체계를 개발한다. 둘째, QVRS-E를 제안한다. 이는 지식 및 경험을 증강한 영상 검토 프레임워크로, 다중 에이전트 협업과 전문가 및 경험적 지식을 결합하여 표적화된 증거 수집과 사실 기반 검토 결정을 지원한다. 셋째, 광범위한 실험을 통해 우리 방법이 비전-언어(vision-language) 모델과 통합된 아동 관련 위험 검토를 크게 향상시키며, 더 견고한 검토 보고서를 생성함을 보여준다.
인터넷 밈의 확산은 자동화된 콘텐츠 모더레이션, 특히 여성혐오 탐지에 새로운 복잡성을 도입했다. 밈은 종종 시각·텍스트 모달리티 간의 의미적 충돌에 의존하며, 여기서 혐오적 의도는 암묵적이고 문화적으로 기반을 둔다. 본 논문은 ICMI 2026 CC-MMD Grand Challenge를 위해 개발된 GeoMVC(Geometric Interaction and Multi-View Consensus)를 제시한다. 정적 특징 결합의 한계를 해결하기 위해, 동결된 시각·텍스트 임베딩 간 Hadamard 곱과 코사인 유사도를 통해 교차 모달리티 정렬을 모델링하는 기하학적 상호작용 층(Geometric Interaction Layer)을 제안한다. 또한 노이즈가 있는 OCR과 코드 혼합 음역으로 인한 분포 이동을 다중 관점 합의(Multi-View Consensus) 전략으로 완화하며, 원문, 길이 필터링, 영어 번역 텍스트 관점에 걸친 예측을 집계한다. 이 시스템은 Task A에서 Malayalam 파티션 2위(Macro F1: 0.892), Chinese 파티션 3위(Macro F1: 0.895)를 달성했으며, Tamil 파티션에서는 5위(Macro F1: 0.521)를 기록했다. 개발 파티션에 대한 상세 오류 분석은 Dravidian 및 중국 문화 맥락에서 지역화된 음역과 코드 혼합 풍자를 모델링하는 데 남아 있는 과제를 부각한다.
독립적으로 중재되는 소셜 서버들의 탈중앙화 연합인 마스토돈(Mastodon)은 독성 콘텐츠의 탐지와 완화에 고유한 과제를 제기한다. 통일된 중재 기준이 없다. 생태계는 매우 다양하고 불균등하다. 본 논문은 머신러닝(machine learning) 방법을 활용해 사용자 게시물을 분석함으로써 마스토돈에서 독성(toxicity)의 발생과 확산을 탐구한다. 결과는 독성 추세와 커뮤니티 건강 및 탈중앙화 거버넌스에 대한 함의를 명확히 제시한다.
본 논문은 게임 채팅 독성 분류를 위한 EEUCA 2026 공유 과제(Shared Task)에 대한 우리 시스템을 설명한다. 우리는 DeBERTa-v3-base(184M)와 XLM-RoBERTa-base(278M) 두 개의 소형 트랜스포머 앙상블과, 코퍼스 기반 어휘 정규화, 클래스 조건부 unigram 점수화, 다국어 욕설 감지, 화행 이론(speech act theory)에 기반한 행위자(agentive) 타겟팅 분석을 통해 모델 간 불일치를 해소하는 언어학적으로 정보화된 중재자(Linguistically-Informed Mediator, LIM)를 결합한 3단계 파이프라인을 구현한다. LIM은 실제 게임 모더레이션에서 가장 안전성(safety)에 중요한 소수 클래스인 Hate & Harassment, Threats, Extremism을 특별히 겨냥한다. 극심한 클래스 불균형(Non-toxic 대 Extremism 비율 1,450:1)을 해결하기 위해, 제공된 학습 데이터만을 사용하는 2단계 데이터 증강 전략을 도입한다. 우리 시스템은 공식 테스트 세트에서 Macro F1 0.6441, 정확도(accuracy) 0.9062를 달성하여, 모든 팀 중 Macro F1 3위, 정확도 1위를 기록했다. 제안된 파이프라인은 도메인 이식성이 높다: 다른 게임 플랫폼에 적응하려면 게임별 엔티티 어휘집만 교체하면 된다. 코드는 https://github.com/Anmol2059/thaulab_EEUCA 에서 공개적으로 제공된다.
비전-언어 AI 어시스턴트는 생성된 토큰의 스트림 형태로 답변을 반환한다. 따라서 그 답변을 감시하는 안전 가드는 스트림 속도를 따라잡아 사용자가 읽기 전에 유해한 응답을 중단해야 한다. 최근 비전-언어 가드레일은 판정을 내리기 전에 사고의 연쇄(Chain-of-Thought)를 생성한다. 이들은 단계별 추론이 더 안전한 가드를 만든다고 본다. 이 설계는 유해성 탐지를 위해 모델이 많은 토큰을 디코딩해야 하므로 가드를 무겁고 느리게 만든다. 우리는 비전-언어 가드가 응답을 선별하기 위해 정말 추론이 필요한지라는 질문을 제기한다. 우리는 사고의 연쇄가 없는 가드로 이에 답한다. ResponseGuard는 요청, 응답, 이미지의 단일 풀링(pooled) 표현에서 한 번의 순전파로 유해 판정을 읽어낸다. 표준 멀티모달 가드레일 벤치마크에서, 우리의 2B ResponseGuard는 추론 없이 약 150배 낮은 시간 비용으로 최근 3B 추론 기반 비전-언어 가드보다 응답 유해성 탐지에서 더 우수한 성능을 보인다. 요청 유해성에서는 추론 기반 가드가 전반적인 우위를 유지하며, 두 트랙 모두에서 남은 격차는 이미지 전용(image-only) 셀에 집중되어 있다. 우리는 그 격차가 사고의 연쇄 부재가 아니라 두 설계가 공통으로 사용하는 고정(frozen) 비전 인코더에서 비롯될 수 있음을 관찰한다. 또한 추론 기반 가드는 판정 어텐션을 이미지에 거의 전혀 할당하지 않음을 발견했다. 단일 패스(single-pass) 탐지를 바탕으로 ResponseGuard는 스트리밍되는 답변을 문장 단위로 선별하고 완성되기 전에 유해한 답변을 중단할 수 있다. 비전-언어 모델의 응답을 가드하는 데 있어, 보정(calibrated)된 단일 패스 레이블이 충분한 안전성 신호를 제공할 수 있다. 우리는 모든 소스 코드, 학습된 모델, 데이터셋을 https://github.com/ndb796/ResponseGuard 에서 전면 공개한다.
Memes, as a widely used mode of online communication, often serve as vehicles for spreading harmful content. However, limitations in data accessibility and the high costs of dataset curation hinder the development of robust meme moderation systems. To address this challenge, in this work, we introduce a first-of-its-kind dataset - TOXICTAGS consisting of 6,300 real-world meme-based posts annotated in two stages: (i) binary classification into toxic and normal, and (ii) fine-grained labelling of toxic memes as hateful, dangerous, or offensive. A key feature of this dataset is that it includes collaborative tags associated with the original posts, enhancing the context of each meme. In addition, we propose a novel entropy-guided multi-tasking framework -- STEMTOX -- that leverages these collaborative tags alongside visual and textual inputs within a robust classification framework. Experimental results show that incorporating these tags substantially enhances the performance of state-of-the-art VLMs in toxicity detection tasks. Our contributions offer a novel and scalable foundation for improved content moderation in multimodal online environments. Warning: Contains potentially toxic contents.
멀티모달 대규모 언어 모델(MLLM)은 점점 더 미묘한 콘텐츠 안전성 및 모더레이션 작업에 배포되고 있지만, 적대적 공격(adversarial attack)과 분포 밖(out-of-distribution) 엣지 케이스(edge case)에 여전히 취약하다. 전통적인 능동 학습(active learning)과 수동 어노테이션(manual annotation)은 새로운 멀티모달 위협의 복잡성과 규모에 맞게 확장되기 어렵다. 본 논문에서는 새로운 가설을 제안하는 동시에 과거 시도를 변이(mutate)하는 반복적 전략을 통해 어려운 예시를 체계적으로 합성하는 자동화된 에이전트 기반 레드팀 테스팅(red-teaming) 프레임워크를 제안한다. 고수준 추론 Architect 에이전트, 고급 이미지 생성기, LLM 평가자로 구성된 다중 수준 검증 위원회를 포함하는 멀티에이전트 아키텍처를 활용하여, 우리 시스템은 인간 개입 없이 경계를 넘는 위반 사례와 모호한 정책 엣지 케이스를 자율적으로 발견한다. 신중하게 합성된 적대적 예시를 테스트 시점 검색(test-time Retrieval)을 통해 문맥 내(in-context) 시연 자료로 활용함으로써, 공개 이미지 안전성 벤치마크에서 인간 라벨링에 의존하지 않고 대상 모델의 견고성(robustness)을 크게 향상시켰으며, 거짓 음성률(FNR)을 41.2%에서 24.5%로 낮췄다.
현재 연구는 주로 모델 성능에 초점을 맞추고 있으며, 대규모 언어 모델(LLM)이 주석 데이터 생성에 점점 더 많이 사용되는 맥락에서 특히 불확실성 추정(uncertainty estimation)에는 비교적 적은 관심이 기울여져 왔다. 우리는 컨포멀 예측(conformal prediction)을 협업 필터링(Collaborative Filtering) 방식의 주석자 표현과 결합하여, 인간 주석자와 관련한 LLM 행동을 모델링하고 일치 및 불일치 패턴을 분석하는 프레임워크를 제안한다. 비일치 점수(Non-Conformity Scores)를 사용하여, 모델 예측이 사용 가능한 모든 인간 주석과 달라지는 경우를 정량화하는 Ghost Prediction 지표와 Ghost Annotator 표현을 도입한다. 사회인구통계학적 축에 걸친 모델 행동 차이를 탐색하기 위해 코사인 유사도 측도를 계산한다. 네 개의 콘텐츠 모oderation 데이터셋에서 서로 다른 크기와 계열의 LLM 네 개를 평가했다. 결과는 모든 모델에서 주석자 간 불일치가 커질수록 불확실성이 증가하지만, 더 큰 모델은 어떤 인간 주석과도 일치하지 않는 텍스트의 분류에서 더 높은 확신을 보이는 경향이 있다는 것을 보여준다. 마지막으로, Ghost Annotator 프레임워크는 일관되고 견고한 인구통계학적 불일치 패턴을 드러내며, 이는 사전학습(pre-training) 코퍼스에 뿌리를 둔 구조적 바이어스일 가능성을 시사한다.
LLM은 이제 사기 탐지, 스캠 조사, 콘텐츠 조정, 기타 신뢰·안전 워크플로에 제안되고 있다. 공개 문헌의 대부분은 여전히 LLM을 모델로 평가하며, 운영 파이프라인의 구성 요소로서의 행동에는 덜 주목한다. 이는 실무적인 증거 문제를 야기한다. 지연, 비용, 에스컬레이션, 인간 검토, 적대적 위험 제약을 갖는 실제 워크플로에 LLM을 배치하는 것을 무엇이 정당화할 수 있는가? 우리는 배포 증거에 대한 사기 우선 설문조사를 통해 이 질문에 답한다. 사기 탐지, 조사 지원, 콘텐츠 조정, 교차적 견고성(robustness)에서 LLM 사용과 관련된 운영상 관련 소스 49건(사기 18, 조정 14, 교차 17)을 코딩하고, 설문조사 범위를 설정하는 맥락 참고문헌 15건을 보완한다. 이 소스들에는 시스템, 벤치마크, 프레임워크, 배포 관련 설문조사가 포함되며, 49건의 프로덕션 배포는 아니다. 주요 발견은 증거 불균형이다. 사기 탐지가 코딩된 코퍼스에서 가장 큰 과제별 비중을 차지한다. 그러나 조정 논문들은 지연, 비용, 거버넌스, 공정성(fairness)에 대한 더 명시적인 공개 증거를 포함한다. 18건의 사기 및 조사 소스 중 어느 것도 깔끔한 의사결정당 지연, 의사결정당 달러 비용, 또는 보정(calibration) 증거를 보고하지 않으며, 대부분 오프라인 과제 성능, 검색(retrieval) 이득, 또는 사례 연구 정확도를 보고한다. 이 설문조사는 LLM을 분류기, 검색 인터페이스, 설명 생성기, 검토자 보조 도구, 에이전트(agent), 특징 추출기, 또는 에스컬레이션 구성 요소로 배치하기 위한 역할·증거 조직 프레임워크 FORTE를 제공한다. 또한 지연 예산, 의사결정당 비용, 의사결정 임계값, 설명 무결성, 적대적 압력을 다루는 최소 배포 증거 체크리스트를 제공한다. 그 결과로 도출된 연구 의제는 LLM 기반 사기 탐지 및 신뢰·안전 업무에 대한 배포 주장을 뒷받침하는 데 필요한 연구를 식별한다.
온라인 플랫폼과 사용자 콘텐츠의 성장은 다양한 미디어 유형의 복잡한 입력을 처리할 수 있는 강력한 콘텐츠 모더레이션 시스템을 필요로 한다. 대규모 언어 모델(LLM)은 효과적이지만, 높은 연산 비용과 지연 시간은 확장 가능한 배포에 있어 상당한 과제를 제시한다. 이를 해결하기 위해 우리는 외부 프레임워크를 활용하여 콘텐츠 안전 모더레이션을 위해 파인튜닝된 소형 언어 모델(SLM)인 Tool-MCoT를 소개한다. LLM이 생성한 도구 증강 사고의 연쇄(Chain-of-Thought) 데이터로 모델을 학습시킴으로써, SLM이 추론 및 의사결정을 향상시키기 위해 이러한 도구들을 효과적으로 활용하는 방법을 학습할 수 있음을 보여준다. 실험 결과, 파인튜닝된 SLM은 유의미한 성능 향상을 달성한다. 나아가, 해당 모델이 이러한 도구들을 선택적으로 사용하는 방법을 학습하여, 필요한 경우에만 도구를 호출함으로써 모더레이션 정확도와 추론 효율성 간의 균형을 달성할 수 있음을 보인다.
Detoxify는 혐오 발언과 비속어가 포함된 텍스트를 원래의 감성과 의미를 유지하면서 비혐오 텍스트로 변환하기 위해 Gemini-1.5-flash, GPT-4o, DeepSeek-V3, Groq(llama3-8b-8192) 등 네 가지 대규모 언어 모델(LLM)을 비교 평가한 프레임워크로, BERT 기반 감성·의미론적 분석 결과 Groq가 지나친 긍정적 표현으로 원래 맥락을 훼손하는 반면 GPT-4o와 DeepSeek는 유사한 변환 패턴을 보임을 확인했다.
기존 이미지 가드레일이 고정된 안전 정책에만 의존해 런타임 정책 변화에 취약하다는 문제를 해결하기 위해, PolicyShiftBench(265개 이미지, 2,000개 인스턴스, 28개 정책 변형)를 구축하고 RP-SFT와 BP-Adapt를 결합한 2단계 학습 방식의 PolicyShiftGuard를 제안한다. 제안된 7B 모델은 PolicyShiftBench에서 Avg. F1 76.9, Avg. PSS 72.1의 SOTA 성능을 달성하며, 동일 이미지에 대한 정책 전환 처리 능력이 기존 비전-언어 모델(VLM) 및 전문 가드레일보다 크게 향상됨을 보인다.