arXiv:2012.12305

Confronting Abusive Language Online: A Survey from the Ethical and Human Rights Perspective

Svetlana Kiritchenko, Isar Nejadgholi, Kathleen C. Fraser

제출 2020-12-22

원문 초록

The pervasiveness of abusive content on the internet can lead to severe psychological and physical harm. Significant effort in Natural Language Processing (NLP) research has been devoted to addressing this problem through abusive content detection and related sub-areas, such as the detection of hate speech, toxicity, cyberbullying, etc. Although current technologies achieve high classification performance in research studies, it has been observed that the real-life application of this technology can cause unintended harms, such as the silencing of under-represented groups. We review a large body of NLP research on automatic abuse detection with a new focus on ethical challenges, organized around eight established ethical principles: privacy, accountability, safety and security, transparency and explainability, fairness and non-discrimination, human control of technology, professional responsibility, and promotion of human values. In many cases, these principles relate not only to situational ethical codes, which may be context-dependent, but are in fact connected to universal human rights, such as the right to privacy, freedom from discrimination, and freedom of expression. We highlight the need to examine the broad social impacts of this technology, and to bring ethical and human rights considerations to every stage of the application life-cycle, from task formulation and dataset design, to model training and evaluation, to application deployment. Guided by these principles, we identify several opportunities for rights-respecting, socio-technical solutions to detect and confront online abuse, including `nudging', `quarantining', value sensitive design, counter-narratives, style transfer, and AI-driven public education applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.05552v2cs.CL공통 태그 Fairness

LLM 도덕 판단의 예-아니오 편향 분해: 입장, 위치, 단어, 판결

Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict

대규모 언어 모델(LLM)은 안전 게이트, 판정자 결정, 가치 탐침 등에서 이진 판결을 점점 더 많이 내리며, 그 답은 모델의 판단으로 읽힌다. 확정된 판단이라면 같은 질문의 짝지어진 표현 사이에서 일관되어야 한다. "찬성합니까?"에 대한 예는 "반대합니까?"에 대한 아니오와 대응해야 한다. LLM은 이 일관성을 자주 위반하며, 예/아니오 질문에서는 판결, 답변 단어, 출력된 위치가 일치하므로 기존의 뒤집은 질문 감사는 무엇이 움직였는지 말해 주지 못하는 하나의 대비만 제공한다. 우리는 뒤집기를 질문 극성, 제시 순서, 답변 레이블의 완전한 2x2 및 2x2x2 교차로 확장하여 입장을 위치, 단어, 레이블, 판결 역할 효과와 분리하는 교차 심리측정 배터리를 도입한다. 독립적인 단계형 도구는 이진 형식 없이 각 모델의 입장 $\theta$를 추정하며, 두 모수 적합(프레이밍 민감도 $m$, 결단성 $s$)은 민감도를 가리는 포화로부터 강건성을 분리한다. 이 배터리를 스무 개의 도덕적 딜레마에 적용하여, 23개 추론 구성에서 Claude, GPT, Gemini 계열의 최첨단 모델 열 개에 대해 135만 회의 시행을 수행한 결과, 응답 형식 편향은 널리 퍼져 있으나 결코 균일하지 않음을 발견했다. 가장 큰 겉보기 예-아니오 편향은 거의 순전히 표면적(단어와 위치)인 반면, 가장 최신 모델 몇몇은 그 반대를 보인다. 뒤집기 대비는 0에 가깝지만 판결 결속이 최대 +0.42에 이르며, 이는 어떤 표면 상쇄로도 드러낼 수 없는 성분이고 레이블 알파벳을 바꿔도 재현된다. 요청된 추론은 이러한 경로를 없애지 않고 재형성한다. 피험자가 자유 텍스트로 결정을 서술하고 별도의 모델이 이를 전사할 때, 두 판정자 계열은 공동으로 채점된 전사의 99.3%에서 일치하며 상충하는 확정 레이블은 없었고, 전사된 입장은 단계형 척도와 수렴한다(중앙값 $r=0.87$). 응답 형식은 도구의 일부이며, 판단은 그것과 분리하여 측정될 수 있다.

arXiv:2607.22305v2cs.AI공통 태그 Fairness

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2607.22149v2cs.LG공통 태그 Fairness

공정한 자기지도 학습을 위한 편향 없는 Open World 정규화

Unbiased Open World Regularization for Fair Self-Supervised Learning

최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.

arXiv:2607.08227v2cs.CV공통 태그 Style Transfer

StatLUT: 사실적 스타일 전이를 위한 통계적 특징 기반 멀티모달 3DLUT 생성

StatLUT: Statistical Feature-Driven Multimodal 3DLUT Generation for Photorealistic Style Transfer

사실적 스타일 전이(PST)는 콘텐츠 이미지의 구조적 무결성을 엄격히 보존하면서 참조 이미지의 색상 및 톤 스타일을 전이하는 것을 목표로 한다. 그러나 기존 딥러닝 기반 방법은 사전학습된 이미지 인코더로 인한 의미적 얽힘을 본질적으로 겪어 부자연스러운 공간 왜곡을 초래한다. 또한 현재의 픽셀 수준 매핑 방식은 색 영역 위상을 무시하는 경우가 많아 색 띠 현상이 발생하며, 정밀한 톤별 텍스트 기반 제어를 위한 멀티모달 능력도 부족하다. 이러한 병목을 해결하기 위해 3D LUT 생성을 위한 혁신적인 멀티모달 프레임워크 StatLUT를 제안한다. 첫째, 기존 인코더를 우회하고 Lab-Extractor를 도입하여 공간에 무관한 통계적 특징을 추출함으로써 색상 분포를 구조적 의미로부터 근본적으로 분리하고 아티팩트 없는 렌더링을 보장한다. 둘째, LUT 생성을 Transformer 기반 Seq2Seq 변환 과제로 정식화하고, 다차원 잔차 매퍼(MR-Mapper)를 활용하여 위상적으로 매끄러운 3D LUT를 예측한다. 마지막으로 단일 모달의 장벽을 넘기 위해, 톤을 기술하는 텍스트 프롬프트로부터 통계적 특징을 직접 합성하는 경량 확산 트랜스포머인 H-Diffuser를 제안하여 제어 가능하고 강건한 색 보정을 가능하게 한다. 표준 벤치마크에서의 광범위한 실험은 StatLUT가 시각적 품질과 정량적 지표 모두에서 최신 방법을 크게 능가함을 보이며, 멀티모달 사실적 스타일 전이를 위한 매우 강건하고 다재다능한 패러다임을 개척한다.

arXiv:2607.14962v3cs.LG공통 태그 Fairness

텍스트-이미지 생성에서 대표 다양성을 위한 다축 Max@K 강화학습

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

텍스트-이미지(T2I) 모델은 사실적이고 프롬프트에 부합하는 이미지를 생성하지만, 동일한 프롬프트에 대한 샘플은 시각적으로 구별되는 소수의 모드만을 포괄하는 경우가 많다. 인물 중심 프롬프트에서는 이러한 다양성 부족이 인구통계학적 편향을 반영하거나 증폭할 수 있다. 본 논문은 대표적 다양성을 목표 모드 포괄도, 즉 샘플 집합이 색상이나 인지된 인종 범주와 같은 사전 정의된 모드를 얼마나 잘 포괄하는가로 정식화한다. 이어서 다축 max@K 목적함수를 최적화하여 확산 T2I 모델의 포괄도를 개선하는 강화학습 후학습 방법인 MultiMaxPO를 제안한다. 각 샘플에 모드별 점수가 하나씩 주어졌을 때, 다축 max@K는 각 모드에 대해 샘플 전체의 최댓값을 취한 뒤 이 최댓값들을 합산한다. 따라서 샘플은 해당 모드의 최댓값을 높일 때만 그 모드에 대한 보상을 받으므로, 서로 다른 샘플이 서로 다른 모드에 대해 보상받는다. 이러한 보상 할당을 합성 가우시안 혼합과, 픽셀 기반 색상 보상을 사용한 Stable Diffusion 3.5 Medium에서 검증한 뒤, 인지된 외형 공정성에 적용한다. 보류된 프롬프트와 세 가지 자동 평가기에서 MultiMaxPO는 기본 모델 대비 공정성 점수를 Stable Diffusion 3.5 Medium에서 0.22–0.36, FLUX.1-dev에서 0.07–0.19만큼 향상시키고, 동일 조건의 강화학습 기준선을 능가하며, 이미지 품질과 텍스트 정렬을 유지한다. 코드는 https://github.com/KuOnoda/multi-axis-maxk 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.