PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02303v1cs.LG

PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정

PowerBench: Measuring Language Model Bias in Power-shifting Requests

언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.

arXiv:2601.06861v2cs.CL

BiasLab: LLM 바이어스 측정을 위한 다국어 이중 프레이밍 프레임워크 — 직장 및 HR 맥락 적용

BiasLab: A Multilingual Dual-Framing Framework for LLM Bias Measurement, Applied to Workplace and HR Contexts

배경: 대규모 언어 모델(LLM)은 체계적인 바이어스를 내포하고 있으며, 이는 채용, 직무 설계, 조직 의사결정에 LLM의 출력이 점점 더 큰 영향을 미치는 직장 및 HR 맥락에서 특히 중대한 문제이다. 기존의 바이어스 평가 접근법은 방법론적으로 분산되어 있어, 실무자들이 배포 위험을 평가하는 데 한계가 있다. 목적: 본 연구는 LLM의 방향성 출력 수준 바이어스를 정량화하고 비교하기 위한 다국어 이중 프레이밍 프레임워크인 BiasLab을 소개하며, 직장 및 HR 관련 6개 주제에 걸쳐 이를 시연한다. 방법: BiasLab은 대칭적 긍정·역방향 프롬프트 쌍, 무작위화된 래퍼 변형, 고정 선택지 응답 제약, 극성 정렬 점수화를 결합한다. 10개의 LLM을 6개 주제(리더십에서의 성별, 고용 공백 지원자, 채용에서의 연령, 원격 대 사무실 근무, 주 4일 대 5일 근무제, AI 보조 대 인간 단독 채용)에 걸쳐 12개 언어, 프레이밍 방향별 30회 반복으로 평가하여 총 43,200개의 응답을 산출하였다. 결과: 모든 10개 모델은 모든 주제에서 일관된 방향성 선호를 보였다. 반복적으로 나타난 비대칭 패턴은 모델들이 선호하지 않는 주장을 반박할 때, 그 반대 주장을 지지할 때보다 더 강하게 거부한다는 것으로, 이는 단일 프레임 설계에서는 드러나지 않는 특성이다. 결론: BiasLab은 모델 간 방향성 선호를 측정하기 위한 표준화되고 재현 가능한 도구를 제공한다. 특정 선호가 공정성 측면에서 바이어스를 구성하는지 여부는 주제에 따라 다르다. 성별, 연령과 같은 보호 속성의 경우 균등 고용 기준에 부합하는 반면, 그 외의 경우에는 체계적 선호로 보는 것이 더 적절하다. 이 프레임워크를 통해 조직은 채용에 모델을 도입하기 전에 모델들을 비교하고 검증할 수 있다.

arXiv:2510.12857v2cs.CY

LLM을 위한 바이어스 유발 질문의 적응적 생성

Adaptive Generation of Bias-Eliciting Questions for LLMs

반사실적(counterfactual) 질문 생성 프레임워크를 통해 LLM의 편향된 행동을 유발하는 현실적이고 개방형 질문을 자동으로 생성하며, 비대칭적 거부 및 명시적 편향 인식 등 다양한 응답 차원을 평가하는 인간 검증 벤치마크 CAB을 구축하였다. CAB을 활용한 평가 결과, GPT-5, Claude-4-Sonnet, GPT-OSS-120B 등 최신 프론티어 LLM 모두 성별·인종·종교 속성에서 지속적인 편향을 나타냈다.

arXiv:2607.05679v1cs.CL

RPAM: 다운스트림 출력에서 높은 예측 타당도를 가진 언어 모델 연관성 평가를 위한 원칙적 지표

RPAM: A Principled Metric for Evaluating Associations in Language Models with High Predictive Validity in Downstream Outputs

생성형 대규모 언어 모델(LLM)의 편향을 원칙적으로 평가하기 위한 업스트림 지표인 상대 확률 연관성 지표(RPAM, Relative Probability Association Metric)를 제안하며, 연속 확률 기반의 상대적 연관성 측정을 통해 기존 업스트림 지표의 한계를 극복한다. Mistral-7B-Instruct, Mistral-7B, GPT-2에 대해 WEAT-WS, WS-353, Bellezza, SST2 데이터셋으로 실험한 결과, RPAM 업스트림 측정값이 인간의 암묵적·명시적 연관성 및 다운스트림 생성 텍스트의 편향 모두와 강한 상관관계를 보이며 기존 최고 성능을 능가하였다.

arXiv:2607.03831v1cs.CV

디퓨전 분류기는 어떻게 결정을 내리는가? 바이어스 중심 평가

How Do Diffusion Classifiers Decide? A Bias-Centric Evaluation

디퓨전 모델은 최근 제로샷 분류(zero-shot classification)에 재활용되고 있으며, 노이즈 예측 오차를 최소화하여 가장 적합한 텍스트 프롬프트를 식별하는 디퓨전 분류기가 등장하고 있다. 이러한 모델의 채택이 증가하고 있음에도 불구하고, 이 모델들이 어떻게 분류 결정을 내리는지는 여전히 제대로 이해되지 않고 있다. 우리는 속성 바인딩(Attribute binding), 크기-순서 바이어스(Size-Order bias), 배경 의존성(Background dependency)의 세 가지 차원에서 디퓨전 분류기를 평가하는 바이어스 평가 벤치마크 ASOB-Bench를 소개한다. 이 차원들은 완전한 분류 체계가 아니라, 텍스트 조건부 재구성 오차 점수가 어떻게 결정에 도달하는지를 탐색하는 표적화된 프로브로 기능한다. 이러한 관점은 판별적 비전-언어 모델에 대해서는 잘 연구되어 있지만, 디퓨전 분류기에 대해서는 여전히 간과되고 있다. 새로 구성된 데이터셋에서 다섯 가지 새로운 속성 범주로 기존 프레임워크를 확장한 결과, 디퓨전 분류기는 OpenCLIP 기준선보다 속성 오바인딩에 덜 취약하다는 것을 발견하였다. 기확립된 ComCo 벤치마크에서는 크기-순서 단축키에 실질적으로 더 취약하며, ImageNet-B에서는 훨씬 큰 정확도 하락을 보여 전경 단서보다 배경에 대한 과도한 의존성을 드러낸다. 재구성 오차 히트맵과 U-Net 교차 어텐션 시각화는 각 바이어스의 이면에 있는 메커니즘을 드러낸다. 디퓨전 분류기는 텍스트-이미지 모델과 동일한 디노이저를 공유하기 때문에, 이러한 단일 패스 진단은 생성 과정에서의 유사한 실패 모드도 시사한다. 전반적으로, 디퓨전 분류기는 비전-언어 모델과 구별되는 바이어스 프로파일을 나타내며, 더 강건한 디퓨전 기반 모델 구축을 위한 지침을 제공한다.

arXiv:2606.31644v2cs.CL

Moral Safety in LLMs: Exposing Performative Compliance with Puzzled Cues

현재 공정성 평가가 대규모 언어 모델(LLM)의 도덕적 안전성을 과대평가한다는 문제를 다루며, 인구통계학적 정보가 명시적 레이블 대신 논리 퍼즐을 통해 간접적으로 제시될 때 모델의 공정성이 측정 가능하게 저하되는 "표면적 순응(performative compliance)" 현상을 발견했다. 14개 모델과 약 19,000개의 프로브 항목을 대상으로 한 실험에서 명시적 단서를 숨기면 해당 개인에게 불이익한 결정이 +4.4%p 증가했으며, 이를 정량화하는 모델 비종속적 지표인 Cue Visibility Gap을 제안해 기존 공정성 벤치마크에 추가할 수 있음을 보였다.

arXiv:2606.17506v1cs.CL

인식적 자격을 통한 LLM의 이차 바이어스 평가

Evaluating Second-Order Bias of LLMs Through Epistemic Entitlement

LLM의 사회적 바이어스 평가는 대체로 모델이 바이어스가 있는 내용을 생성하거나 암시하는지에 초점을 맞춘다. 그러나 LLM이 점점 더 바이어스 판정자로 사용됨에 따라, 바이어스가 있는 내용을 평가하는 방식에서 더 미묘한 형태의 사회적 바이어스를 보일 수 있으며, 현재 방법들은 이를 체계적으로 포착하지 못한다. 이를 이차 바이어스(second-order bias)라고 부른다: 사회적 바이어스에 대한 LLM의 판단 속에 나타나는 사회적 바이어스이며, 우리는 이를 새롭고 철학적으로 정립된 추론 과제를 통해 평가한다. 자격 인식론(entitlement epistemology)에 기반하여, 바이어스를 에이전트의 합리적 탐구를 형성하는 부적절한 기초 지식으로 개념화하고, 바이어스가 있는 텍스트가 누구에게 수용 가능하거나 수용 불가능한지 LLM이 판단하도록 하는 논리적 추론 과제를 도출한다. 우리는 충분한 근거 없이 수용 가능성에 대한 인구통계를 추론할 때 LLM 판정자가 얼마나 바이어스된 행동을 보이는지, 그리고 이러한 추론이 바이어스가 있는 텍스트가 겨냥하는 집단에 따라 어떻게 달라지는지 측정하기 위한 두 가지 간단한 지표를 개발한다. 오픈 및 클로즈드 모델을 평가한 결과, 우리의 과제는 모델 판단 속 바이어스를 드러냄으로써 안전 가드레일을 우회한다는 점을 발견했다. 이는 대상 집단에 따라 체계적으로 달라지고, 암묵적 사회 지도를 반영하며, 모델이 여전히 인구통계 라벨에 의해 촉발됨을 보여준다. 우리의 연구는 판단 과제에서의 LLM 바이어스 평가의 필요성과, 더 넓게는 자연어 처리(NLP)에서 바이어스 평가에 대한 더 이론적으로 정립된 접근의 필요성을 지적한다. 우리는 https://github.com/uofthcdslab/second-order-bias 에서 코드와 모델 응답을 공개한다.