Evaluating Fairness in Transaction Fraud Models: Fairness Metrics, Bias Audits, and Challenges
원문 초록
Ensuring fairness in transaction fraud detection models is vital due to the potential harms and legal implications of biased decision-making. Despite extensive research on algorithmic fairness, there is a notable gap in the study of bias in fraud detection models, mainly due to the field's unique challenges. These challenges include the need for fairness metrics that account for fraud data's imbalanced nature and the tradeoff between fraud protection and service quality. To address this gap, we present a comprehensive fairness evaluation of transaction fraud models using public synthetic datasets, marking the first algorithmic bias audit in this domain. Our findings reveal three critical insights: (1) Certain fairness metrics expose significant bias only after normalization, highlighting the impact of class imbalance. (2) Bias is significant in both service quality-related parity metrics and fraud protection-related parity metrics. (3) The fairness through unawareness approach, which involved removing sensitive attributes such as gender, does not improve bias mitigation within these datasets, likely due to the presence of correlated proxies. We also discuss socio-technical fairness-related challenges in transaction fraud models. These insights underscore the need for a nuanced approach to fairness in fraud detection, balancing protection and service quality, and moving beyond simple bias mitigation strategies. Future work must focus on refining fairness metrics and developing methods tailored to the unique complexities of the transaction fraud domain.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AI 시스템의 맥락 인식 기반 배포 전 평가: 나이지리아 핀테크를 위한 규제 프레임워크
Context-Aware Pre-Deployment Evaluation of AI Systems: A Regulatory Framework for Nigerian Fintech
상용 대규모 언어 모델(LLM)이 사기 탐지 및 고객 커뮤니케이션을 위해 아프리카 핀테크 인프라 전반에 점점 더 많이 배포되고 있으나, 조달 전 이러한 시스템이 어떤 배포 전 평가(pre-deployment evaluation)를 거쳐야 하는지 명시한 나이지리아 또는 아프리카 대륙 차원의 규제 문서는 전무하다. 본 논문은 글로벌, 아프리카 대륙, 나이지리아의 규제 문서를 아울러 아프리카 핀테크 AI 거버넌스를 검토하고, 안전성(safety)은 원칙으로 확인되는 반면 배포 전 평가는 운영상 구체화되어 있지 않음을 보여준다. 범용 안전성 벤치마크는 나이지리아 기관 관련 콘텐츠를 포함하지 않으며 정상적인 금융 커뮤니케이션의 위양성(false positive) 오분류를 테스트하지 않으므로, 이 도메인에 가장 밀접한 실패 모드를 드러낼 수 없다. 이러한 주장은 3가지 시스템 프롬프트 조건에서 6개의 상용 모델에 적용된 전용 평가 도구인 SafeAlert를 통해 입증된다. 실험 결과에 따르면 범용 유해 콘텐츠 요청을 거부하는 모델도 특정 프레이밍 하에서는 완전한 사기 스크립트를 생성하며, 여러 모델이 대부분의 정상적인 나이지리아 은행 커뮤니케이션을 의심스럽거나 사기성 있는 것으로 오분류하는 등 표준 안전성 평가에서는 드러나지 않는 실패를 보였다. 본 논문은 확인된 격차가 기술적 또는 재정적 자원의 부족이 아니라 규제적 명세의 부재를 반영한다고 주장하며, CBN, NITDA, SEC 및 AU를 위한 배포 전 평가 요건을 제안하는 규제 프레임워크로 결론을 맺는다.
사기 탐지 및 신뢰·안전 워크플로에서 LLM의 운영 증거 공백
Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows
LLM은 이제 사기 탐지, 스캠 조사, 콘텐츠 조정, 기타 신뢰·안전 워크플로에 제안되고 있다. 공개 문헌의 대부분은 여전히 LLM을 모델로 평가하며, 운영 파이프라인의 구성 요소로서의 행동에는 덜 주목한다. 이는 실무적인 증거 문제를 야기한다. 지연, 비용, 에스컬레이션, 인간 검토, 적대적 위험 제약을 갖는 실제 워크플로에 LLM을 배치하는 것을 무엇이 정당화할 수 있는가? 우리는 배포 증거에 대한 사기 우선 설문조사를 통해 이 질문에 답한다. 사기 탐지, 조사 지원, 콘텐츠 조정, 교차적 견고성(robustness)에서 LLM 사용과 관련된 운영상 관련 소스 49건(사기 18, 조정 14, 교차 17)을 코딩하고, 설문조사 범위를 설정하는 맥락 참고문헌 15건을 보완한다. 이 소스들에는 시스템, 벤치마크, 프레임워크, 배포 관련 설문조사가 포함되며, 49건의 프로덕션 배포는 아니다. 주요 발견은 증거 불균형이다. 사기 탐지가 코딩된 코퍼스에서 가장 큰 과제별 비중을 차지한다. 그러나 조정 논문들은 지연, 비용, 거버넌스, 공정성(fairness)에 대한 더 명시적인 공개 증거를 포함한다. 18건의 사기 및 조사 소스 중 어느 것도 깔끔한 의사결정당 지연, 의사결정당 달러 비용, 또는 보정(calibration) 증거를 보고하지 않으며, 대부분 오프라인 과제 성능, 검색(retrieval) 이득, 또는 사례 연구 정확도를 보고한다. 이 설문조사는 LLM을 분류기, 검색 인터페이스, 설명 생성기, 검토자 보조 도구, 에이전트(agent), 특징 추출기, 또는 에스컬레이션 구성 요소로 배치하기 위한 역할·증거 조직 프레임워크 FORTE를 제공한다. 또한 지연 예산, 의사결정당 비용, 의사결정 임계값, 설명 무결성, 적대적 압력을 다루는 최소 배포 증거 체크리스트를 제공한다. 그 결과로 도출된 연구 의제는 LLM 기반 사기 탐지 및 신뢰·안전 업무에 대한 배포 주장을 뒷받침하는 데 필요한 연구를 식별한다.
나이지리아 핀테크 섹터의 구조적 불평등 중립화
Neutralizing Structural Inequality in the Nigerian FinTech Sector
금융 서비스의 알고리즘 의사결정 시스템은 구조적 불평등을 의도치 않게 인코딩하는 데이터 프록시에 의존하는 경우가 많다. 본 논문은 나이지리아 핀테크 섹터의 포인트 오브 세일(Point of Sale) 사기 탐지를 위한 계층적 인간-AI 트리아지 모델을 소개한다. '우리 모두는 평등하다(We Are All Equal)' 세계관을 채택하여, 시스템이 농촌 네트워크 타임아웃과 같은 인프라 관련 우연적 노이즈(aleatoric noise)를 사기 의도로 잘못 해석하는 차별 세탁(discrimination laundering) 문제를 다룬다. 우리는 보정된 앙상블 모델을 1차 필터로 활용하는 3단계 라우팅 정책을 구현한다. 이 정책은 콜드 스타트 신규 계정과 같이 인식론적 불확실성(epistemic uncertainty)을 특징으로 하는 거래를 전문 분석가에게 라우팅하는 한편, 고위험 사례는 선임 감독자를 위해 유보한다. 유한한 인간 처리 용량을 관리하기 위해 동적 섀도우 가격(dynamic shadow price)을 활용하여 인간의 주의를 배분하고, 인간 기술 퇴화를 방지하는 무작위 감사 메커니즘을 구현한다. 실험 결과, 자율 기준선 대비 통계적으로 유의미한 1.88%의 상보성 격차(complementarity gap)와 24.79%포인트의 사기 재현율 향상이 확인되었다. 특히, 모델은 지역 간 성능 격차를 19.43에서 2.88 퍼센트포인트로 줄여 구조적 바이어스를 중립화한다. 계층적 협력은 실질적인 기회 균등을 위한 강건한 메커니즘을 제공하며, 농촌 계정이 환경적 우연(environmental brute luck)으로 인해 디지털 경제에서 배제되지 않도록 보장한다.
LLM 도덕 판단의 예-아니오 편향 분해: 입장, 위치, 단어, 판결
Decomposing Yes-No Bias in LLM Moral Judgment: Stance, Position, Word, and Verdict
대규모 언어 모델(LLM)은 안전 게이트, 판정자 결정, 가치 탐침 등에서 이진 판결을 점점 더 많이 내리며, 그 답은 모델의 판단으로 읽힌다. 확정된 판단이라면 같은 질문의 짝지어진 표현 사이에서 일관되어야 한다. "찬성합니까?"에 대한 예는 "반대합니까?"에 대한 아니오와 대응해야 한다. LLM은 이 일관성을 자주 위반하며, 예/아니오 질문에서는 판결, 답변 단어, 출력된 위치가 일치하므로 기존의 뒤집은 질문 감사는 무엇이 움직였는지 말해 주지 못하는 하나의 대비만 제공한다. 우리는 뒤집기를 질문 극성, 제시 순서, 답변 레이블의 완전한 2x2 및 2x2x2 교차로 확장하여 입장을 위치, 단어, 레이블, 판결 역할 효과와 분리하는 교차 심리측정 배터리를 도입한다. 독립적인 단계형 도구는 이진 형식 없이 각 모델의 입장 $\theta$를 추정하며, 두 모수 적합(프레이밍 민감도 $m$, 결단성 $s$)은 민감도를 가리는 포화로부터 강건성을 분리한다. 이 배터리를 스무 개의 도덕적 딜레마에 적용하여, 23개 추론 구성에서 Claude, GPT, Gemini 계열의 최첨단 모델 열 개에 대해 135만 회의 시행을 수행한 결과, 응답 형식 편향은 널리 퍼져 있으나 결코 균일하지 않음을 발견했다. 가장 큰 겉보기 예-아니오 편향은 거의 순전히 표면적(단어와 위치)인 반면, 가장 최신 모델 몇몇은 그 반대를 보인다. 뒤집기 대비는 0에 가깝지만 판결 결속이 최대 +0.42에 이르며, 이는 어떤 표면 상쇄로도 드러낼 수 없는 성분이고 레이블 알파벳을 바꿔도 재현된다. 요청된 추론은 이러한 경로를 없애지 않고 재형성한다. 피험자가 자유 텍스트로 결정을 서술하고 별도의 모델이 이를 전사할 때, 두 판정자 계열은 공동으로 채점된 전사의 99.3%에서 일치하며 상충하는 확정 레이블은 없었고, 전사된 입장은 단계형 척도와 수렴한다(중앙값 $r=0.87$). 응답 형식은 도구의 일부이며, 판단은 그것과 분리하여 측정될 수 있다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.
공정한 자기지도 학습을 위한 편향 없는 Open World 정규화
Unbiased Open World Regularization for Fair Self-Supervised Learning
최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.