지원 추적 시스템을 위한 반사실적 바이어스 테스트
Counterfactual Bias Testing for Application Tracking System
한국어 초록
자동화된 후보자–직무 매칭 시스템은 새로운 규제 하에서 점점 더 고위험 AI로 분류되고 있지만, 인구통계학적 바이어스를 감사하는 것은 비용이 큽니다. 고전적인 대응 감사(correspondence-audit) 연구는 수작업으로 작성한 이력서와 수동 제출을 요구하여 빠른 파이프라인 재학습 주기에 맞게 확장하기 어렵습니다. 본 논문은 (1) 과제 특화 LLM 에이전트를 사용해 정체성 중립적 기본 이력서를 합성하고, 다섯 가지 보호 특성 축(성/젠더, 연령, 거주지, 언어, 장애)에 걸쳐 통제된 인구통계학적 처리(treatment)를 주입하여 K×(1+N) 대응 감사 행렬을 생성하고, (2) EU AI Act에 부합하는 프롬프트에 따라 추론된 보호 특성을 정성적으로 표시하며, (3) 파인튜닝된 문장 임베딩 모델과 코사인 유사도로 직무 기술 대비 후보자를 순위화하고, (4) 반사실적(점수 차(delta), 평균 절대 순위 변화, flip rate), 집단 공정성(top-K 유지율, four-fifths/impact ratio), 실력 인식(Recall@K, nDCG@K, equal opportunity, equalized odds) 계열에 걸친 9개 지표 공정성 스위트를 계산하되, 각각 부트스트랩 신뢰구간, 유의성 검정, Benjamini-Hochberg 보정을 적용하고, 복합 위험 점수를 포함한 자동 PASS/INVESTIGATE/FAIL 보고서로 마무리하는 일반적이고 재사용 가능한 방법론을 제시합니다. 5개 채용 공고, 100명의 기본 후보, 10개 인구통계학적 처리(90회 지표×변형 평가)로 구성된 예시 코퍼스에서: 점수 변화, top-K 유지율, 실력 인식 계열 격차는 모든 처리에서 허용 범위 내에 있었으나, 순위 안정성 지표(MARC)와 nDCG@K가 각각 경계선상의 발견—중립 기준선 자체에 대한 것 하나를 포함—을 드러내어 점수 또는 유지율만으로는 놓칠 수 있었습니다. 결과는 단일 집계 점수보다 다중 지표·다중 계열 감사를, 그리고 후보자–직무 매칭 파이프라인에 대해 인간이 큐레이션한 감사의 실용적·저비용 보완으로 LLM 에이전트 생성 감사를 주장합니다.
원문 초록
Automated candidate-job matching systems are increasingly classified as high-risk AI under emerging regulation, yet auditing them for demographic bias is expensive: classical correspondence-audit studies require hand-crafted resumes and manual submission, which does not scale to fast pipeline retraining cycles. This paper presents a general, reusable methodology that (1) uses task-specialized LLM agents to synthesize identity-neutral base resumes and inject controlled demographic treatments across five protected-characteristic axes (sex/gender, age, residence, language, disability), producing a K x (1+N) correspondence-audit matrix; (2) qualitatively flags inferred protected characteristics per an EU AI Act-aligned prompt; (3) ranks candidates against a job description via a fine-tuned sentence-embedding model and cosine similarity; and (4) computes a nine-metric fairness suite spanning counterfactual (score delta, mean absolute rank change, flip rate), group-fairness (top-K retention, four-fifths/impact ratio), and merit-aware (Recall@K, nDCG@K, equal opportunity, equalized odds) families, each with bootstrap confidence intervals, significance tests, and Benjamini-Hochberg correction, culminating in an automated PASS/INVESTIGATE/FAIL report with a composite risk score. On an example corpus of 5 job orders, 100 base candidates, and 10 demographic treatments (90 metric x variant evaluations): score shifts, top-K retention, and merit-aware rate gaps stay within tolerance for every treatment, but a rank-stability metric (MARC) and nDCG@K each surface borderline findings - including one on the neutral baseline itself - that a score- or retention-only view would miss. The results argue for multi-metric, multi-family auditing over any single aggregate score, and for LLM-agent-generated audits as a practical, low-cost complement to human-curated audits for any candidate-job matching pipeline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.26899v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.