FAIR-SIGHT: Fairness Assurance in Image Recognition via Simultaneous Conformal Thresholding and Dynamic Output Repair
원문 초록
We introduce FAIR-SIGHT, an innovative post-hoc framework designed to ensure fairness in computer vision systems by combining conformal prediction with a dynamic output repair mechanism. Our approach calculates a fairness-aware non-conformity score that simultaneously assesses prediction errors and fairness violations. Using conformal prediction, we establish an adaptive threshold that provides rigorous finite-sample, distribution-free guarantees. When the non-conformity score for a new image exceeds the calibrated threshold, FAIR-SIGHT implements targeted corrective adjustments, such as logit shifts for classification and confidence recalibration for detection, to reduce both group and individual fairness disparities, all without the need for retraining or having access to internal model parameters. Comprehensive theoretical analysis validates our method's error control and convergence properties. At the same time, extensive empirical evaluations on benchmark datasets show that FAIR-SIGHT significantly reduces fairness disparities while preserving high predictive performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
근시 예방 및 관리 3.0: 인공지능 기반 위험 계층화, 선제적 모니터링 및 개인 맞춤형 개입
Myopia Prevention and Control 3.0: Artificial Intelligence--Driven Risk Stratification, Proactive Monitoring, and Personalized Intervention
인공지능(AI), 디지털 센싱, 유비쿼터스 컴퓨팅의 수렴은 근시 예방을 반응적이고 인구 기반 모델에서 선제적이고 정밀 지향적 모델로 전환할 전례 없는 기회를 만들었다. 2050년까지 전 세계 인구의 절반이 근시가 될 것이라는 증거에도 불구하고, 기존 접근법—학교 기반 시력 검사(1.0 단계)와 근거 기반 위험 요인 관리(2.0 단계)—는 불충분한 것으로 입증되었다. 우리는 세 가지 상호 연결된 영역에 걸친 AI 통합으로 정의되며 폐쇄 루프 파이프라인을 형성하는 근시 예방 및 관리 3.0의 등장을 검토한다: (1) 다중모달 데이터에 대한 머신러닝을 통해 개인 수준의 위험을 예측하는 AI 기반 위험 계층화; (2) 웨어러블, 스마트폰, 학교 검사 네트워크를 통한 AI 기반 선제적 모니터링; (3) 폐쇄 루프 피드백을 갖춘 AI 기반 개인 맞춤형 개입. 우리는 각 단계에 걸친 증거를 비판적으로 평가하고, 데이터 품질, 모델 검증, 윤리, 형평성의 과제를 논의하며, 다중모달 파운데이션 모델, 디지털 트윈, 인과 머신러닝을 포함한 향후 방향을 개괄한다.
언어 모델 선택적 예측을 위한 계층적 그룹-조건부 컨포멀 리스크 제어
Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models
대규모 언어 모델(LLM)은 도메인, 주제 난이도, 언어적 스타일에 따라 구조화된 이질적인 집단을 대상으로 한다. 컨포멀 리스크 제어(CRC)는 기권(abstention)을 포함한 선택적 예측에 대해 엄밀한 주변(marginal) 리스크 보장을 제공하지만, 주변 보장이 그룹별 보장을 의미하지는 않는다. 모델은 전체 모집단 예산을 충족하면서도 하위 그룹에 체계적으로 과도한 오류 노출을 일으킬 수 있다. 그룹 구성의 경미한 변화(shift) 하에서 표준 CRC는 최대 47%의 시행에서 예산을 위반한다. 우리는 사용자가 정의한 그룹 계층의 모든 노드에 걸쳐 동시 리스크 보장을 강제하는 사후(post-hoc) 보정 프레임워크인 HG-CRC(Hierarchical Group-Conditional CRC)를 제안한다. 이는 노드에 대한 Bonferroni 보정과, 적용 가능한 가장 구체적인 임계값을 사용하는 leaf-first 정책을 적용하며, 더 세분화된 노드가 미인증(uncertified)이거나 예시를 거부할 때는 더 거친(coarser) 노드로 대체(fallback)한다. 재학습 없이 보류(hold-out) 보정 세트만 필요하다. 세 가지 모델(Qwen3-4B, Llama-3.1-8B-Instruct, Gemma-3-4B)과 두 벤치마크(ARC Challenge, MMLU-Pro)에 대해, IID 일반화, 이질성, 혼합/도메인/프롬프트/난이도 변화, 레이블 노이즈, 양자화를 탐구하는 여덟 가지 구성으로 평가한다. 주요 결과: HG-CRC는 고정확도 모델(Qwen3-4B, Llama-3.1-8B)에 대해 ARC Challenge에서 경험적 위반율 0%와 WGER=0에 도달한다. 500회 부트스트랩 시행에서 이 0값들은 경험적 상한(실제 비율 최대 0.6%)이며, 인증(certified)된 것은 아니다. 결과는 벤치마크별로 다르다. MMLU-Pro에서는 이 모델들이 전면 기권하거나(Llama) WGER=0.014를 유지한다. 여기서 보정이 잘 되지 않은 Gemma-3-4B는 기권을 통해 우아하게 성능이 저하된다. 전역 CRC 대비 참여(participation) 비용은 22~37%p이다. ablation은 계층적 깊이가 예산을 충족함을 보여준다. 난이도 수준을 제거하면 위반이 약 11%로 되돌아간다. Bonferroni는 이론적 보장에 필요하지만, 그 경험적 효과는 노드가 많을 때만 중요하다.
클라우드 네이티브 평가-서비스(EaaS): Conformal 보장을 갖춘 확장 가능한 AI 모니터링을 위한 마이크로서비스 아키텍처
Cloud-Native Evaluation-as-a-Service: A Microservices Architecture for Scalable AI Monitoring with Conformal Guarantees
우리는 AI 평가 방법을 여섯 개의 stateless Kubernetes 마이크로서비스로 운영화하는 클라우드 네이티브 참조 아키텍처인 EaaS를 제시한다: 유한 표본 보정 Adaptive Prediction Sets를 적용한 conformal prediction, calibration 평가, RFF-근사 Maximum Mean Discrepancy(RFF-MMD)를 통한 drift detection, bootstrap 신뢰구간을 갖춘 fairness 모니터링, 방향성 비순환 그래프(DAG) 기반 파이프라인 오케스트레이터, 결과 저장 API. 네 가지 핵심 방법론적 관심사를 검증한다. 첫째, K=50개의 무작위 calibration/test 분할에서 경험적 coverage는 marginal conformal 보장과 일치하며, 평균 coverage는 명목 목표치에서 1.4 percentage points 이내이다. 둘째, MMLU의 네 가지 답변 token이 모두 top-20 logprobs에 포함되며 imputation이 0% 필요하고, 10%에서 시뮬레이션된 imputation은 coverage에 1.5% 미만의 영향을 준다. 셋째, RFF-MMD는 중간 휴리스틱 bandwidth에서 경미한 및 심각한 drift에 대해 100% detection power를 달성하며, Type I error는 5-8.5%이다. 넷째, UCI Adult Income 데이터셋에 대한 fairness 모니터링은 인종별 유의미한 demographic parity 격차(DP gap=0.33)를 드러내고, 순차 배치에서 안정적인 alert를 보인다. Conformal prediction 및 calibration 서비스는 배치 크기 100에서 p99 지연시간이 2ms 미만이다; RFF-MMD는 ~500ms가 필요하며 주기적 배치 모니터링에 적합하다. 네 개의 오픈소스 도구와의 비교에 따르면, 우리가 아는 한 현재 어떤 플랫폼도 conformal-prediction-as-a-service, 마이크로서비스 분해, DAG 기반 오케스트레이션을 결합하지 않는다.
AI 증강 인적 자원 관리? 독일 기업으로부터의 통찰
AI-Augmented Human Resource Management? Insights from German companies
본 연구는 독일 기업에서 인적 자원 관리(Human Resource Management)에 AI를 통합하는 과정을 조사한다. AI 기반 기술이 인적 자원 관리를 실제로 어떻게, 그리고 '증강(augmenting)'하고 있는지를 묻는다. 조직은 생성형 AI(generative AI) 또는 예측 분석(predictive analytics)을 활용해 전통적인 인적 자원 기능을 변화시키고, 일상 업무를 간소화하며, 자원을 전략적이고 사람 중심의 활동으로 재배치한다. 인터뷰, 집단 토론, 설문조사(N=410)를 통해 얻은 결과는 AI 도구가 HR 분석 역량을 강화하는 한편, 도입은 주로 효율성 및 합리화(rationalising) 목표를 위해 이루어진다는 점을 보여준다. AI 도구의 도입은 디지털 인프라, 공동결정(co-determination) 체계, 윤리적 함의와 같은 조직 변혁 요인에 의해 형성된다. 본 연구는 인재 개발 개선을 위한 전략적 잠재력과 데이터 거버넌스(data governance) 및 알고리즘 투명성(algorithmic transparency)이 제기하는 과제를 모두 조명한다. 전반적으로, 이 연구는 HR에서 기술 변화의 모호한 역할을 이해하는 데 기여하며, 예측 역량을 증강할 것을 약속하면서도 효율성과 합리화(rationalisation)의 목적에 기여한다는 점을 보여준다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.