Synthetic Counterfactual Faces
원문 초록
Computer vision systems have been deployed in various applications involving biometrics like human faces. These systems can identify social media users, search for missing persons, and verify identity of individuals. While computer vision models are often evaluated for accuracy on available benchmarks, more annotated data is necessary to learn about their robustness and fairness against semantic distributional shifts in input data, especially in face data. Among annotated data, counterfactual examples grant strong explainability characteristics. Because collecting natural face data is prohibitively expensive, we put forth a generative AI-based framework to construct targeted, counterfactual, high-quality synthetic face data. Our synthetic data pipeline has many use cases, including face recognition systems sensitivity evaluations and image understanding system probes. The pipeline is validated with multiple user studies. We showcase the efficacy of our face generation pipeline on a leading commercial vision model. We identify facial attributes that cause vision systems to fail.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
합성 연구 검증에서의 중대한 행동과 표상적 공정성
Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research
산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.
임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사
Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage
응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.
같은 차트, 다른 이야기: 비전-언어 차트 해석의 바이어스
Same Chart, Different Story: Bias in Vision-Language Chart Interpretation
비전-언어 모델(VLM)은 차트를 해석하고 사회적으로 중요한 데이터에 대한 자연어 설명을 생성하는 데 점점 더 많이 사용되고 있다. 그러나 참조되는 사회 집단만 바뀌었을 때 동일한 차트에 대해 서로 다른 서사를 생성할 수 있어 고정관념을 강화하고 잘못된 의사결정을 유도할 수 있다. 이러한 위험에도 불구하고, 사회적 차원에 걸친 차트 해석 바이어스를 체계적으로 평가할 벤치마크는 존재하지 않는다. 우리는 VLM 기반 차트 해석에서 바이어스를 감사하기 위한 최초의 벤치마크인 ChartBias를 제안한다. ChartBias는 인종, 소득, 연령, 종교, 이민 신분, 성별의 여섯 속성을 아우르는 820개의 수동으로 큐레이션한 실세계 차트를 포함하며, 4,319개의 유효한 차트-속성 인스턴스와 차트는 고정하고 집단 용어만 교체한 8,638개의 쌍(pair) 생성물을 산출한다. 독점 및 오픈소스 VLM 12개에 걸쳐 총 155,484개의 모델 응답을 분석한 결과, 세 가지 광범위한 실패 양상을 발견한다: 서사 전환(narrative shift, 동일 차트·상이한 서사), 집단 환각(group hallucination, 근거 없이 차트를 특정 집단에 귀속), 선호 극성(preference polarity, 유리한 추세가 한 집단에 더 자주 연결됨). 또한 차트에 근거한 증거 추출과 집단 조건 생성을 분리하고, 반사실적(counterfactual) 판정자가 집단에 따른 차이가 차트로 뒷받침되는지 검증하는 다중 에이전트 완화 프레임워크를 제안하며, 이는 강한 기준선 역할을 한다. 이 프레임워크는 차트에 근거한 추론을 유지하면서 서사 전환을 실질적으로 줄인다. 우리의 결과는 차트 이해 평가가 정확도뿐 아니라 사회 집단 간 공정성과 일관성도 측정해야 함을 보여준다. ChartBias는 https://github.com/vis-nlp/ChartBiasBench 에서 공개한다.
단순한 외모 조작 하에서의 얼굴 연령 검증 취약성
Face Age Verification Vulnerabilities Under Simple Appearance Manipulations
온라인 플랫폼은 최소 연령 정책을 시행하기 위해 자동화된 연령 추정 시스템에 점점 더 의존하고 있다. 이 과제를 위해 설계된 비전 기반 모델에 초점을 맞추면, 미성년자가 콧수염을 그리거나 립스틱을 바르는 등과 같이 그러한 시스템을 우회하기 위해 사용할 수 있는 단순한 외모 변화에 대한 견고성(robustness)에 대한 우려가 제기된다. 본 연구에서는 미성년자가 쉽게 수행할 수 있는 시각적 변형을 시뮬레이션하여 연령 검증 견고성에 대한 체계적인 연구를 제시한다. 우리는 세 개의 데이터셋과 네 가지 조작 유형에 걸쳐 비전, 비전-언어(vision-language), 멀티모달 대규모 언어 모델(multimodal large language model)을 포함한 일곱 개의 모델을 평가한다. 흥미롭게도, 그려진 수염 털(stubble) 조작 하에서 True Negative의 최대 61%가 False Positive로 뒤바뀐다. 또한, 이러한 조작이 다양한 인구통계학적 집단에 어떻게 영향을 미치는지 조사한 결과, 인도인은 수염 털 조작에 더 크게 영향을 받으며, 모든 조작 유형에서 여성이 남성보다 더 크게 영향을 받는 것으로 나타났다. 마지막으로, 경량 선형 프로브(linear probe) 설정에서 바이어스 완화 방법론을 사용하여 이러한 바이어스를 어떻게 완화할 수 있는지 탐구한다.
IJCB-AFMFR 2026: 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회
IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data
본 논문은 2026 International Joint Conference on Biometrics(IJCB 2026)에서 개최된 합성 학습 데이터를 이용한 얼굴 인식용 파운데이션 모델 적응 경진대회(Adapting Foundation Models for Face Recognition Using Synthetic Training Data, AFMFR)의 요약을 제시한다. 경진대회에는 상호 보완적인 두 트랙에 걸쳐 4개 팀으로부터 총 8건의 유효한 제출물이 접수되었다. Full Data Track에서는 참가자들이 대규모 합성 신원(identity) 데이터를 사용하여 CLIP ViT-L/14 파운데이션 모델을 적응시키며, Limited Data Track은 보다 자원이 제한된 적응 환경을 반영하도록 설계되었다. 모든 학습 데이터는 IDPERTURB만을 사용하여 생성되었다. 제출된 솔루션은 Borda count 방법을 사용하여 LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, TinyFace를 포함한 다양한 벤치마크에서의 검증(verification) 및 식별(identification) 성능을 기준으로 순위가 매겨졌다. 공정성(fairness) 평가는 RFW 데이터셋에서 4개 인구통계학적 그룹에 걸쳐 추가로 수행되었다. 결과는 합성 학습 데이터를 이용한 CLIP 파운데이션 모델의 적응이 기성(off-the-shelf) 모델 대비 상당한 개선을 보이며, 여러 경우 기준선을 능가함을 보여준다. 특히 Sub-Center ArcFace(DMSTI-Neurotechnology)를 이용한 전체 미세조정(full fine-tuning)이 Full Data Track을 선도했으며, rank-stabilized LoRA 적응(Idiap-BSP)은 제한된 데이터 조건에서 가장 효과적인 것으로 나타났다.
RED-Sphere: 교차 집단 안저 질환 도메인 일반화를 위한 초구면 잔차 에지 편향 제거
RED-Sphere: Hyperspherical Residual Edge Debiasing for Cross-Population Fundus Disease Domain Generalization
의료 이미지 분류기는 흔히 단일 소스 집단 내에서 학습되지만, 임상 배포 시에는 외형, 촬영 방식, 질병 유병률이 소스 코호트와 다른 환자들에 대한 강건성이 요구된다. 기존의 공정성 및 강건성 방법들은 그룹 감독을 필요로 하거나 외형 변화를 단순한 잡음으로 처리하는 경우가 많으며, 이는 집단과 상관된 저수준 단서와 병변 증거가 에지 및 텍스처 구조를 공유할 때 불충분하다. 우리는 엄격한 소스 전용 교차 집단 설정을 연구하며, 이 설정에서는 외부 집단이 최적화, 검증, 스케줄링, 하이퍼파라미터 및 모델 선택 과정에서 관측되지 않는다. 우리는 미관측 집단 이동 하에서의 이미지 분류를 위한 플러그 앤 플레이 강건성 프레임워크인 RED-Sphere를 제안한다. 이 프레임워크는 에지 및 특징 에너지 사전 분포를 이용해 단축 경로에 민감한 잡음 응답을 추정하고, 잔차 소프트 게이팅을 통해 지배적인 응답을 약화시키며, 반사실적 영감의 일관성 및 분리 손실로 마스킹된 잡음 뷰를 정규화하고, 정규화된 구면 프로토타입으로 레이블을 예측한다. 병변 구조를 보존하면서 소스와 상관된 활성화 크기보다 각도적 의미론적 증거를 선호한다. 노인성 황반변성(AMD)과 당뇨망막병증(DR)을 위한 2D 주사 레이저 안저경(SLO) 안저 분류에서 시연되었지만, RED-Sphere는 망막 해부학에 국한되지 않는다: 외형 단축 경로와 의미론적 증거가 얽혀 있는 모든 곳에서 양식 특화 잡음 사전 분포와 함께 동일한 원리를 적용할 수 있다. 엄격한 백인 전용 Harvard-FairVision 프로토콜 하에서, RED-Sphere는 20가지 태스크 및 백본 비교 전반에 걸쳐 보류 매크로-F1을 향상시키며, AMD와 DR에서 각각 평균 1.28 및 2.98 F1 포인트의 향상을 달성한다. AUC 및 PR-AUC의 향상, 시각적 진단, 절제 연구, 민감도 분석은 더 강력한 외부 의미론적 정렬과 더 안정적인 각도 질환 기하학을 추가로 지지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.