Imperfect ImaGANation: Implications of GANs Exacerbating Biases on Facial Data Augmentation and Snapchat Selfie Lenses
원문 초록
In this paper, we show that popular Generative Adversarial Networks (GANs) exacerbate biases along the axes of gender and skin tone when given a skewed distribution of face-shots. While practitioners celebrate synthetic data generation using GANs as an economical way to augment data for training data-hungry machine learning models, it is unclear whether they recognize the perils of such techniques when applied to real world datasets biased along latent dimensions. Specifically, we show that (1) traditional GANs further skew the distribution of a dataset consisting of engineering faculty headshots, generating minority modes less often and of worse quality and (2) image-to-image translation (conditional) GANs also exacerbate biases by lightening skin color of non-white faces and transforming female facial features to be masculine when generating faces of engineering professors. Thus, our study is meant to serve as a cautionary tale.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
시뮬레이션을 통한 합성: 확장 가능한 에이전트-시스템 상호작용을 통한 일관된 엔터프라이즈 데이터 생성
Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction
도구 호출 에이전트(tool-calling agent)는 엔터프라이즈 AI의 핵심이 되었으나, 엔터프라이즈 시스템, 데이터, 데이터베이스 스키마에 대한 비즈니스 및 법적 제약으로 인해 이들을 대규모로 학습(training)하고 평가(evaluation)하는 일은 여전히 극도로 제한되어 있습니다. 정형 데이터 합성은 자연스러운 대안을 제공하지만 그 유효성은 구조적 타당성과 스키마 가용성으로 인해 근본적으로 한계가 있으며, 절차 기반 접근 방식은 도메인별 저작 없이는 전형적으로 분포 충실도(distributional fidelity)가 결여되는 정반대의 약점을 보입니다. 본 논문에서는 시뮬레이션된 엔터프라이즈 환경(environment) 내에서 정책을 강제하는 API에 대해 작업을 실행함으로써 대규모 언어 모델(LLM) 에이전트가 데이터를 생성하는 스키마 없는(schema-free) 데이터 합성 패러다임인 **시뮬레이션을 통한 합성**(Synthesis Through Simulation, STS)을 소개합니다. 유효성을 정의하는 동일한 환경을 통해 데이터가 생성되므로, STS는 구조적 타당성을 본질적으로 보장하는 동시에 유효성 강제와 분포 모델링을 분리하여 각각을 독립적으로 다룰 수 있도록 합니다. STS의 도메인 무관 에이전트인 **Generalist Populator**(GP)는 분포 충실도와 합성 확장성이라는 남은 과제를 해결합니다. GP는 *DB 스키마에 접근하지 않고도* 10개 환경 전체에 걸쳐 평균 한계 충실도 **0.88** 및 **100% 제약 조건 만족**을 달성한 반면, 통계적 합성기는 필수 시드 데이터 요구 사항으로 인해 7개 환경에 적용할 수 없었으며, 스키마 권한을 가진 에이전트는 취약한 태스크 구성으로 인해 항공사 환경의 밀접하게 결합된 워크플로에서 궤적의 82%가 실패했습니다. 전체 프레임워크, 10개 환경 모두, 그리고 생성된 데이터셋은 https://github.com/SAP/synthesis-through-simulation 에 오픈소스로 공개합니다.
데이터 희소 환경에서 롱테일 출혈성 병변 분할을 위한 합성 학습
Synthetic training for long-tail haemorrhagic lesion segmentation in data-scarce settings
뇌 미세출혈(CMB)과 피질 표재성 철침착증(cSS)은 뇌 소혈관 질환의 영상 바이오마커이지만, 양성 사례 및 복셀 수준 주석의 부족으로 인해 자동화된 분할(segmentation)에 한계가 있습니다. 본 연구에서는 실제 병변 주석 없이도 학습이 가능하며 병변에 대한 방사선학적 기술(description)을 활용하는 롱테일(long-tail) 출혈성 병변 분할용 합성 학습(synthetic training) 프레임워크를 제안합니다. 해부학적 뇌 구획화(brain parcellation)에서 시작하여, 본 프레임워크는 공간적 증강과 복셀 재샘플링을 적용하고, 병변의 위치 및 형태에 대한 임상적 사전 지식을 활용해 절차적으로 cSS 및 CMB 레이블을 삽입하며, 무작위 강도 할당, 블러링, 라이시안(Rician) 노이즈 시뮬레이션을 통해 영상을 합성합니다. 모델은 동적으로 생성된 영상-레이블 쌍으로 학습되었으며, 10건의 cSS 사례와 13건의 CMB 사례에서 수동 윤곽 묘사를 기준으로 평가되었습니다. 제안된 구성은 고전적 필터 기준선(baseline)보다 우수한 성능을 보였습니다. cSS의 경우, 저신호강도 제약 모델이 Frangi 필터보다 더 높은 AUPRC 및 AUROC를 달성했습니다(AUPRC: 0.284 대 0.083, AUROC: 0.907 대 0.731). CMB의 경우, 병변 유사체로서 혈관을 명시적으로 합성함으로써 고전적 기준선 대비 성능이 향상되었습니다(AUPRC: 0.538 대 0.004, AUROC: 0.999 대 0.968). 이러한 결과는 본 제안이 데이터가 희소한 환경에서의 출혈성 병변 분할을 위한 실현 가능한 전략임을 뒷받침합니다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
Cyclone: 비짝 주행 데이터 기반 순환 일관적 날씨 편집 확산 모델
Cyclone: Diffusion Model for Cycle-Consistent Weather Editing from Unpaired Driving Data
다양한 기상 조건에서의 신뢰 가능한 지각(perception)은 자율주행 시스템의 주요 난제로 남아 있다. 견고성(robustness)을 개선하기 위한 일반적인 전략은 지각 모델 학습을 위해 악천후 조건을 합성하거나, 깨끗한 입력을 복원하기 위해 날씨 제거 기법을 적용하는 것이다. 그러나 기존 접근법은 대개 합성 데이터 증강 또는 짝(pair) 학습 데이터가 필요한 물리 기반·과제 특화 모델에 의존하며, 사실적인 기상 효과를 생성하거나 도메인 외(out-of-domain) 시나리오에 견고하게 일반화하는 데 자주 어려움을 겪는다. 이 문제에 대해, 우리는 잠재 확산(latent diffusion)에 기반한 날씨 편집 통합 프레임워크 Cyclone을 제안하며, 순환 일관성(cycle-consistent) 제약과 이미지-텍스트 모델의 지식을 갖추었다. Cyclone은 짝 데이터가 필요 없이 다양한 장면에서 여러 기상 조건을 생성할 수 있다. 실험 결과, 본 접근법은 기존 베이스라인보다 더 사실적이고 구조를 보존하는 출력을 생성하며, 여러 하류(downstream) 주행 지각 과제에서 일관된 성능 향상을 보인다. 더 나아가, Cyclone을 시간적으로 일관된(temporally consistent) 날씨 편집을 위한 비디오 확산 모델로 지식 증류(distillation)할 수 있음을 보여준다.
농업 예측 작업에서 머신러닝 성능 향상을 위한 작업 조건부 합성 데이터 생성
Task-Conditioned Synthetic Data Generation for Improving Machine Learning Performance in Agricultural Prediction Tasks
머신러닝(ML) 알고리즘은 다양한 맥락에서 농업 변수를 추정하는 데 널리 활용되어 왔다. 그러나 학습 데이터의 양과 질이 ML 알고리즘의 성능에 큰 영향을 미치기 때문에, 참조 데이터가 부족하거나 불완전한 경우 그 활용이 제한될 수 있다. 합성 데이터 생성(SDG)은 원본 데이터의 주요 특성을 보존하는 인공적이지만 현실적인 샘플을 생성함으로써 이 문제를 해결하는 실용적인 접근법을 제공한다. 본 연구는 교사-학생 지식 증류(knowledge transfer)와 표 형식 데이터에 대한 문맥 내 학습(ICL)을 기반으로, 베이지안 네트워크 생성기와 트랜스포머 기반 표 형식 파운데이션 모델(TabICL)을 결합한 작업 조건부 SDG(TCSDG) 알고리즘을 제안한다. 제안된 알고리즘은 작물 수확량 예측과 작물 유형 분류(classification)의 두 가지 농업 예측 작업에서 평가되었다. 또한 6가지 벤치마크 SDG 알고리즘을 활용하여 TCSDG와의 성능을 비교하였다. 12개 연구 지점, 2가지 학습(training) 데이터 비율, 4가지 증배 비율, 3가지 예측 ML 알고리즘에 걸쳐, 원본 데이터에 TCSDG 생성 합성 데이터를 증강하면 작물 유형 분류 실험의 89%, 작물 수확량 예측 실험의 74%에서 ML 성능이 향상되었다. TCSDG는 벤치마크 SDG 알고리즘들을 크게 능가했으며, 집계 수준에서 두 작업 모두에 걸쳐 일관되게 ML 성능을 향상시킨 유일한 방법이었다. 본 연구는 신중하게 설계되고 처리된 합성 데이터가 정밀 농업(precision-agriculture) 응용 분야에서 ML 성능을 향상시킬 수 있음을 입증한다. TCSDG는 농업 ML 예측의 다운스트림 작업을 지원하는 합성 데이터를 생성하기 위한 실용적이고 확장 가능한 프레임워크를 제공한다. TCSDG의 전체 구현은 https://github.com/HamidEbrahimy/TCSDG 에서 오픈 소스로 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.