arXiv:2310.11011

From Identifiable Causal Representations to Controllable Counterfactual Generation: A Survey on Causal Generative Modeling

Aneesh Komanduri, Xintao Wu, Yongkai Wu, Feng Chen

제출 2023-10-17

원문 초록

Deep generative models have shown tremendous capability in data density estimation and data generation from finite samples. While these models have shown impressive performance by learning correlations among features in the data, some fundamental shortcomings are their lack of explainability, tendency to induce spurious correlations, and poor out-of-distribution extrapolation. To remedy such challenges, recent work has proposed a shift toward causal generative models. Causal models offer several beneficial properties to deep generative models, such as distribution shift robustness, fairness, and interpretability. Structural causal models (SCMs) describe data-generating processes and model complex causal relationships and mechanisms among variables in a system. Thus, SCMs can naturally be combined with deep generative models. We provide a technical survey on causal generative modeling categorized into causal representation learning and controllable counterfactual generation methods. We focus on fundamental theory, methodology, drawbacks, datasets, and metrics. Then, we cover applications of causal generative models in fairness, privacy, out-of-distribution generalization, precision medicine, and biological sciences. Lastly, we discuss open problems and fruitful research directions for future work in the field.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.37786v2cs.CV공통 태그 Fairness, Representation Learning

CHOQOLATE: 쇼케 적분을 활용한 개념 병목 잠재 공간 구조화

CHOQOLATE: Organizing Concept Bottleneck Latent Spaces with Choquet Integrals

CLIP과 같은 비전-언어(vision-language) 모델을 기반으로 구축된 개념 병목 모델(CBM)은 잠재 공간을 인간이 이해할 수 있는 개념으로 표현합니다. 그러나 이러한 표현은 신뢰성이 떨어집니다(unfaithful). 서로 연관된 개념들이 얽혀 있어(entangled) 개별 점수가 본래 의도한 의미를 제대로 반영하지 못하기 때문입니다. 본 논문에서는 상관관계가 있는 개념들을 간결한 노드로 병합하는, 2-가법적 쇼케 적분(2-additive Choquet integrals) 기반의 해석 가능 설계 층(layer)인 CHOQOLATE를 제안합니다. 네 가지 데이터셋 전반에서 CHOQOLATE는 가중치 희소성(weight-sparse)과 의미론적 일관성을 갖춘 노드를 통해 유리한 정확도-해석 가능성 트레이드오프를 달성합니다. 실험을 통해 뒷받침된 닫힌 형태(closed-form)의 그래디언트 유도는 명시적인 지도 없이도 쇼케 층이 왜 이러한 구조화를 유도하는지 설명합니다. 또한 쇼케 가중치는 샤플리 값(Shapley values)에 직접 매핑되어 테스트 시점의 개입(test-time intervention)을 가능하게 합니다. 표준 바이어스 완화 벤치마크에서, 학습 후 가짜 개념(spurious concepts)을 억제하는 방식은 그룹 주석이나 재학습이 필요한 기존 방법들과 대등한 성능을 보이면서도 이 둘 모두를 필요로 하지 않습니다.

arXiv:2609.27690v3cs.CL공통 태그 Fairness, counterfactual

합성 연구 검증에서의 중대한 행동과 표상적 공정성

Consequential Behaviour and Representational Fairness in the Validation of Synthetic Research

산업계와 학계의 연구자들은 인간 표본의 대체재로 대규모 언어 모델(LLM) 기반의 합성 설문 응답자를 활용하고 있다. 이러한 합성 모집단은 실제 데이터에 대한 검증(validation)이 필요하지만, 연구자들은 흔히 인간 대상 설문조사와의 임의적인(ad hoc) 비교를 통해 이를 처리하곤 한다. 행동과학의 의도-행동 격차(intention-behaviour gap)에서 착안하여, 본 연구는 의사결정권자가 중대한 행동(consequential behaviour)을 예측하기 위해 합성 연구를 의뢰하는 대부분의 응용 사례에서 기존의 검증 방식이 잘못된 대상을 평가하고 있다고 주장한다. 이러한 문제를 해결하기 위해 두 가지 요구사항을 갖춘 검증 프레임워크를 제안한다. 첫째, 모든 타당성 주장은 인간 데이터와의 일치 수준을 명시해야 한다. 즉, 표본이 대표하는 사람들의 행동을 예측하는지, 네 가지 진단(위치, 산포, 응답 과정, 구조) 중 무엇을 다루는지, 실험적 효과와 비교하는지를 밝혀야 한다. 둘째, 연구자는 하위 집단에 대한 타당성 주장을 보고해야 한다. 중대한 결정으로 인해 가장 큰 영향을 받는 대상이 주로 이들 집단이며, 전체 집계 정확도는 이들의 과소·오표상(misrepresentation)을 가리기 때문이다. 본 검증 프레임워크는 세 가지 정의 차원(분배적, 절차적, 인정적)을 측정 가능한 수치로 조작화하며, 페르소나 내 반사실적 실험(within-persona counterfactual experiments) 자체도 검증이 필요한 설계로 취급한다. 이어 본 프레임워크를 전기차 충전 요금제에 적용하고, 연구자가 설득력 있는 타당성 주장을 펼칠 수 있도록 돕는 보고 체크리스트를 제시하며 마무리한다.

arXiv:2610.01963v1cs.AI공통 태그 Fairness, counterfactual

임상 중증도 분류를 위한 오픈소스 대규모 언어 모델의 반사실적 바이어스 감사

Counterfactual Auditing of Bias in Open-Source Large Language Models for Clinical Triage

응급실(ED) 중증도 분류(triage)는 인구통계학적, 사회경제적 및 시스템적 맥락 정보가 중증도 지정에 부적절한 영향을 미칠 수 있는 중대한 우선순위 결정 작업입니다. 로컬 환경 및 개인정보를 보호하는 임상 의사결정 지원을 위해 오픈소스 대규모 언어 모델(LLM)의 활용이 점차 고려되고 있으나, 모델 제품군, 크기, 의료 도메인 모델 및 도메인 특화 적응 모델 전반에서 반사실적 바이어스가 어떻게 달라지는지는 여전히 불분명합니다. 본 논문에서는 소아 응급 중증도 지수(ESI) 예측을 위해 10개의 오픈소스 LLM을 대상으로 비교 반사실적 감사를 제시합니다. 실제 임상 사례 및 핸드북 스타일의 임상 비네트에서 출발하여, 임상적 증상은 고정한 채 주입된 인구통계학적, 사회경제적, 의료 접근성, 행동적, 사회적 또는 시스템 맥락 변수 중 단 하나만 변경한 쌍 형태의 반사실적 변형을 구성합니다. 대상 모델에는 Qwen2.5-7B, Qwen2.5-14B-Instruct, QLoRA 파인튜닝된 Qwen2.5-7B, MedGemma 변형들, MedLLaMA2-7B, GPT-OSS-20B 및 GPT-OSS-120B가 포함됩니다. 본 연구에서는 모든 반사실적 변화, 과소 분류(undertriage), 과대 분류(overtriage), 1단계 이상의 ESI 수준 변화, 평균 변화 및 평균 절대 변화를 측정합니다. 반사실적 민감도는 상당한 차이를 보였으며 모델 크기 증가나 의료 도메인 사전학습에 따라 일관되게 감소하지 않았습니다. 파인튜닝된 Qwen2.5-7B는 베이스 모델의 전체 변화율 16.02% 및 평균 절대 변화 0.1706에 비해, 5.27%의 전체 변화율과 0.0534의 평균 절대 변화를 기록하며 전반적으로 가장 낮은 민감도를 보였습니다. 몇몇 대형 모델 또는 의료 도메인 모델은 더 유의미한 변화를 보였습니다. 층화 및 상관 분석을 통해 집계된 수치에 가려졌던 임상적으로 중요한 방향성과 공통된 실패 패턴 또한 추가로 밝혀냈습니다. 이러한 결과는 임상 배포 전에 오픈소스 LLM의 공정성 위험을 비교하기 위한 경량화되고 임상적으로 해석 가능한 프레임워크로서 반사실적 감사를 지지합니다.

arXiv:2609.27382v1cs.SD공통 태그 Fairness, Representation Learning

얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정

When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models

음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.

arXiv:2609.28116v1cs.LG공통 태그 Representation Learning, Density Estimation

스크레이프오프 층(Scrape Off Layer) 플라즈마 시뮬레이션을 위한 확률적·기하 인지 신경망 대리 모델

Probabilistic and Geometry Aware Neural Surrogate of Scrape Off Layer Plasma Simulations

토카막 경계 플라즈마 시뮬레이션을 위한 고속 대리 모델(surrogate)은 일반적으로 전역 운전점(operating point)을 셀 값들의 평탄화된 벡터로 매핑하는 결정론적 회귀기이다. 디버터 탈부착(divertor detachment) 전이 근처에서는 정상 상태(steady state)가 단일 값으로 안정적으로 정해지지 않는다. 점 추정(point estimate)은 질적으로 서로 다른 플라즈마 상태들에 걸쳐 평균을 내야 하며, 신뢰도에 대한 어떠한 언급도 없이 결과를 내놓는다. 더욱이 평탄화된 벡터 표현은 SOLPS-ITER 메시의 기하학적 구조를 버린다. 본 연구는 이 두 가지 문제를 모두 다룬다. 우리는 곡선형(curvilinear) 메시를 셀 인접성을 보존하고 정확히 역변환되는 배치를 가진 세 개의 고정 크기 이미지 텐서로 펼쳐, 합성곱 신경망(convolutional network)이 정보 손실 없이 기하 구조 위에서 동작할 수 있도록 한다. 이후 민감도가 높은 시스템에 적합한 조건부 플로 매칭(conditional flow matching) 모델을 이 표현 위에서 학습한다. 그 결과 민감한 운전점에서도 여러 개의 그럴듯한 결과를 포착하는 효율적이고 확장 가능한 대리 모델을 얻는다. 가스 퍼프(gas-puff) 스캔을 따라, 예측 분포는 초기 레짐 전이(regime transition)를 지나면서 고온 모드와 저온 모드로 갈라진다. 크기가 알려진 분기(bifurcation)를 주입한 합성 데이터에 대한 추가 검증에서도, 모델이 두 분기의 평균이 아니라 두 분기를 각각 복원함을 확인한다.

arXiv:2609.28405v1cs.LG공통 태그 Representation Learning, Density Estimation

미분 가능한 가우시안 표현을 통한 집단 동역학 학습

Learning Collective Dynamics with Differentiable Gaussian Representations

집단적 반응은 개인차, 접촉 기회, 그리고 누적된 경험에 따라 달라집니다. 총합된 집계 카운트로부터 이러한 동역학을 학습하려면 집단의 반응 분포를 현재 관측치 및 미래 행동 모두와 연결해야 합니다. 본 논문에서는 세 가지 구성 요소를 통해 이러한 연결을 학습하는 Differentiable Gaussian Dynamics(DGD)를 소개합니다. 이는 이질적인 반응 성향을 나타내는 가우시안 혼합(Gaussian mixture), 접촉 강도 및 행동 확률의 미분 가능한 집계, 그리고 후속 반응을 업데이트하는 피드백 순환입니다. 재매개변수화된 적분과 시간적 순환을 통해 집계된 예측 오차가 분포, 관측 함수, 피드백 파라미터를 공동으로 학습(training)할 수 있게 합니다. KuaiRand-Pure 및 Online Retail II의 4개 윈도우에서 DGD는 결합 행동 헤드를 갖춘 DeepAR 변형보다 더 낮은 결합 행동 음의 로그 가능도(negative log-likelihood)를 달성합니다. Retail 2010에서 DGD의 1일 행동 카운트 MAE는 해당 변형의 6.88 대비 4.71입니다. KuaiRand의 표준 추천 윈도우에서 분포를 학습하면 고정된 가우시안 대비 행동 음의 로그 가능도가 10.82% 감소하며, 통제된 실험에서 피드백 동역학을 제거하면 결합 KL이 0.0340에서 0.2577로 증가합니다. 이러한 결과는 집계된 관측치로부터 집단 표현과 그 피드백 과정을 학습하는 것의 가치를 입증합니다. 코드는 https://github.com/OranAi-Ltd/oransim 에서 이용할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.