DR-VIDAL -- Doubly Robust Variational Information-theoretic Deep Adversarial Learning for Counterfactual Prediction and Treatment Effect Estimation on Real World Data
원문 초록
Determining causal effects of interventions onto outcomes from real-world, observational (non-randomized) data, e.g., treatment repurposing using electronic health records, is challenging due to underlying bias. Causal deep learning has improved over traditional techniques for estimating individualized treatment effects (ITE). We present the Doubly Robust Variational Information-theoretic Deep Adversarial Learning (DR-VIDAL), a novel generative framework that combines two joint models of treatment and outcome, ensuring an unbiased ITE estimation even when one of the two is misspecified. DR-VIDAL integrates: (i) a variational autoencoder (VAE) to factorize confounders into latent variables according to causal assumptions; (ii) an information-theoretic generative adversarial network (Info-GAN) to generate counterfactuals; (iii) a doubly robust block incorporating treatment propensities for outcome predictions. On synthetic and real-world datasets (Infant Health and Development Program, Twin Birth Registry, and National Supported Work Program), DR-VIDAL achieves better performance than other non-generative and generative methods. In conclusion, DR-VIDAL uniquely fuses causal assumptions, VAE, Info-GAN, and doubly robustness into a comprehensive, performant framework. Code is available at: https://github.com/Shantanu48114860/DR-VIDAL-AMIA-22 under MIT license.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CycleGAN 및 반사실-분류기 정렬 점수를 활용한 망막 질환 분류를 위한 반사실 설명 가능성 프레임워크
Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification
안저 영상으로부터 시력을 저해하는 망막 기반 안과 질환의 자동 탐지는 조기 스크리닝, 적시 의뢰, 전문의 중심 평가에 대한 의존도 감소에 중요하며, 이를 위해 신경망 기반 심층 학습(DL) 모델이 널리 활용되어 왔다. 그러나 DL 프레임워크의 설명 가능성은 임상 채택의 주요 병목으로 남아 있으며, 특히 모델의 판단이 임상적으로 의미 있는 망막 영역과 연결되지 않을 때 그렇다. 이 문제를 해결하기 위해 본 연구는 CounterFundus라는 새로운 CycleGAN 기반 반사실 설명 가능성 프레임워크를 제안하며, EfficientNet-B5 기반 망막 질환 탐지와 시각적으로 해석 가능한 질병-정상 안저 영상 변환을 통합한다. 각 병리학적 영상에 대해 CycleGAN 생성기가 산출한 반사실은 추정된 건강한 대응 영상을 나타내며, 그로부터 얻은 차이 맵은 질환 관련 망막 변화의 국소화에 활용된다. 기존의 사후(post-hoc) saliency 방법과 달리, CounterFundus는 시각적으로 그럴듯한 질병-정상 망막 변환을 통해 반사실 설명을 제공한다. 이어서 반사실 차이 맵과 분류기 saliency 간의 공간적 일치를 정량화하기 위해 반사실-분류기 정렬 점수(Counterfactual-Classifier Alignment Score, CCAS)를 도입하며, Spearman 상관, 이진 IoU, 포인팅 정확도(pointing accuracy)를 단일 평가 프로토콜에 임베딩한다. 이를 위해 EigenCAM 정렬 평가를 수행한 결과, 생성된 반사실 설명이 모든 CCAS 차원에서 분류기 관련 망막 근거와 공간적으로 일관됨을 보여준다. 또한 ablation 연구는 CCAS로 필터링한 반사실 증강이 안저 영상의 하위 분류 성능을 향상시킴을 추가로 확인하여, CounterFundus를 망막 질환 탐지를 위한 임상적으로 그라운딩된 설명 가능 인공지능(XAI) 프레임워크로 확립한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크
Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning
텍스트-이미지(T2I) 생성 모델은 자연어 프롬프트로부터 시각적으로 사실적인 이미지를 생성하는 데 괄목할 만한 진전을 이루었다. 그러나 이러한 성공이 진정한 인과적 이해를 반영하는지, 아니면 시각-텍스트 상관관계에 대한 정교한 패턴 매칭인지는 여전히 불분명하다. 러셀의 귀납주의 칠면조에서 착안하여, 본 논문은 텍스트-이미지 모델이 현실 세계의 사전 지식과 체계적으로 모순되는 규칙 아래에서 이미지를 생성할 수 있는지 조사하기 위해 설계된 반사실 벤치마크인 Counterfactual-World(CF-World)를 소개한다. CF-World는 각 시나리오를 세 가지 점진적 수준으로 구성한다. 일반적인 세계 지식에 따른 사실 생성, 직접적인 시각 지시를 포함한 명시적 반사실 생성, 그리고 변경된 규칙으로부터의 인과적 연역이 필요한 암묵적 반사실 생성이다. 시각-언어 모델 기반 점수 산정 파이프라인인 CF-Eval을 사용하여 오픈소스 및 클로즈드소스 텍스트-이미지 모델을 평가한다. 각 프롬프트 수준의 점수를 주요 결과로 보고하고, 사전 저항률(Prior Resistance Rate, PRR)과 추론 유지율(Reasoning Retention Rate, RRR)을 보조적 기술 지표로 사용한다. 평가한 모든 모델은 반사실 프롬프트에서 사실 프롬프트보다 낮은 점수를 받았다. 진단 실험은 변경된 규칙을 따르는 것과 드물게 함께 나타나는 시각적 속성을 재조합하는 것에 어려움이 있음을 보여준다. 객체와 속성 이름을 바꿔 표현했을 때의 향상은 반사실 생성에서 학습된 시각적 사전 지식이 역할을 한다는 해석과 부합한다. 본 벤치마크와 평가 코드는 https://jylei16.github.io/CF-World.github.io/ 에서 공개되어 있다.
Einstein World Models
Einstein World Models
지능은 직접적인 경험을 넘어서는 현상에 대해 추론할 수 있는 능력을 필요로 하는가? 일부 복잡한 사고는 언어만으로는 포착할 수 없다고 의심하는 것은 자연스럽다. 그러나 본 연구가 특히 관심을 두는 것은, 반사실적(counterfactual) 사건을 시각화하는 것이 복잡한 사고의 메커니즘으로서 언어를 보완할 수 있는지 여부이다. 우리는 대규모 언어 모델(LLM)이 이러한 시각화 메커니즘을 활용하도록 학습될 수 있으며, 그 방식이 추론 능력 향상에 도움이 되는지 묻는다. 이 질문에서 영감을 받아, 우리는 Einstein World Models를 제안한다. EWM은 시각-시간적 롤아웃을 추론 trace 안에 배치하는 LLM 기반 추론 시스템의 청사진(blueprint)으로, 텍스트만으로는 잘 지원하지 못할 수 있는 방식으로 추론할 수 있게 한다. EWM에서 LLM은 검토 중인 장면에 대한 짧은 롤아웃을 생성하기 위해 world-module(월드 모델(world model)과 혼동하지 말 것)을 호출한다. 반환된 롤아웃은 답이 아니라, 이후 추론을 지원할 수 있는 검사 가능한 가설(hypothesis)로 취급된다. Einstein World Models는 LLM의 도구 호출(tool calling) 능력(예: 웹 검색 또는 코드 실행)을 시각적 사고 실험(thought experiment) 영역으로 확장한다.
내성적 결합: 고정된 지도 신호에도 불구하고 행동 변화를 추적하는 자기 설명 학습
Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision
언어 모델(LM)이 자신의 예측에 대한 설명을 생성하도록 학습시키면 언제 피상적 모방이 아닌 충실한 내성(introspection)이 나타나는가? 우리는 입력의 어떤 특징이 자신의 행동에 영향을 미쳤는지 설명하도록 학습된 LM을 연구하며, 수정된 입력에 대한 모델의 반사실적 행동을 지도 신호로 사용한다. 놀랍게도, 자신의 이전 체크포인트에서 도출된 고정된 반사실적 설명, 또는 심지어 다른 계열의 행동이 유사한 모델에서 도출된 설명으로 학습된 LM이 학습 대상의 행동보다 자신의 현재 행동에 더 충실한 설명을 자주 생성함을 발견했다. LM 설명과 행동 간의 이러한 "내성적" 결합은 행동 자체가 변하더라도 학습 설명이 학습 과정 내내 현재 행동과 충분히 상관되어 있을 때 나타난다. 또한 내성적 결합이 행동 변화를 따라간다는 점도 보인다. 설명 학습이 다른 사후 학습 목표와 동시에 제공되면, 갱신된 지도 없이도 설명이 그에 맞게 변한다. 이 현상은 아첨(sycophancy)과 거부를 포함한 여러 과제에서 나타나며 레이블 잡음에도 견고하다. 전반적으로 우리의 결과는 고정된 반사실적 설명 데이터셋조차도 내성을 위한 확장 가능하고 일반화 가능한 사후 학습 신호를 제공할 수 있음을 보여 준다.
다인 불완전 정보 게임에서 내시 균형 계산을 위한 변수 경계 강화
Variable Bound Tightening for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games
대규모 2인 제로섬 불완전 정보 게임에서의 내시 균형 근사와 다인 전략형 게임에서의 내시 균형 정확 계산을 위한 알고리즘은 최근 상당한 진전을 이루었다. 반사실적 후회 최소화와 가상 플레이는 대규모 게임으로 확장 가능하고 2인 제로섬 게임에서 수렴 보장을 갖지만, 다인 게임에서는 내시 균형으로의 수렴을 보장하지 않는다. 최근 시퀀스형 게임 표현에서 유도된 비선형 상보성 문제 정식화에 기반한 이차 제약 프로그램을 풀어 다인 불완전 정보 게임의 내시 균형을 정확히 계산하는 접근법이 제시되었다. 이 정식화는 쌍선형 항의 볼록 완화를 풀어 변수 경계를 반복적으로 정제하는 공간 분기한정법을 사용하는 Gurobi의 비볼록 이차 솔버로 풀렸다. 사전 풀이(presolve) 과정에서 Gurobi는 보조 변수를, 경우에 따라서는 이진 변수를 도입하여 내부적으로 혼합 정수 이차 제약 프로그램을 만든다. 이 접근법은 Gambit 소프트웨어 모음의 기존 알고리즘보다 우수한 성능을 보였고 지배되는 행동을 제거한 후 3인 쿤 포커를 빠르게 풀었으나, 게임의 전체 버전은 24시간 내에 풀지 못했다. 본 논문에서는 비선형 상보성 정식화에서 여유(slack) 변수와 승수 변수에 대한 유한 경계를 도출한다. 이 경계는 공간 분기한정법 내에서 사용되는 볼록 완화를 강화할 수 있다. 전체 3인 쿤 포커에서 균일한 따름정리 기반 경계와 더 세밀한 명제 기반 경계를 비교한다. 경계를 적용한 여덟 가지 구성 모두 17초 이내에 수치적으로 검증된 균형을 반환한 반면, 경계가 없는 정식화는 300초 내에 실행 가능해를 찾지 못한다. 가장 세밀한 경계가 항상 가장 빠른 계산을 가져오는 것은 아니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.