arXiv:2010.02114

Explaining The Efficacy of Counterfactually Augmented Data

Divyansh Kaushik, Amrith Setlur, Eduard Hovy, Zachary C. Lipton

제출 2020-10-05

원문 초록

In attempts to produce ML models less reliant on spurious patterns in NLP datasets, researchers have recently proposed curating counterfactually augmented data (CAD) via a human-in-the-loop process in which given some documents and their (initial) labels, humans must revise the text to make a counterfactual label applicable. Importantly, edits that are not necessary to flip the applicable label are prohibited. Models trained on the augmented data appear, empirically, to rely less on semantically irrelevant words and to generalize better out of domain. While this work draws loosely on causal thinking, the underlying causal model (even at an abstract level) and the principles underlying the observed out-of-domain improvements remain unclear. In this paper, we introduce a toy analog based on linear Gaussian models, observing interesting relationships between causal models, measurement noise, out-of-domain generalization, and reliance on spurious signals. Our analysis provides some insights that help to explain the efficacy of CAD. Moreover, we develop the hypothesis that while adding noise to causal features should degrade both in-domain and out-of-domain performance, adding noise to non-causal features should lead to relative improvements in out-of-domain performance. This idea inspires a speculative test for determining whether a feature attribution technique has identified the causal spans. If adding noise (e.g., by random word flips) to the highlighted spans degrades both in-domain and out-of-domain performance on a battery of challenge datasets, but adding noise to the complement gives improvements out-of-domain, it suggests we have identified causal spans. We present a large-scale empirical study comparing spans edited to create CAD to those selected by attention and saliency maps. Across numerous domains and models, we find that the hypothesized phenomenon is pronounced for CAD.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22582v1cs.CV공통 태그 Domain Generalization, counterfactual

리더보드를 넘어서: 도메인 시프트 하의 엔드투엔드 및 VLA 주행 정책에 대한 반사실적 진단

Beyond the Leaderboard: Counterfactual Diagnosis of End-to-End and VLA Driving Policies Under Domain Shift

엔드투엔드 및 비전-언어-행동(VLA) 주행 정책은 리더보드 순위로 비교되지만, 순위는 결과만 보여줄 뿐 그 뒤에 있는 행동을 보여주지 않기 때문에 새로운 장소에서 정책이 어떻게 행동할지를 잘 예측하지 못한다. 공개된 여섯 개의 정책에서, nuScenes 오픈루프 오차나 NAVSIM 리더보드 상의 순위는 새로운 장소에서 자아 차량(ego) 주행 통로 근처에 보행자가 있는 장면으로는 이어지지 않는다. 우리는 반사실적 점검(counterfactual check-up)을 제안한다: 수백 개의 실제 프레임을 각각 두 가지 방식(보행자 제거, 또는 야간 스타일 섭동에 의한 재조명)으로 편집하고, 모든 편집을 독립적인 검출기로 검증하며, 계획된 궤적의 변화를 점수가 아닌 진단으로 해석한다. 이러한 편집으로부터 두 개의 인과 축(causal axes)을 읽어내고, 이를 기반으로 한 다섯 가지 검사는 하나의 점수가 뒤섞어 놓은 것들을 분리한다: 정책이 얼마나 멀리까지 주행할 계획인지, 보행자를 인지하는 것이 안전성을 확보해주는지, 그 반응이 위험도에 비례해 커지는지, 아무런 요구가 없을 때도 계획이 변하는지, 그리고 무관한 조명 변화가 계획을 얼마나 움직이는지. 246개의 NAVSIM 보행자 인접 장면에서, 보행자가 계획된 경로 위에 있는 셀 중 단 1.9%만이 진정한 회피 반응이었으며, 우리의 오픈루프 프로토콜 하에서 모든 정책에 대해 여유 거리(clearance)의 중앙값 변화는 최대 0.03 m, 계획된 거리의 중앙값 변화는 최대 0.08 m에 불과했다. 좌측통행에서 우측통행으로의 사전등록된(pre-registered) 테스트에서, 노출(exposure) 및 특이성(specificity) 순위, 조명 판정(lighting verdict), 충돌 결과는 전이되었지만, 점수 값과 위험 민감도(hazard-sensitivity) 판정은 전이되지 않았다. 선별 보고서(selection report)로 읽으면, 이 프로파일들은 어떤 정책이 짧게 계획하기 때문에 안전한지, 어떤 정책이 양보 없이도 인간과 비슷한 거리를 확보하는지, 어떤 정책이 아무런 반응이 필요 없는 변화에도 불안정한지를 말해주며, 각 판정에 드는 비용도 알려준다: 대부분은 수십 개의 프레임 내에서 안정되지만, 위험 민감도는 수백 개가 필요하다. 코드와 편집된 프레임은 공개될 예정이다.

arXiv:2607.22705v1cs.CV공통 태그 Domain Generalization, counterfactual

EditCLEVR: 객체 중심 표현의 구성적 충실성을 위한 전후 쌍 장면 개입 벤치마크

EditCLEVR: A Paired-Scene Intervention Benchmark for Compositional Faithfulness of Object-Centric Representations

객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.

arXiv:2607.10777v1cs.CV공통 태그 Domain Generalization, counterfactual

RED-Sphere: 교차 집단 안저 질환 도메인 일반화를 위한 초구면 잔차 에지 편향 제거

RED-Sphere: Hyperspherical Residual Edge Debiasing for Cross-Population Fundus Disease Domain Generalization

의료 이미지 분류기는 흔히 단일 소스 집단 내에서 학습되지만, 임상 배포 시에는 외형, 촬영 방식, 질병 유병률이 소스 코호트와 다른 환자들에 대한 강건성이 요구된다. 기존의 공정성 및 강건성 방법들은 그룹 감독을 필요로 하거나 외형 변화를 단순한 잡음으로 처리하는 경우가 많으며, 이는 집단과 상관된 저수준 단서와 병변 증거가 에지 및 텍스처 구조를 공유할 때 불충분하다. 우리는 엄격한 소스 전용 교차 집단 설정을 연구하며, 이 설정에서는 외부 집단이 최적화, 검증, 스케줄링, 하이퍼파라미터 및 모델 선택 과정에서 관측되지 않는다. 우리는 미관측 집단 이동 하에서의 이미지 분류를 위한 플러그 앤 플레이 강건성 프레임워크인 RED-Sphere를 제안한다. 이 프레임워크는 에지 및 특징 에너지 사전 분포를 이용해 단축 경로에 민감한 잡음 응답을 추정하고, 잔차 소프트 게이팅을 통해 지배적인 응답을 약화시키며, 반사실적 영감의 일관성 및 분리 손실로 마스킹된 잡음 뷰를 정규화하고, 정규화된 구면 프로토타입으로 레이블을 예측한다. 병변 구조를 보존하면서 소스와 상관된 활성화 크기보다 각도적 의미론적 증거를 선호한다. 노인성 황반변성(AMD)과 당뇨망막병증(DR)을 위한 2D 주사 레이저 안저경(SLO) 안저 분류에서 시연되었지만, RED-Sphere는 망막 해부학에 국한되지 않는다: 외형 단축 경로와 의미론적 증거가 얽혀 있는 모든 곳에서 양식 특화 잡음 사전 분포와 함께 동일한 원리를 적용할 수 있다. 엄격한 백인 전용 Harvard-FairVision 프로토콜 하에서, RED-Sphere는 20가지 태스크 및 백본 비교 전반에 걸쳐 보류 매크로-F1을 향상시키며, AMD와 DR에서 각각 평균 1.28 및 2.98 F1 포인트의 향상을 달성한다. AUC 및 PR-AUC의 향상, 시각적 진단, 절제 연구, 민감도 분석은 더 강력한 외부 의미론적 정렬과 더 안정적인 각도 질환 기하학을 추가로 지지한다.

arXiv:2607.05850v1cs.CV공통 태그 Domain Generalization, counterfactual

생성적 무작위화와 교차 변형 자기지도 학습을 통한 허위 상관관계 제거

Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

경험적 위험 최소화(ERM)로 학습된 심층 신경망은 객체 레이블과 배경 맥락 사이의 허위 상관관계를 활용하기 때문에 분포 이동 상황에서 자주 실패한다. 최근의 생성적 접근법들은 맥락이 변경된 반사실적 이미지를 생성하여 이 문제를 해결하고자 하지만, 일반적으로 해당 샘플을 표준 데이터 증강으로만 활용하여 모델이 배경에 민감한 표현을 유지할 여지를 남긴다. 우리는 생성적 개입을 사용해 배경 불변 시각적 표현을 명시적으로 학습하는 2단계 프레임워크를 제안한다. 먼저, 제로샷 분할로 전경 객체를 분리하고 구조 보존 확산 모델로 맥락이 이동된 변형 이미지를 생성하여, 주변 환경을 변화시키는 동시에 객체 정체성을 보존한다. 이어서, 서로 다른 배경 하에서 동일한 객체의 변형들이 대조 목적함수에서 양성 쌍을 형성하는 교차 변형 자기지도 학습(Cross-Variant Self-Supervised Learning)을 도입한다. 이를 통해 인코더가 배경별 단서를 억제하면서 객체 중심 표현을 정렬하도록 유도한다. 그런 다음, 사전학습된 인코더를 ERM 웜업에 이어 층별 학습률을 적용한 GroupDRO로 순차적으로 파인튜닝한다. 분포 이동 벤치마크 실험에서 최상의 최악 그룹 성능을 달성하였으며, Waterbirds에서 92.5%, MetaShift에서 81.7%, NICO++에서 87.4%를 기록한다. 코드: https://github.com/surajyadav-research/GRSSL

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2609.07780v3cs.CV공통 태그 Domain Generalization

DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석

DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models

자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.