arXiv:2311.03186

Model-based Counterfactual Generator for Gender Bias Mitigation

Ewoenam Kwaku Tokpo, Toon Calders

제출 2023-11-06

원문 초록

Counterfactual Data Augmentation (CDA) has been one of the preferred techniques for mitigating gender bias in natural language models. CDA techniques have mostly employed word substitution based on dictionaries. Although such dictionary-based CDA techniques have been shown to significantly improve the mitigation of gender bias, in this paper, we highlight some limitations of such dictionary-based counterfactual data augmentation techniques, such as susceptibility to ungrammatical compositions, and lack of generalization outside the set of predefined dictionary words. Model-based solutions can alleviate these problems, yet the lack of qualitative parallel training data hinders development in this direction. Therefore, we propose a combination of data processing techniques and a bi-objective training regime to develop a model-based solution for generating counterfactuals to mitigate gender bias. We implemented our proposed solution and performed an empirical evaluation which shows how our model alleviates the shortcomings of dictionary-based solutions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13977v1cs.CL공통 태그 Data Augmentation, counterfactual

측면 기반 감성 분석을 위한 제약 인식 반사실적 편집

Constraint-Aware Counterfactual Editing for Aspect-Based Sentiment Analysis

측면 기반 감성 분석(ABSA)은 모델이 문장의 전역 극성에 의존하기보다 특정 측면에 대한 감성을 식별해야 한다. 이로 인해 반사실적 평가는 특히 어려운 과제가 된다. 유효한 반사실적 사례는 하나의 대상 측면 감성을 뒤집으면서, 비대상 측면의 감성, 의미, 유창성, 사실적 일관성은 모두 보존해야 한다. 기존의 반사실적 생성 방법은 종종 문장 수준의 레이블 뒤집기에 집중하며, 유창하지만 측면 관점에서 유효하지 않거나 의미가 표류하거나 모순되는 편집을 생성할 수 있다. 이 한계를 해결하기 위해, 우리는 측면 수준의 반사실적 사례를 생성하고 검증하기 위한 제약 인식 검증 편집(Constraint-Aware Validated Editing) 프레임워크인 CAVE-ABSA를 제안한다. CAVE-ABSA는 대상 측면과 연관된 의견 구간을 국소화하고, 통제된 반사실적 재작성을 수행하며, 수선 모듈을 통해 후보를 정제하고, 측면 수준 검증, 의미 유사도, AMR 기반 구조 보존, 편집 최소성, 유창성, 모순 탐지를 사용하여 이를 필터링한다. 이 프레임워크는 견고성 평가와 데이터 증강을 위해 검증된 반사실적 ABSA 데이터셋을 구축하도록 설계되었다. 생성과 검증을 명시적으로 분리함으로써, CAVE-ABSA는 의미 있는 측면 국소 반사실적 사례를 생성하고 ABSA 모델이 실제로 측면 기반 감성 추론에 의존하는지 검증하는 체계적인 접근법을 제공한다.

arXiv:2607.05850v1cs.CV공통 태그 Data Augmentation, counterfactual

생성적 무작위화와 교차 변형 자기지도 학습을 통한 허위 상관관계 제거

Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

경험적 위험 최소화(ERM)로 학습된 심층 신경망은 객체 레이블과 배경 맥락 사이의 허위 상관관계를 활용하기 때문에 분포 이동 상황에서 자주 실패한다. 최근의 생성적 접근법들은 맥락이 변경된 반사실적 이미지를 생성하여 이 문제를 해결하고자 하지만, 일반적으로 해당 샘플을 표준 데이터 증강으로만 활용하여 모델이 배경에 민감한 표현을 유지할 여지를 남긴다. 우리는 생성적 개입을 사용해 배경 불변 시각적 표현을 명시적으로 학습하는 2단계 프레임워크를 제안한다. 먼저, 제로샷 분할로 전경 객체를 분리하고 구조 보존 확산 모델로 맥락이 이동된 변형 이미지를 생성하여, 주변 환경을 변화시키는 동시에 객체 정체성을 보존한다. 이어서, 서로 다른 배경 하에서 동일한 객체의 변형들이 대조 목적함수에서 양성 쌍을 형성하는 교차 변형 자기지도 학습(Cross-Variant Self-Supervised Learning)을 도입한다. 이를 통해 인코더가 배경별 단서를 억제하면서 객체 중심 표현을 정렬하도록 유도한다. 그런 다음, 사전학습된 인코더를 ERM 웜업에 이어 층별 학습률을 적용한 GroupDRO로 순차적으로 파인튜닝한다. 분포 이동 벤치마크 실험에서 최상의 최악 그룹 성능을 달성하였으며, Waterbirds에서 92.5%, MetaShift에서 81.7%, NICO++에서 87.4%를 기록한다. 코드: https://github.com/surajyadav-research/GRSSL

arXiv:2607.12909v2q-bio.NC공통 태그 counterfactual

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2610.02480v2cs.AI공통 태그 counterfactual

MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템

MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations

최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.

arXiv:2609.26142v2stat.ME공통 태그 counterfactual

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.