arXiv:2510.24046v2 cs.LG

강화학습을 활용한 인과 인식 테이블형 생성적 적대 신경망

Causal-Aware Tabular GANs with Reinforcement Learning

Tu Anh Hoang Nguyen, Dang Nguyen, Tri-Nhan Vo, Thuc Duy Le, Trung Le, Sunil Gupta

제출 2025-10-28

저자 비고

arXiv Comments

Accepted at Asian Conference on Machine Learning (ACML) 2026

한국어 초록

기존 테이블형 데이터 생성 방법은 실제 데이터와 합성 데이터 간의 통계적 분포 일치에 주로 집중하여 기저에 존재하는 인과 관계 보존을 간과하는 경우가 많습니다. 그 결과 생성된 샘플은 겉보기에 현실적으로 보일 수 있지만, 신뢰할 수 있는 다운스트림 분석에 필요한 인과 구조를 유지하지 못할 수 있습니다. 본 연구에서는 학습(training)과 생성 과정 모두에 인과적 지식을 명시적으로 통합하는 테이블형 데이터 합성용 인과 인식 생성 프레임워크인 CA-GAN을 제안합니다. CA-GAN은 먼저 실제 데이터에서 인과 그래프를 추출하여 구조적 사전 지식을 제공한 다음, 하위 생성기가 인과적 의존성에 따라 변수를 모델(model)링하는 그래프 조건부 Conditional WGAN-GP를 적용합니다. 더욱 중요하게는, 실제 데이터와 합성 데이터 간의 인과 그래프 불일치를 보상(reward) 신호로 취급하는 강화학습(reinforcement learning) 기반 목적 함수를 도입하여, 인과적 일관성이 샘플링 순서의 암묵적인 결과가 아닌 학습 과정에서의 명시적인 최적화 목표가 되도록 합니다. 14개의 합성 및 실제 데이터셋에 대한 광범위한 실험을 통해 CA-GAN이 뛰어난 다운스트림 유용성, 프라이버시 보호 및 데이터 품질을 달성하는 동시에 인과 관계 보존 측면에서 7개의 최신 베이스라인을 일관되게 능가함을 입증합니다. 이러한 결과는 CA-GAN이 기저의 인과 메커니즘을 보다 잘 반영하는 고품질 합성 테이블형 데이터를 생성하기 위한 효과적이고 실용적인 솔루션을 제공함을 보여줍니다.

원문 초록

Existing tabular data generation methods primarily focus on matching statistical distributions between real and synthetic data, often overlooking the preservation of underlying causal relationships. As a result, generated samples may appear realistic while failing to maintain the causal structure required for reliable downstream analysis. We propose CA-GAN, a causal-aware generative framework for tabular data synthesis that explicitly incorporates causal knowledge into both the training and generation processes. CA-GAN first extracts a causal graph from real data to provide structural prior knowledge, then employs a graph-conditioned Conditional WGAN-GP whose sub-generators model variables according to their causal dependencies. More importantly, we introduce a reinforcement learning-based objective that treats causal graph discrepancy between real and synthetic data as a reward signal, enabling causal consistency to become an explicit optimization target during training rather than an implicit consequence of sampling order. Extensive experiments on 14 synthetic and real-world datasets demonstrate that CA-GAN consistently outperforms seven state-of-the-art baselines in causal preservation while achieving strong downstream utility, privacy preservation, and data quality. These results show that CA-GAN provides an effective and practical solution for generating high-quality synthetic tabular data that better respects underlying causal mechanisms.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.24046v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02074v1cs.AI공통 태그 Reinforcement Learning, Privacy Preserving

동형 이점 연산자: 완전동형암호 제약 조건에서의 강화학습 안정화

Homomorphic Advantage Operator: Stabilizing Reinforcement Learning Under Fully Homomorphic Encryption Constraints

기밀 데이터를 다루는 지능형 시스템에서 프라이버시 보존 머신러닝을 클라우드에 배포하는 것은 상당한 과제를 안겨줍니다. 완전동형암호(FHE)는 안전한 연산을 제공하여 클라우드 연산의 데이터 기밀성을 보존하는 매력적인 설루션을 제시합니다. 그러나 강화학습(RL)에 FHE를 적용하려면 비선형 연산을 다항식 근사로 대체해야 하는데, 이는 벨만 드리프트(Bellman drift)로 알려진 고유한 재귀적 오류 현상으로 인해 치명적인 발산을 초래합니다. 본 논문에서는 FHE 기반 심층 강화학습에서 다항식 근사의 발산을 방지하도록 설계된 안정화 프레임워크인 동형 이점 연산자(Homomorphic Advantage Operator, HAO)를 소개합니다. HAO는 이점(advantage) 기반 가치 추정의 영평균 중심화 투영을 시간차(TD) 타깃에 직접 적용합니다. 이 선형 투영은 벨만 드리프트를 유발하는 균일한 상태 가치 기준선(baseline)을 소멸시켜, 추가적인 비선형 곱셈 깊이를 전혀 요구하지 않고 비용이 많이 드는 암호문 부트스트래핑을 피하면서도 상태별 행동 순위를 유지합니다. 제안된 HAO 프레임워크는 표 형태의 마르코프 결정 과정(MDP), 실제 CKKS 암호화 연산을 사용하는 암호화된 CartPole 환경, 조밀한 연속형 특성을 지닌 20개 노드의 물류 라우팅 벤치마크를 포함하는 3단계 실험 방법론을 통해 평가되었습니다. 결과에 따르면 제안된 HAO는 네트워크 사전 활성화 값을 안전한 다항식 근사 도메인 내로 엄격하게 제한합니다. 제안된 HAO 강화학습 에이전트는 사용된 모든 무작위 시드에서 0%의 경계 이탈을 달성한 반면, 정규화(L2 가중치 감쇠 및 그래디언트 클리핑)만을 적용했을 때는 5개 시드 중 3개에서 경계를 벗어났고 안정화되지 않은 기준선 모델은 83.8%의 에피소드에서 경계를 이탈했습니다. 마지막으로, HAO 에이전트는 표 형태 도메인에서 최적 정책 정확도를 18.0%포인트 향상시키며, 클리핑된 그래디언트에 DP-SGD 스타일의 가우시안 노이즈가 추가되었을 때도 안정성을 유지합니다.

arXiv:2609.27399v1cs.SD공통 태그 Reinforcement Learning, Privacy Preserving

누구를 잊었는지 잊기: 제로샷(zero-shot) 텍스트 음성 변환에서 재식별 방지를 위한 화자 언러닝

Forget who you Forgot: Speaker Unlearning to Prevent Re-Identification in Zero-Shot Text-to-Speech

최근의 제로샷(zero-shot) 텍스트 음성 변환(ZS-TTS) 시스템은 불과 몇 초의 참조 음성만으로도 화자의 음성을 높은 충실도로 재현할 수 있어, 무단 음성 복제 및 사칭에 대한 우려를 낳고 있습니다. 이에 대응하여 최근 제외를 요청한(opt-out) 화자에 대해서는 이러한 기능을 선택적으로 억제하는 동시에 다른 화자에 대한 합성 능력은 보존하는 화자 정체성 언러닝(speaker identity unlearning)이 하나의 접근법으로 부상했습니다. 기존 접근법들은 화자 유사도를 낮추지만, 재식별(re-identification)을 방지하는 과정에서 음질이 심각하게 저하되는 문제에 직면하곤 합니다. 이러한 관찰에 착안하여, 본 논문에서는 동결된 TTS 백본(backbone) 상에서 학습된 화자 게이트와 화자-비의존적 활성화 스티어링(activation steering)을 결합한 경량 화자 정체성 언러닝 프레임워크인 GUARD를 제안합니다. 스티어링 벡터는 명료도와 음성 자연스러움을 보존하면서 망각 대상(forget) 화자의 출력을 모집단 수준의 사칭자(impostor) 유사도로 이동시키기 위해 집단-상대적 보상 최적화(group-relative reward optimization)를 사용하여 최적화됩니다. CosyVoice2에서 GUARD는 유지 대상(retain) 화자의 재현 성능을 보존하면서, 망각 대상 화자의 유사도를 0.541에서 0.103으로, 150명 화자 갤러리에서의 재식별 정확도를 73.5%에서 0.5%로 낮춥니다. 이러한 결과는 유사도 감소만으로는 성공적인 화자 정체성 언러닝을 완전히 특정하기 어려울 수 있음을 입증하며, 언러닝 평가(evaluation)를 위한 상호보완적 기준으로서 재식별을 강조합니다.

arXiv:2609.23184v1cs.CV공통 태그 Causal Inference, Reinforcement Learning

CausalWM: 체화된 월드 모델을 위한 인과적 사고의 연쇄 추론

CausalWM: Causal Chain-of-Thought Reasoning for Embodied World Model

체화된 월드 모델(Embodied World Model)은 시각적 관측과 제어 신호로부터 미래의 물리적 동역학을 예측하도록 학습하며, 이때 물리적 지식은 잠재 표현(latent representation) 내에 암묵적으로 얽혀 있다. 본 논문에서는 미래 비디오 예측 이전에 명시적인 인과적 사고의 연쇄(Causal Chain-of-Thought) 추론을 수행하는 160억 파라미터(16B) 규모의 체화된 월드 모델인 CausalWM을 소개한다. CausalWM은 유용한 변수들을 하나의 추론 궤적(reasoning trajectory)으로 구성하여, 모델이 물리적 진화의 근저에 있는 인과적 의존성을 점진적으로 포착할 수 있도록 한다. CausalWM을 학습시키기 위해 3만 1천 시간(31K hours) 분량의 체화된 데이터를 수집하였으며, 대규모 비디오 사전학습, 인과적 CoT 중간 학습(mid-training), 다중 목적 강화학습(RL) 사후 학습으로 구성된 3단계 패러다임을 개발하였다. 제한된 수의 지도(supervised) CoT 변수만을 사용했음에도 불구하고, CausalWM은 창발적인 문맥 내 학습(in-context learning) 능력을 보여주며, 이를 통해 문맥적 시각 특징 유도와 효율적인 소수 스텝(few-step) 생성이 가능하다. CausalWM은 언어 조건화(language-conditioned), 행동 조건화(action-conditioned), 단일 시점(single-view) 및 다중 시점(multi-view) 벤치마크 전반에서 최첨단(state-of-the-art) 성능을 달성했으며, TriWorldBench 리더보드에서 1위(Top-1) 성능을 기록했다.

arXiv:2609.23753v1cs.CV공통 태그 Causal Inference, Reinforcement Learning

OnlineWM: 효과적인 월드 모델링을 위한 인과관계 인지 능동 온라인 학습

OnlineWM: Causality-Aware Active Online Learning for Effective World Modeling

생성형 월드 모델(Generative world models)은 행동을 조건으로 하여 미래 상태를 예측하는 것을 목표로 하며, 여기서 행동 제어 가능성(action controllability)은 신뢰할 수 있는 역학 모델링을 위한 기본 요소입니다. 최근 시뮬레이터가 생성한 데이터를 활용하여 이러한 역량을 향상하려는 시도들이 이루어지고 있으나, 기존 학습(training) 파이프라인은 두 가지 근본적인 한계에 직면해 있습니다. 첫째, 정적인 오프라인 데이터 수집은 학습 세트와 모델(model)의 진화하는 오류 패턴 간의 분포 불일치를 유발하여 역학 예측이 여전히 신뢰할 수 없는 중요한 롱테일(long-tail) 시나리오를 해결하지 못합니다. 둘째, 관측 불일치를 최소화하는 표준 목적 함수는 종종 모델이 기저의 행동-효과 인과관계를 포착하는 대신 허위 상관관계(spurious correlations)를 악용하도록 유도합니다. 이러한 한계를 해결하기 위해, 능동적인 시뮬레이터 상호작용과 인과관계 인지 최적화를 통해 월드 모델링을 지속적으로 개선하는 온라인 학습 프레임워크인 OnlineWM을 제안합니다. OnlineWM은 두 가지 핵심 혁신을 도입합니다: (1) 능동 온라인 학습(Active Online Learning): 고정된 데이터셋을 사용하는 대신, OnlineWM은 모델의 현재 예측 취약점을 목표로 하는 새로운 상호작용 시퀀스를 시뮬레이터에 적응적으로 질의하여 효용성이 높은 데이터 수집을 보장합니다. (2) 인과관계 인지 미세조정(Causality-Aware Fine-Tuning): 동일한 상태에서 서로 다른 행동의 결과를 대조하는 반사실적 학습(counterfactual learning) 전략을 제안하여, 모델이 상태 전이를 주변 환경 변화가 아닌 특정 행동의 결과로 귀인하도록 강제함으로써 예측을 신뢰할 수 있는 인과 메커니즘에 그라운딩(grounding)합니다. 능동적 데이터 수집과 인과적 최적화를 통합함으로써, OnlineWM은 모델이 다양한 시나리오에 대해 강건하고 인과적 귀인에서 정밀함을 모두 보장하는 폐루프 개선 프로세스를 확립합니다. 광범위한 실험을 통해 OnlineWM이 행동 제어 가능성을 크게 향상시키고 보지 못한 도메인으로도 효과적으로 일반화됨을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.