arXiv:2402.10456

Efficient Generative Modeling via Penalized Optimal Transport Network

Wenhui Sophia Lu, Chenyang Zhong, Wing Hung Wong

제출 2024-02-16

원문 초록

The generation of synthetic data with distributions that faithfully emulate the underlying data-generating mechanism holds paramount significance. Wasserstein Generative Adversarial Networks (WGANs) have emerged as a prominent tool for this task; however, due to the delicate equilibrium of the minimax formulation and the instability of Wasserstein distance in high dimensions, WGAN often manifests the pathological phenomenon of mode collapse. This results in generated samples that converge to a restricted set of outputs and fail to adequately capture the tail behaviors of the true distribution. Such limitations can lead to serious downstream consequences. To this end, we propose the Penalized Optimal Transport Network (POTNet), a versatile deep generative model based on the marginally-penalized Wasserstein (MPW) distance. Through the MPW distance, POTNet effectively leverages low-dimensional marginal information to guide the overall alignment of joint distributions. Furthermore, our primal-based framework enables direct evaluation of the MPW distance, thus eliminating the need for a critic network. This formulation circumvents training instabilities inherent in adversarial approaches and avoids the need for extensive parameter tuning. We derive a non-asymptotic bound on the generalization error of the MPW loss and establish convergence rates of the generative distribution learned by POTNet. Our theoretical analysis together with extensive empirical evaluations demonstrate the superior performance of POTNet in accurately capturing underlying data structures, including their tail behaviors and minor modalities. Moreover, our model achieves orders of magnitude speedup during the sampling stage compared to state-of-the-art alternatives, which enables computationally efficient large-scale synthetic data generation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2510.24046v2cs.LG공통 태그 Generative Adversarial Network, Synthetic Data Generation

강화학습을 활용한 인과 인식 테이블형 생성적 적대 신경망

Causal-Aware Tabular GANs with Reinforcement Learning

기존 테이블형 데이터 생성 방법은 실제 데이터와 합성 데이터 간의 통계적 분포 일치에 주로 집중하여 기저에 존재하는 인과 관계 보존을 간과하는 경우가 많습니다. 그 결과 생성된 샘플은 겉보기에 현실적으로 보일 수 있지만, 신뢰할 수 있는 다운스트림 분석에 필요한 인과 구조를 유지하지 못할 수 있습니다. 본 연구에서는 학습(training)과 생성 과정 모두에 인과적 지식을 명시적으로 통합하는 테이블형 데이터 합성용 인과 인식 생성 프레임워크인 CA-GAN을 제안합니다. CA-GAN은 먼저 실제 데이터에서 인과 그래프를 추출하여 구조적 사전 지식을 제공한 다음, 하위 생성기가 인과적 의존성에 따라 변수를 모델(model)링하는 그래프 조건부 Conditional WGAN-GP를 적용합니다. 더욱 중요하게는, 실제 데이터와 합성 데이터 간의 인과 그래프 불일치를 보상(reward) 신호로 취급하는 강화학습(reinforcement learning) 기반 목적 함수를 도입하여, 인과적 일관성이 샘플링 순서의 암묵적인 결과가 아닌 학습 과정에서의 명시적인 최적화 목표가 되도록 합니다. 14개의 합성 및 실제 데이터셋에 대한 광범위한 실험을 통해 CA-GAN이 뛰어난 다운스트림 유용성, 프라이버시 보호 및 데이터 품질을 달성하는 동시에 인과 관계 보존 측면에서 7개의 최신 베이스라인을 일관되게 능가함을 입증합니다. 이러한 결과는 CA-GAN이 기저의 인과 메커니즘을 보다 잘 반영하는 고품질 합성 테이블형 데이터를 생성하기 위한 효과적이고 실용적인 솔루션을 제공함을 보여줍니다.

arXiv:2603.17717v4cs.CR공통 태그 Generative Adversarial Network, Synthetic Data Generation

네트워크 공격 분류를 위한 머신러닝과 합성 데이터 생성을 위한 적대적 학습 방법론의 통계적 평가

Machine Learning for Network Attacks Classification and Statistical Evaluation of Adversarial Learning Methodologies for Synthetic Data Generation

네트워크 공격의 지도(supervised) 탐지는 네트워크 침입 탐지 시스템(NIDS)의 핵심 구성 요소로 자리해 왔다. 오늘날, 인공지능(AI)의 전환점적 시기에 생성형 인공지능(GenAI)과 강화학습 같은 고도화된 기술을 활용하는 더욱 정교한 공격들이 등장함에 따라, 웹 전반에 산재한 개인 데이터를 보호하기 위한 필수적인 구성 요소가 되었다. 본 논문에서는 두 가지 과제를 다루며, 재처리된 CIC-IDS-2017, CIC-IoT-2023, UNSW-NB15, CIC-DDoS-2019로부터 동일한 특징(feature) 공간으로 플로우 수준 데이터, 패킷 페이로드 정보, 시간적 맥락 특징을 통합한 최초의 통합 멀티모달 NIDS 데이터셋을 구축하였다. 첫 번째 과제에서는 안정성과 신뢰성을 갖추어 네트워크 공격을 방지하기 위해 계층화 교차 검증(stratified cross validation)을 적용한 머신러닝(ML) 알고리즘을 사용한다. 두 번째 과제에서는 적대적 학습 알고리즘을 사용하여 합성 데이터를 생성하고, 실제 데이터와 비교하여 SDV 프레임워크, f-발산(f-divergences), 구별 가능성(distinguishability) 및 비모수 통계 검정을 활용해 충실도(fidelity), 유용성(utility), 프라이버시를 평가한다. 연구 결과로, Synthetic Data Vault 프레임워크, TRTS 및 TSTR 테스트를 비모수 통계 검정 및 f-발산 척도와 결합함으로써, 침입 탐지를 위한 안정적인 ML 모델과 높은 충실도 및 유용성을 갖춘 생성 모델을 제시한다.

arXiv:2505.08854v2cs.CV공통 태그 Generative Adversarial Network공식 코드 · Papers with Code

자율주행을 위한 생성형 AI: 최전선과 기회

Generative AI for Autonomous Driving: Frontiers and Opportunities

생성형 인공지능(GenAI)은 콘텐츠 생성, 추론, 계획, 멀티모달 이해를 위한 비할 데 없는 역량을 통해 산업을 재편하는 변혁적인 기술 물결을 형성하고 있습니다. 이러한 혁신적인 힘은 공학 분야의 가장 큰 난제 중 하나인 신뢰할 수 있는 완전 자율주행의 달성, 특히 레벨 5 자율주행의 실현을 향한 가장 유망한 경로를 제공합니다. 본 서베이 논문은 자율주행 스택 전반에 걸친 생성형 AI의 부상하는 역할을 포괄적이고 비판적으로 종합하여 제시합니다. 먼저 VAE, GAN, 확산 모델(Diffusion Models), 대규모 언어 모델(LLM)을 아우르는 현대 생성 모델링의 원리와 트레이드오프를 정리합니다. 이어서 이미지, LiDAR, 궤적, 점유(occupancy), 비디오 생성뿐만 아니라 LLM 기반 추론 및 의사결정에서의 최전선 응용 사례를 조망합니다. 또한 합성 데이터 워크플로우, 엔드투엔드(end-to-end) 주행 전략, 고충실도 디지털 트윈 시스템, 지능형 교통 네트워크, 체화된 AI(embodied AI)로의 도메인 간 전이 등 실질적인 적용 분야를 분류합니다. 희귀 사례에 걸친 포괄적 일반화, 평가 및 안전성(safety) 검증, 예산 제약 기반 구현, 규제 준수, 윤리적 문제, 환경적 영향과 같은 주요 장애물과 가능성을 식별하는 동시에, 이론적 보증, 신뢰 메트릭, 교통 통합, 사회기술적 영향에 걸친 연구 계획을 제안합니다. 이러한 흐름을 통합함으로써, 본 서베이는 생성형 AI와 첨단 자율 이동성의 수렴을 탐색하는 연구자, 엔지니어, 정책 입안자들에게 미래지향적인 참고자료를 제공합니다. 인용된 연구들을 적극적으로 관리하는 저장소는 https://github.com/taco-group/GenAI4AD 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.