arXiv:1802.06454

DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks (with Supplementary Materials)

Shuang Ma, Jianlong Fu, Chang Wen Chen, Tao Mei

제출 2018-02-18

원문 초록

Unsupervised image translation, which aims in translating two independent sets of images, is challenging in discovering the correct correspondences without paired data. Existing works build upon Generative Adversarial Network (GAN) such that the distribution of the translated images are indistinguishable from the distribution of the target set. However, such set-level constraints cannot learn the instance-level correspondences (e.g. aligned semantic parts in object configuration task). This limitation often results in false positives (e.g. geometric or semantic artifacts), and further leads to mode collapse problem. To address the above issues, we propose a novel framework for instance-level image translation by Deep Attention GAN (DA-GAN). Such a design enables DA-GAN to decompose the task of translating samples from two sets into translating instances in a highly-structured latent space. Specifically, we jointly learn a deep attention encoder, and the instancelevel correspondences could be consequently discovered through attending on the learned instance pairs. Therefore, the constraints could be exploited on both set-level and instance-level. Comparisons against several state-ofthe- arts demonstrate the superiority of our approach, and the broad application capability, e.g, pose morphing, data augmentation, etc., pushes the margin of domain translation problem.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11497v1cs.LG공통 태그 Data Augmentation, Generative Adversarial Network

IG-GAN: 내재 기하학 기반 공기역학 데이터 생성을 위한 생성적 적대 신경망

IG-GAN: A Generative Adversarial Network for Aerodynamic Data Generation Based on Intrinsic Geometry

기존 생성 모델들은 평탄한 유클리드 공간에서 데이터 분포를 학습한다. 그러나 실세계의 대부분의 데이터는 고차원 유클리드 공간에 내재된 다양체(manifold)이다. 이에 우리는 공기역학 분야의 데이터 생성을 위한 내재 기하학 기반 생성적 적대 신경망(IG-GAN)을 제안한다. IG-GAN의 생성자는 공기역학 데이터를 베지에 곡면(Bézier surfaces)으로 구성된 조각별 매끄러운 다양체로 표현하며, 각 베지에 곡면의 계수를 학습하여 복수의 베지에 곡면을 자동으로 매끄러운 다양체로 결합한다. IG-GAN의 판별자는 방사 기저 함수(RBF) 기반 판별자(RBF-D)이다. 실험 결과, IG-GAN은 세 가지 베이스라인 대비 더 낮은 예측 평균 제곱 오차(MSE)를 달성하였다. 구체적으로, Burgers' equation 데이터셋에서 IG-GAN은 최신 기법인 SSL-트랜스포머 대비 속도 u의 예측 MSE를 97.41% 감소시켰다. 또한 ONERA M6 항공기 데이터셋에서 IG-GAN은 SSL-트랜스포머 대비 9개 공기역학 계수의 전체 MSE를 82.95% 감소시켰다.

arXiv:2607.06484v1cs.CR공통 태그 Data Augmentation, Generative Adversarial Network

커넥티드 자율주행 차량을 위한 증강된 3D 포인트 클라우드 공공 데이터셋에 대한 포이즈닝 공격의 운영적 영향 평가

Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles

공공 데이터셋에 대한 포이즈닝 공격은 다음과 같은 주요 우려를 야기한다: (i) 오염된 데이터를 학습에 사용할 때 인식된 객체의 오분류, (ii) 학습된 모델에 특정 조건이 적용될 때 이후 트리거될 수 있는 백도어 임베딩. 데이터 증강 모델에 대한 포이즈닝의 영향은 불명확하다. 데이터 증강이 포이즈닝 공격 성공의 가능도를 낮추기는 하지만, 몇 가지 유효한 의문점이 남는다. 데이터 증강이 포이즈닝 공격의 영향을 변화시키는가? 오염된 샘플의 수 또는 주입된 백도어를 증가시킬 수 있는가? 본 논문에서는 이러한 의문들 중 일부를 탐구한다. 오염된 3D 포인트 클라우드 데이터셋을 증강할 때의 효과를 평가하고, 생성적 적대 신경망(GAN) 기법을 데이터 증강 처리의 구체적 사례로 활용하여 포이즈닝이 증강 기법의 정화(sanitizing) 특성을 회피할 수 있음을 검증한다. 또한 포이즈닝이 증강된 데이터셋 전반에 걸쳐 전파되어 범용 분류기의 최종 의사 결정을 교란시킨다는 점도 검증한다. 모든 실험 자료(도구, 데이터셋, 분류기 포함)는 재현성을 높이고 이 주제에 대한 추가 연구를 촉진하기 위해 공개적으로 제공된다.

arXiv:2607.06549v1cs.CV공통 태그 Data Augmentation, Generative Adversarial Network

다중 기관 데이터셋에 걸친 유방촬영술 석회화 분류를 위한 비지도 도메인 적응

Unsupervised Domain Adaptation for Calcification Classification in Mammography Across Multi-Site Datasets

심층 학습(deep learning) 기반 컴퓨터 보조 진단(CAD) 시스템은 유방암 진단, 특히 유방촬영술의 분류 작업에서 높은 성능을 보여왔다. 그러나 다중 기관 데이터셋 간의 도메인 이동(domain shift)은 여전히 과제로 남아 있으며, 특히 모델이 미지의 도메인에 적용될 때 두드러진다. 본 연구에서는 다중 기관 유방촬영술 데이터셋에 걸쳐 악성 대 양성 유방 질환 분류를 개선하기 위한 석회화 분류 프레임워크를 제안하였다. 이 프레임워크는 두 가지 구성 요소로 이루어진다: (1) 추가 어노테이션 없이 제조사별 및 촬영 기법별 학습 샘플을 생성하기 위해 스타일 전이 모델(AdaIN 및 CycleGAN)을 기반으로 한 비지도 도메인 적응 모듈, 그리고 (2) Swin Transformer V2를 백본으로 사용하는 지도 분류 모듈. 제안한 방법을 세 가지 데이터셋에서 평가하였다: OPTIMAM(영국 국민보건서비스; n=2994)에 대한 교차 검증, 이후 EMBED(에모리 대학교; n=125) 및 Duke Calcification Dataset v1(n=788)에 대한 외부 검증. 이 데이터셋들은 여러 제조사를 포함하며, 전장 디지털 유방촬영술(full-field digital mammography)과 디지털 유방 단층합성술(digital breast tomosynthesis)에서 파생된 합성 2D 이미지를 모두 포함한다. 제안된 프레임워크는 EMBED(AUC 0.68에서 0.72)와 Duke Calcification Dataset(AUC 0.68에서 0.73) 모두에서 교차 기관 성능을 향상시켰다. 이러한 결과는 도메인 적응이 도메인 이동을 줄이고 다중 기관 데이터셋에 걸친 석회화 분류의 일반화를 개선할 수 있음을 보여준다.

arXiv:2607.04245v1cs.LG공통 태그 Data Augmentation, Generative Adversarial Network

신호인가 노이즈인가? 실세계 센서 시계열을 위한 생성 모델 이해

Signal or Noise? Understanding Generative Models for Real-World Sensor Time Series

생성 모델은 기계 학습이 복잡한 데이터 분포를 표현하는 방식을 변화시켰으며, 특히 언어와 비전 분야에서 두드러진다. 그러나 많은 실세계 시스템은 연속적이고 고차원적이며 노이즈가 많은 센서 시계열로 관측된다. 기존의 센서 데이터 생성 모델링은 모달리티, 데이터셋, 태스크 정의 전반에 걸쳐 분절되어 있어, 실세계 환경에서 생성 모델이 언제, 어떻게, 그리고 왜 성공하거나 실패하는지에 대한 체계적인 이해를 제한한다. 이러한 격차를 해소하기 위해, 우리는 4개 도메인, 7개 데이터셋, 12개 신호 모달리티에 걸친 14개 설정을 포괄하는 센서 신호 생성에 관한 대규모 연구인 SensorGen을 소개한다. SensorGen을 활용하여 5개 주요 패밀리의 생성 모델을 체계적으로 평가한 결과, 세 가지 핵심 발견을 도출하였다: (1) 플로우 매칭(flow-matching) 모델은 대부분의 설정에서 전반적으로 강력한 성능을 제공한다; (2) 신호 특성이 중요하며, 인구통계학적 공변량이 종단적 생성을 개선하고 시간-주파수 모델링이 고주파 신호 생성을 향상시킨다; (3) 생성된 신호는 시각적 사실성을 넘어 실용적 유용성을 지니며, 스케일링이 생성 품질을 향상시키고 합성 데이터가 다운스트림 성능을 개선한다. 종합하면, SensorGen은 실세계 센서 데이터 생성에서의 설계 선택, 평가 프로토콜, 그리고 실패 모드에 대한 보다 폭넓은 이해를 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.