arXiv:2106.03171

Feature-based Style Randomization for Domain Generalization

Yue Wang, Lei Qi, Yinghuan Shi, Yang Gao

제출 2021-06-06

원문 초록

As a recent noticeable topic, domain generalization (DG) aims to first learn a generic model on multiple source domains and then directly generalize to an arbitrary unseen target domain without any additional adaption. In previous DG models, by generating virtual data to supplement observed source domains, the data augmentation based methods have shown its effectiveness. To simulate the possible unseen domains, most of them enrich the diversity of original data via image-level style transformation. However, we argue that the potential styles are hard to be exhaustively illustrated and fully augmented due to the limited referred styles, leading the diversity could not be always guaranteed. Unlike image-level augmentation, we in this paper develop a simple yet effective feature-based style randomization module to achieve feature-level augmentation, which can produce random styles via integrating random noise into the original style. Compared with existing image-level augmentation, our feature-level augmentation favors a more goal-oriented and sample-diverse way. Furthermore, to sufficiently explore the efficacy of the proposed module, we design a novel progressive training strategy to enable all parameters of the network to be fully trained. Extensive experiments on three standard benchmark datasets, i.e., PACS, VLCS and Office-Home, highlight the superiority of our method compared to the state-of-the-art methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00030v1cs.CV공통 태그 Data Augmentation, Domain Generalization

객체 검출에서의 도메인 일반화와 합성 데이터: 조력자, 탐침, 그리고 격차

Domain generalization and synthetic data in object detection: the enabler, the probe, and the gap

객체 검출(object detection) 모델은 예를 들어 날씨 유형, 운용 환경(environment), 객체 외형의 변화 등으로 인해 발생하는 분포 변화(distribution shift) 하에 배포될 때 종종 성능 저하를 겪습니다. 도메인 일반화(Domain Generalization, DG)는 이러한 변화 속에서도 강건함을 유지하고 보지 못한 도메인(unseen domain)으로 잘 일반화되는 모델을 개발하는 것을 목표로 합니다. 객체 검출 모델은 위치 추정(localization) 및 다중 스케일 표현과 관련된 추가적인 문제에 직면함에도 불구하고, 객체 검출 모델에 구체적으로 초점을 맞춘 DG 연구는 부족한 상황입니다. 합성 데이터는 다양하고 새로운 대규모 샘플 생성을 가능하게 함으로써 DG를 지원하는 유망한 도구입니다. 본 논문에서는 객체 검출 중심의 DG 리뷰를 제시하고 상호 보완적인 세 가지 관점에서 합성 데이터의 역할을 살펴봅니다. 첫째, 합성 데이터는 분포 변화에 대한 강건성을 향상시키는 것을 목표로 하는 다양화 및 정렬(alignment) 전략을 통해 DG의 조력자(enabler) 역할을 합니다. 둘째, 실패 모드를 식별하고 이해하기 위한 제어된 실험을 가능하게 하는 탐침(probe) 역할을 합니다. 셋째, 합성 이미지로 학습된 모델을 실제 데이터에 배포할 때 발생하는 특히 까다로운 형태의 도메인 변화인 합성-실제 간 격차(synthetic-to-real gap)에 대해 논의합니다. 이러한 관점들을 검토함으로써 객체 검출을 위한 기존 DG 접근법의 한계를 식별하고, 향후 연구에는 도메인 변화 하에서 위치 추정과 분류(classification)를 모두 명시적으로 다루는 표현 인식(representation-aware) 방법이 필요함을 주장합니다.

arXiv:2609.24115v1cs.AI공통 태그 Data Augmentation, Diversity

EDGEGEN: 합성 엣지 케이스 생성으로 행복 경로(happy path)를 넘어서는 도구 호출 에이전트 개선

EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation

도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.

arXiv:2609.23830v1cs.CV공통 태그 Data Augmentation, Domain Generalization

DFD-Lab: 모듈형 오디오-비주얼 딥페이크 탐지 파이프라인

DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline

오디오-비주얼 딥페이크 탐지기(audio-visual deepfake detector)를 비교하려면 데이터셋 적응, 시간적 입력 표현(temporal input representation), 모델 인터페이스, 실험 조건을 함께 조율해야 한다. 본 논문은 이러한 책임들을 분리하면서도 공통된 학습 및 평가 워크플로를 지원하는 모듈형 파이프라인인 DFD-Lab을 제시한다. 우리는 Xception 기반 최대 로짓(maximum-logit) 융합, 시간적 LSTM 융합을 사용하는 ResNet, 그리고 우리가 재구현한 AVFF의 세 가지 구현을 통합한다. 실험은 외부 테스트, 열화(degradation) 기반 학습 증강(training augmentation), 그리고 평가 시점의 손상(corruption)을 다룬다. Deepfake-Eval-2024의 필터링된 하위 집합(subset)에서, FakeAVCeleb으로 학습된 모델들은 각각 0.504, 0.538, 0.458의 기준선 AUROC 값을 달성한다. JPEG50 학습 증강은 이 값을 각각 0.691, 0.605, 0.570으로 높이는 반면, 세 모델의 정확도는 모두 감소한다. 이러한 결과는 학습 개입, 평가 손상, 그리고 지표에 따라 달라지는 결과가 공통 파이프라인 내에서 왜 구분되어야 하는지를 보여준다. 본 연구의 기여는 오디오-비주얼 처리, 상호 교체 가능한 탐지기, 그리고 설정 가능한 실험 워크플로의 통합이며, 이는 실증적 사례 연구(case study)로 뒷받침된다. 이 연구 결과는 데이터셋 간(cross-dataset) 탐지의 어려움과 순위화(ranking) 지표 및 분류 지표가 제공하는 상호 보완적 정보를 강조한다.

arXiv:2607.22087v1cs.CV공통 태그 Data Augmentation, Domain Generalization

FAIR: AI 생성 가짜 이미지 탐지를 위한 특징 증강 암시적 정규화

FAIR: Feature-Augmented Implicit Regularization for AI-generated Fake Image Detection

AI 생성 이미지 탐지에서 일반화는 여전히 핵심 병목이다. 많은 최신 생성기가 독점적이거나 적대적으로 수정되어 있기 때문에, 기존 탐지기는 접근 가능한 학습 데이터의 저수준 텍스처 패턴에 과적합되어, 보지 못한 도메인에서 심각한 실패를 초래한다. 기존 정규화 기법(예: $L_1$/$L_2$ 노름, 드롭아웃)은 무차별적인 파라미터 제약을 적용하며, 생성기 간 견고성에 필요한 도메인 불변 구조를 제공하지 못한다. 이를 해결하기 위해, 우리는 Feature-Augmented Implicit Regularization(FAIR)을 제안한다. FAIR은 학습 중에 직교적이고 거시적 구조 사전(prior), 구체적으로 Scene Composition Structure(SCS)를 도입하여 모델의 최적화 궤적을 기하학적으로 제약한다. 도메인 불변 SCS 특징으로 주요 특징 공간을 증강함으로써, FAIR은 텍스처 편향 단축 학습을 명시적으로 억제한다. 중요하게도, 이 구조적 사전은 추론 시 완전히 폐기되어, 아키텍처 또는 계산 오버헤드 없이 평활화되고 일반화된 결정 경계를 제공한다. 다섯 개의 대규모 벤치마크에 걸친 광범위한 평가는 FAIR을 최신 탐지기에 통합하면 생성기 간 일반화가 크게 향상되어 정확도가 최대 8.04%까지 증가하고, 제로샷 전이 시나리오에서 새로운 최첨단 견고성을 확립함을 보여준다.

arXiv:2607.14466v1cs.LG공통 태그 Data Augmentation, Domain Generalization

교차 노이즈 주입이 클린·손상·OOD 성능을 향상시킨다

Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance

노이즈 주입은 확률적 최적화(stochastic optimization)에서 잘 알려진 기법이다. 우리는 일반적인 단조 감쇠(monotonic decay) 스케줄 대신 교차(on-off-on-off...) 스케줄을 사용할 때 놀라울 정도의 효과가 있음을 보고한다. 노이즈 주입에 대한 이론적 분석을 제시하며, 임펄스 노이즈(impulse noise)에 의한 손상은 야코비안 정규화를 근사하고, 가우시안 노이즈(Gaussian noise)는 곡률 페널티(curvature penalty)로 작용함을 확인한다. 이러한 정규화 거동은 노이즈 주입이 모델 견고성(robustness)을 높이는 이유를 설명하는 데 사용되어 왔다. 그러나 우리가 제안한 스케줄의 교차적 특성은 최적화 목적 함수에서조차 더 나은 결과를 낸다. 노이즈가 있는 데이터 단계를 섞으면 옵티마이저가 국소 최솟값(local minima)에서 벗어나 탐험을 늘릴 수 있으며, 클린 데이터의 중요한 특징을 치명적으로 망각(catastrophically forgetting)할 위험 없이 학습할 수 있다. 클린 데이터와 노이즈 데이터 사이를 전환할 때 손실의 급격한 변화에 대해 이 학습 방식을 안정화하기 위해, 클린 그래디언트 크기에 따라 노이즈 업데이트를 스케일링하는 그래디언트 노름(gradient-norm) 안정화 기법을 도입한다. 이 방법을 다른 일반적인 증강(augmentation) 방법들과 비교한 결과, ResNet 및 ViT 아키텍처에서 CIFAR-100-C, ImageNet-C, ImageNet-R에 대한 손상 내성(corruption tolerance)과 실세계 분포 이동(distribution shift)에 대한 견고성에서 상당한 개선을 확인했으며, 다른 증강 위에 우리 방법을 쌓았을 때 최고의 결과를 얻었다. 시각적 중요도(saliency) 및 어텐션 맵을 통해, 교차 노이즈 주입의 효과가 모델의 귀납적 바이어스(inductive bias)가 장려하는 실패 모드(failure mode)에 페널티를 부과하는 데서 기인함을 보인다. 임펄스 노이즈는 합성곱(ResNet) 아키텍처의 지역성 바이어스(locality bias)에 대항하고, 가우시안 노이즈는 어텐션 기반 모델이 대규모 가짜(spurious) 특징을 포착하려는 경향을 줄인다. 따라서 교차 노이즈 주입은 사실상 추가 계산 비용 없이 클린, 노이즈, 분포 외(out-of-distribution) 데이터에 대한 테스트 성능을 향상시키는 효과적인 도구이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.