An Unsupervised Domain Adaptation Method for Locating Manipulated Region in partially fake Audio
원문 초록
When the task of locating manipulation regions in partially-fake audio (PFA) involves cross-domain datasets, the performance of deep learning models drops significantly due to the shift between the source and target domains. To address this issue, existing approaches often employ data augmentation before training. However, they overlook the characteristics in target domain that are absent in source domain. Inspired by the mixture-of-experts model, we propose an unsupervised method named Samples mining with Diversity and Entropy (SDE). Our method first learns from a collection of diverse experts that achieve great performance from different perspectives in the source domain, but with ambiguity on target samples. We leverage these diverse experts to select the most informative samples by calculating their entropy. Furthermore, we introduced a label generation method tailored for these selected samples that are incorporated in the training process in source domain integrating the target domain information. We applied our method to a cross-domain partially fake audio detection dataset, ADD2023Track2. By introducing 10% of unknown samples from the target domain, we achieved an F1 score of 43.84%, which represents a relative increase of 77.2% compared to the second-best method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석
Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches
자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선
Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation
AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.
컷 통계량을 통한 소스-프리 도메인 적응에서의 상호 교정보호
Safeguarding Mutual Correction in Source-Free Domain Adaptation via Cut Statistics
소스-프리 도메인 적응(Source-Free Domain Adaptation, SFDA)은 원래의 소스 도메인에 접근하지 않고 소스 사전학습 모델을 라벨이 없는 타깃 도메인에 적응시키는 것을 목표로 합니다. 초기의 단일 모델 기반 접근법은 자체 개선(self-refinement)에 의존하지만, 본질적으로 확증 바이어스(confirmation bias)에 취약하며 자체적인 체계적 오류를 교정하는 데 어려움을 겪습니다. 이러한 한계를 극복하기 위해 최근 방법들은 비전-언어(Vision-Language, ViL) 모델을 외부 지식 원천으로 도입하고 있습니다. 그러나 이러한 접근법들은 주로 ViL 모델을 활용하여 소스 사전학습 모델을 감독하는 대체로 단방향적인 패러다임으로 작동합니다. 이는 두 모델이 서로 다른 실패 모드를 보인다는 주요 구조적 특성을 간과합니다. 즉, 한 모델이 잘못된 예측을 생성할 때 다른 모델은 올바른 예측을 생성할 수 있어, 타깃 도메인 내에서 자연스러운 상호 교정(mutual correction)의 기회가 형성됩니다. 하지만 정답(ground-truth) 라벨이 없으면 주어진 샘플에 대해 어떤 모델이 맞는지 식별하는 것은 간단하지 않으며, 단순하게 예측을 교환하는 것은 모델 간에 오류를 전파할 위험이 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 상호 모델 감독을 제어(gate)하기 위한 라벨-프리(label-free) 예측 신뢰도 척도로서 컷 통계량(cut statistic)을 활용하는 새로운 접근법인 SafeCut을 제안합니다. 제안하는 접근법은 상대적 신뢰도를 기반으로 감독의 방향과 강도를 모두 동적으로 제어하여, 샘플 단위로 잘못된 교정은 억제하면서 참된 교정을 선택적으로 증폭합니다. 나아가 이러한 신뢰도 기반 게이팅 메커니즘이 순-양수(net-positive)의 교정 신호를 보장함을 이론적으로 증명합니다. 다양한 SFDA 벤치마크에 걸친 광범위한 실험을 통해 SafeCut이 최고 수준의 성능(SOTA)을 달성함을 입증하며, 컷 통계량을 통해 SFDA에서 상호 교정을 보호하는 방법의 효과를 강조합니다.
AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크
AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC
멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.
이중 정렬 테스트 시점 적응을 통한 강건한 온라인 항공기 엔진 블레이드 결함 탐지
Robust Online Aero-Engine Blade Defect Detection via Dual-Alignment Test-Time Adaptation
신뢰할 수 있는 비전 검사(visual inspection)는 항공기 엔진 블레이드 제조의 품질 보증에 필수적이며, 이때 결함의 외형은 생산 라인, 촬영 조건, 블레이드 포즈, 표면 배경에 따라 달라질 수 있다. 이러한 도메인 변화(domain shift)는 학습 데이터와 배포 데이터 간의 불일치를 유발하여 온라인 검사에서 딥 결함 탐지기(deep defect detector)의 신뢰성을 저하시킨다. 이 문제는 항공기 엔진 블레이드 이미지에 결함이 희소하게 존재하는 경우가 많아, 가짜 레이블(pseudolabel) 기반 적응이 노이즈가 있거나 누락된 예측에 취약해지기 때문에 특히 어렵다. 이 문제를 해결하기 위해 우리는 테스트 시점 적응(test-time adaptation)에 기반한 온라인 적응형 탐지 프레임워크인 Aero-engine Blade Defect Detector(ABDD)를 제안한다. ABDD는 특징 통계량 정렬(feature-statistics alignment)과 가짜 박스 정렬(pseudo-box alignment)을 결합하여 전역적인 시각적 스타일과 지역적인 결함 형태를 공동으로 적응시키는 이중 정렬 전략(Dual-Alignment Strategy)을 도입한다. 신뢰할 수 없는 가짜 레이블로 인한 오류 누적을 줄이기 위해, 불확실성 인지 박스 필터링(Uncertainty-aware Box Filtering) 메커니즘은 분류 신뢰도(classification confidence), 분류 엔트로피(classification entropy), 위치 결정 엔트로피(localization entropy)를 사용하여 가짜 박스를 평가한다. 또한, 경량의 Sparse Dilated Mona 모듈은 매개변수 효율적인 델타 튜닝(delta tuning)을 가능하게 하면서 소스 도메인 망각(source-domain forgetting)을 제한한다. ABDD는 여러 도메인 변화 시나리오에서 CD-AeBD와 HD-AeBD 데이터셋으로 평가되었으며, 통합된 RT-DETR + Swin-T 아키텍처 하에서 TTA 전략들을 비교하였다. 실험 결과, ABDD는 도메인 변화 상황에서 탐지 강건성을 일관되게 향상시키는 것으로 나타났으며, 산업용 검사 플랫폼에서 그 실용성이 추가로 검증되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.