Enhancing cross-domain detection: adaptive class-aware contrastive transformer
원문 초록
Recently,the detection transformer has gained substantial attention for its inherent minimal post-processing requirement.However,this paradigm relies on abundant training data,yet in the context of the cross-domain adaptation,insufficient labels in the target domain exacerbate issues of class imbalance and model performance degradation.To address these challenges, we propose a novel class-aware cross domain detection transformer based on the adversarial learning and mean-teacher framework.First,considering the inconsistencies between the classification and regression tasks,we introduce an IoU-aware prediction branch and exploit the consistency of classification and location scores to filter and reweight pseudo labels.Second, we devise a dynamic category threshold refinement to adaptively manage model confidence.Third,to alleviate the class imbalance,an instance-level class-aware contrastive learning module is presented to encourage the generation of discriminative features for each class,particularly benefiting minority classes.Experimental results across diverse domain-adaptive scenarios validate our method's effectiveness in improving performance and alleviating class imbalance issues,which outperforms the state-of-the-art transformer based methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASV3D: 추가 이미지를 활용한 확산 기반 단일 뷰 3D 복원 적응
ASV3D: Adapting Diffusion-Based Single-View 3D Reconstruction with Extra Imagery
단일 이미지로부터 3D 객체를 복원하는 것은 컴퓨터 비전(CV) 분야의 핵심 연구 주제입니다. 주요 과제는 3D 구조를 완성하기 위한 중요한 시점(viewpoint)의 정보가 부족하다는 점입니다. 추가 시점 이미지를 사용하면 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 확산(diffusion) 기반 단일 뷰 3D 복원 원리에 추가 시점을 통합할 수 있는 메커니즘은 존재하지 않습니다. 본 연구에서는 하나의 추가 이미지를 지원받아 확산 기반 단일 뷰 3D 객체 복원을 테스트 시점 데이터에 적응시키는 프레임워크인 ASV3D를 제안하여 이 문제를 해결합니다. 우리는 두 가지 적응 전략을 도입합니다: (i) 재학습 없이 보조 이미지를 활용하여 객체의 복원 품질을 향상시키는 제로샷(zero-shot) 적응 기법과, (ii) 대조 학습(contrastive learning)을 통해 시각적 충실도와 시점 간 일관성을 더욱 향상시키는 최적화(optimised) 적응 기법입니다. 벤치마크 및 실제 데이터셋 모두에서 두 가지 최첨단 확산 기반 단일 뷰 3D 복원 파이프라인을 개선하기 위해 ASV3D를 적용했습니다. 실험 결과는 우리의 접근 방식이 제약 없는 다중 뷰 입력 환경에서 복원 정확도와 강건성을 일관되게 향상시키며, 정량적 지표와 사용자 선호도 모두에서 베이스라인을 능가함을 입증합니다. 우리는 코드와 실제 객체 데이터셋을 프로젝트 페이지(https://github.com/YNhuHuynh/ASV3D/tree/main)에 공개합니다.
UnDA: 의료 영상에서 교차 모달 지식 전이를 위한 비쌍 도메인 정렬
UnDA: Unpaired Domain Alignment for Cross-Modal Knowledge Transfer in Medical Imaging
다중 모달 기반 접근법은 서로 다른 모달리티가 상보적인 정보를 제공하기 때문에 다운스트림 태스크에서 단일 모달리티 접근법보다 종종 더 우수한 성능을 보이지만, 실제 시나리오에서는 쌍을 이룬 임상 데이터를 확보하는 것이 여전히 큰 과제로 남아 있다. 교차 모달 지식 증류가 이를 해결하지만, 기존 방법들은 큰 모달리티 간격과 불확실한 소스 도메인 예측으로부터 발생하는 노이즈 전파에 종종 어려움을 겪는다. 이러한 과제를 극복하기 위해, 우리는 비쌍 교차 모달 지식 증류를 위한 앵커 기반 프레임워크인 UnDA를 제안한다. 우리 접근법은 어텐션 기반 풀링 메커니즘을 통해 의미적으로 구조화된 클래스 토큰을 추출하는 백본 불문 정렬 모듈(Alignment Module)을 도입한다. 견고한 지식 전이를 보장하기 위해, 예측 신뢰도에 따라 특징 수준 정렬에 동적으로 가중치를 부여하여 노이즈가 많은 지도를 효과적으로 억제하는 불확실성 가중 최적 수송(Uncertainty-Weighted Optimal Transport, UCT-OT)을 제안한다. 또한, 클래스별 ProtoNCE 목적 함수는 안정적인 프로토타입 메모리를 유지하여 비쌍 배치 전반에 걸쳐 전역 판별력을 강화한다. 엄격한 비쌍 설정 하에서 대표적인 분할(segmentation) 태스크에 대한 평가는 대상 모달리티에서 정확도와 경계 정밀도의 일관된 향상을 보여 주며, 쌍을 이룬 데이터셋 없이도 이질적인 데이터 소스 간에 의미 있는 구조적 지식을 전이할 수 있음을 입증한다.
지리공간 기반 모델의 새로운 패러다임: 사전학습에서 에이전틱 추론까지
The Emerging Paradigm of Geospatial Foundation Models: From Pre-Training to Agentic Reasoning
위성 및 항공 영상 분석은 기반 모델(foundation models)의 등장으로 새로운 시대에 접어들었다. 본 논문은 다양한 방법론을 통해 대규모 지리공간 데이터셋에서 사전학습된 인공지능/머신러닝(AI/ML) 모델인 지리공간 기반 모델(Geospatial Foundation Models, GeoFMs)의 개념을 설명한다. 먼저 GeoFMs가 가능하게 하는 핵심 패러다임 전환, 즉 대규모 모델 제공자가 연산 집약적인 사전학습을 수행하고 도메인 전문가가 특정 임무 핵심 작업을 위해 이러한 모델을 신속하게 파인튜닝하거나 프롬프트할 수 있는 업무 분담을 설명한다. 이 접근법은 하류 작업의 보안과 기밀성을 유지하면서 최첨단 AI/ML에 대한 접근을 민주화한다. 다음으로, 마스킹 자동 인코딩과 같은 자기지도학습 기법으로 생성된 파인튜닝 가능한 비전 모델과, 개방 어휘 이미지 분석과 같은 제로샷 작업을 가능하게 하는 대조 학습으로 생성된 비전-언어 모델을 구분하면서, 다양한 유형의 GeoFMs가 열어주는 새로운 역량을 탐구한다. 이어서 성능-비용 분석부터 광범위한 MLOps 생태계에 이르기까지 GeoFMs를 운영화하기 위한 실무적 고려사항을 논의한다. 이를 위해 모델 적응 전략의 분류체계를 제시하고, 도메인 전문가가 특정 임무 집합에 대해 가장 비용 효율적인 적응 접근법을 선택할 수 있는 프레임워크를 제안한다. 마지막으로, 대규모 언어 모델(LLM)이 지능형 오케스트레이터로 작동하여 GeoFMs를 도구로 활용해 자연어로 고수준 사용자 질의에 답하고 복잡한 분석 워크플로를 자동화하는 에이전틱 지리공간 추론(Agentic Geospatial Reasoning)의 전향적 비전을 제시하며, 이 분야를 지각(perception)에서 인지(cognition)로 이동시킨다.
MED-DSLC: 도메인 감독과 로짓 보정을 통한 다중 전문가 도메인 분류
MED-DSLC: Multi-Expert-Domain Classification via Domain Supervision and Logit Calibration
CLIP과 같은 비전-언어 모델(VLM)은 공유 임베딩 공간에서 이미지 특징과 텍스트 프롬프트를 비교함으로써 제로샷 분류를 가능하게 한다. 이 능력의 근본적인 특성은 임의의 후보 클래스 전반에 걸친 로짓의 전역적 비교 가능성이다. 그러나 VLM은 LoRA와 같은 기법을 사용하여 세분화된 도메인에 적응되는 경우가 많다. 이는 도메인 내 정확도를 향상시키지만 도메인 외 정확도는 저하되며, 결과적으로 수천 개의 특화 모델로 구성된 매우 파편화된 모델 생태계가 형성된다. 다중 전문가 도메인(Multi-Expert-Domain) 분류는 특화된 도메인에서 독립적으로 학습된 LoRA들을 병합함으로써 이 문제를 해결하고자 한다. 그러나 독립적인 학습으로 인해 다양한 도메인 전문가들은 전역적으로 보정된 로짓을 더 이상 생성하지 않는다. 이로 인해 복수의 도메인별 클래스 집합의 합집합에 대해 평가할 때, 이질적인 로짓 스케일이 도메인 간 간섭을 유발하고 도메인 외 클래스에 대한 인위적으로 높은 신뢰도를 야기하여 예측 오류를 초래한다. 본 연구에서는 도메인 감독의 부재와 도메인 간 로짓 오보정을 확장 가능한 다중 도메인 제로샷 인식의 핵심 문제로 규명한다. 우리는 도메인 감독 학습과 도메인별 로짓 스케일링을 결합하여 전역적 로짓 비교 가능성을 명시적으로 복원하는 MED-DSLC를 제안한다. MED-DSLC는 MED 분류를 위한 경량 솔루션으로, 최소한의 데이터로 도메인 간 로짓 간섭을 줄이면서 도메인 내 판별력을 유지함을 보인다. 다양한 세분화 벤치마크에 걸친 광범위한 실험을 통해, MED-DSLC가 평균 정확도(+15%), 도메인 간 견고성, 그리고 MED 분류 문제 규모의 확장성을 크게 향상시킴을 입증한다. 본 연구의 결과는 다중 도메인 특화 환경에서 진정한 제로샷 VLM을 달성하기 위해 고도로 데이터 불균형 상황에서 출력 수준의 보정을 복원하는 것이 필수적임을 보여준다.
고해상도 근거리 다중 스펙트럼 원격 감지 영상을 위한 자기지도 학습
Self-supervised training for high-resolution close-range multispectral remote sensing imagery
자기지도 학습(SSL)은 근거리 원격 감지에서 어노테이션 비용을 줄이는 유망한 방법을 제공하지만, 데이터 부족으로 인해 고해상도 다중 스펙트럼 무인 항공기(UAV) 영상에 대한 효과는 아직 충분히 탐구되지 않은 상태이다. 본 연구는 여러 센서, 연도, 지역에 걸쳐 수집된 cm 단위 다중 스펙트럼 드론 영상을 활용하여 정밀 농업을 위한 SSL 사전학습을 평가하였다. 트랜스포머 기반 인코더를 Momentum Contrast v3(MoCo-v3) 및 마스크드 오토인코더(Masked Autoencoders)로 사전학습하였으며, 이를 위해 msuav500K와 핀란드 농업 지역에서 새로 수집한 다년간의 UAV 영상을 결합한 통합 데이터셋을 사용하였다. 사전학습에는 교차 센서 호환성을 위해 네 개의 스펙트럼 밴드(Green, Red, Red-Edge, Near-Infrared)를 활용하였다. 모델은 5~100%의 학습 데이터를 사용하여 WeedMap 데이터셋 기반 작물-잡초 의미론적 분할로 평가되었다. 다음 두 가지 하위 태스크를 다운스트림 태스크로 사용하였다: 부분 및 전체 미세조정 조건에서 모든 사전학습 모델을 비교한 태스크 A(독일, RedEdge-M)와, 태스크 A의 최적 인코더를 평가한 태스크 B(스위스, Sequoia). MoCo-v3로 사전학습된 Swin 트랜스포머는 두 태스크 모두에서 가장 높은 성능을 달성하였으며, msuav500K의 사전 공개 버전으로 사전학습된 Doornbos 등의 Swin 트랜스포머 모델을 능가하였다. 또한 사전학습된 Swin 트랜스포머는 교차 센서 및 교차 지역 일반화 능력을 추가로 입증하였다. 향후 연구를 지원하기 위해 핀란드에서 수집한 공개 다년간 다중 스펙트럼 UAV 데이터셋도 함께 제공한다.
Multiview Contrastive Learning for Unsupervised Domain Adaptation in Brain–Computer Interfaces
토론
이 논문과 연결된 포럼 글이 아직 없습니다.