Revisiting Classical Bagging with Modern Transfer Learning for On-the-fly Disaster Damage Detector
원문 초록
Automatic post-disaster damage detection using aerial imagery is crucial for quick assessment of damage caused by disaster and development of a recovery plan. The main problem preventing us from creating an applicable model in practice is that damaged (positive) examples we are trying to detect are much harder to obtain than undamaged (negative) examples, especially in short time. In this paper, we revisit the classical bootstrap aggregating approach in the context of modern transfer learning for data-efficient disaster damage detection. Unlike previous classical ensemble learning articles, our work points out the effectiveness of simple bagging in deep transfer learning that has been underestimated in the context of imbalanced classification. Benchmark results on the AIST Building Change Detection dataset show that our approach significantly outperforms existing methodologies, including the recently proposed disentanglement learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리
AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis
3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.
PETR: 비전-언어 모델을 위한 학습 불필요 라우팅 기반 프롬프트 앙상블
PETR: Prompt Ensembling with Training-free Routing for Vision-Language Models
프롬프트 학습(prompt learning)은 비전-언어(vision-language) 모델(VLM)을 다운스트림 태스크에 효율적으로 적응시키지만, 기존에 본 클래스(seen classes)에서의 성능 향상은 종종 보지 못한 클래스(unseen classes)에 대한 일반화 성능 저하를 초래합니다. 이러한 한계를 해결하기 위해, 우리는 학습 불필요 라우팅 기반 프롬프트 앙상블(PETR)을 제안합니다. 이 방법의 핵심 혁신은 정교하게 설계된 듀얼 프롬프트 아키텍처로, 서로 다른 데이터와 목적함수로부터 두 개의 상호 보완적인 프롬프트를 학습하여 각각 본 클래스 구별과 보지 못한 클래스 일반화를 강조합니다. 학습(training) 중에는 공유된 동결 CLIP 백본을 사용하여 두 프롬프트를 모두 파인튜닝(fine-tuning)하며, 학습 세트 로짓(logit)으로부터 통계 정보를 수집합니다. 추론(inference) 시점에는 각 테스트 샘플과 본 데이터 간의 유사도를 판별하고, 해당 샘플을 가장 적절한 프롬프트 브랜치로 라우팅합니다. 우리가 아는 한, 이는 통계적 유사성을 기반으로 학습 불필요 적응형 라우팅을 수행하는 최초의 프롬프트 튜닝 프레임워크입니다. 이러한 설계는 해석 가능한 라우팅 신호를 제공하며 라우터 학습 불안정성 및 부하 불균형과 같은 일반적인 전문가 혼합(MoE) 방식 라우팅의 병리적 현상을 방지합니다. 11개 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험은 제안하는 프레임워크가 본 클래스와 보지 못한 클래스 모두에서 기존 방법들을 일관되게 능가하며 새로운 최고 성능(state-of-the-art)을 달성함을 입증합니다.
쉬운 적응을 통한 스트리밍 비디오 편집
Streaming Video Editing with Easy Adaptation
본 논문에서는 사전학습된 양방향 비디오 확산 모델(bidirectional video diffusion model)에 대한 학습만으로 자기회귀(auto-regressive) 방식의 고품질 스트리밍 비디오 편집을 지원하는 프레임워크인 SVEET를 제안한다. 이 문제를 해결하기 위해, 먼저 기존의 비디오-투-비디오 확산 접근법들을 체계적으로 재검토하고, 이러한 스트리밍 적응을 위한 두 가지 핵심 원칙, 즉 백본 특징 분리(backbone feature disentanglement)와 조건부 프레임 독립성(conditional frame independence)을 규명한다. 이러한 통찰을 바탕으로, 제어 가능한 비디오 생성을 위한 새로운 패러다임을 개발한다. 그 핵심에는 시간적으로 독립적인 셀프 어텐션으로 소스 비디오 입력을 인코딩하는 보조 모델 분기(auxiliary model branch)가 있으며, 중간 특징들은 스트리밍 호환 제어를 위해 해당 백본 블록에 주입된다. 또한, 양방향 모델과 스트리밍 모델의 특징 공간 간 불일치를 해소하기 위해, 비디오 제어 가능성과 모델 인과성(causality)의 최적화 방향 간 직교성을 명시적으로 강제하는 분리 학습(decoupled training) 기법을 제안한다. 이러한 분리는 추론 시 두 목표 간의 호환성을 보장하고, 이질적인 백본 아키텍처 간의 원활한 제로샷 지식 전이를 촉진한다. 광범위한 실험을 통해 SVEET가 실시간 성능을 유지하면서도 우수한 편집 품질을 달성함을 입증하였으며, 어떠한 보조 가속 기법 없이도 단일 H100 GPU 17에서 15 FPS를 달성하였다. 코드는 https://github.com/YujiaHu1109/SVEET 에서 확인할 수 있다.
MaskChanger: A Transformer-Based Model Tailoring Change Detection with Mask Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.