Learning Attributes Equals Multi-Source Domain Generalization
원문 초록
Attributes possess appealing properties and benefit many computer vision problems, such as object recognition, learning with humans in the loop, and image retrieval. Whereas the existing work mainly pursues utilizing attributes for various computer vision problems, we contend that the most basic problem---how to accurately and robustly detect attributes from images---has been left under explored. Especially, the existing work rarely explicitly tackles the need that attribute detectors should generalize well across different categories, including those previously unseen. Noting that this is analogous to the objective of multi-source domain generalization, if we treat each category as a domain, we provide a novel perspective to attribute detection and propose to gear the techniques in multi-source domain generalization for the purpose of learning cross-category generalizable attribute detectors. We validate our understanding and approach with extensive experiments on four challenging datasets and three different problems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
검색 기하 구조가 캐시 기반 CLIP 적응을 좌우한다
Retrieval Geometry Shapes Cache-Based Clip Adaptation
캐시 기반 테스트 시점 적응(test-time adaptation)은 모델을 고정(frozen)한 채 타깃 스트림에서 예시를 저장하고 검색함으로써 CLIP의 예측을 향상시킨다. 그러나 기존 방법들은 이미지-이미지 검색에 사용되는 특징 공간을 대부분 고정된 것으로 취급하여, 적응이 검색 공간 자체에 얼마나 의존하는지는 밝혀지지 않은 채로 남아 있었다. 본 연구는 메모리를 고정하고 검색 인코더만 변경함으로써 이 질문을 탐구하며, 동일한 메모리라도 매우 다른 성능 향상을 가져올 수 있음을 발견하였다: 16개의 검색 공간에 걸쳐 ImageNet-A 캐시 성능 향상은 CLIP과 MAE의 경우 최대 +0.44점에 그치는 반면, DINOv2-L의 경우 +19.7 ± 0.4점에 달했으며, 레이블 없이(label-free) 검색 공간을 선택하는 방식은 ImageNet-V2에서 오라클(oracle) 성능 향상의 98%를 유지하였다. 이러한 결과는 메모리의 품질이 어떤 예시가 저장되는지뿐만 아니라 그것들이 어떻게 검색되는지에도 좌우됨을 보여준다. 이 발견에 착안하여, 우리는 예측에는 고정된(frozen) CLIP을, 검색에는 DINOv2-B를 사용하고 단일 융합 가중치(weight)를 적용하는 학습이 필요 없는(training-free) 시스템인 MARC(Memory Augmented Retrieval for CLIP)를 제안한다. 단일 뷰(single-view) 캐시는 약 7분의 1의 비용으로 1074 ± 21개의 기준선(baseline) 오류를 수정하는 반면, 64개 뷰 앙상블(ensemble)은 878 ± 4개를 수정하는 데 그친다. 네 가지 ImageNet 분포 이동(distribution shift)에 걸쳐 MARC는 67.91%의 분포 외(OOD) 평균 성능을 달성하였으며, 동일한 DINOv2-B 규모와 8개 뷰 조건에서 그래프 기반 캐시 시스템의 62.75 ± 0.15% 대비 64.17 ± 0.31%를 달성하면서도 2.6배 더 빠르게 동작하였다. 전반적으로, 본 연구의 결과는 원격 탐사(remote sensing), 과학 이미징(scientific imaging), 그리고 변화하는 시각 환경에서 강건한(robust) 캐시 기반 적응을 위해 검색 공간이 1차적인(first-order) 설계 선택 요소임을 확립한다.
Learning compact binary descriptors with unsupervised deep neural networks
RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정
RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation
비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/
일반화 가능한 파운데이션 모델 적응을 위한 확산 메타 프롬프팅 및 스티어링
Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation
프롬프트 학습(Prompt learning)은 파운데이션 모델(foundation model)을 적응시키는 널리 쓰이는 방법이지만, 학습된 프롬프트는 대개 특정 태스크에 국한되어 새로운 클래스, 도메인, 또는 태스크의 조합으로 일반화되지 못합니다. 본 논문에서는 확산 모델(diffusion model)을 사용하여 학습된 프롬프트의 분포를 모델링하는 프레임워크인 확산 메타 프롬프트(Diffusion Meta-Prompt, DMP) 모델을 소개합니다. 기존에 학습된 프롬프트 저장소가 주어지면, DMP는 원본 태스크 예시나 태스크 손실(task loss)에 접근하지 않고도 학습 및 샘플링되며, 자연어 태스크 설명을 조건으로 삼아 새로운 프롬프트를 합성합니다. 샘플링 안정성을 향상하기 위해, 당사는 DMP를 재학습하거나 테스트 클래스에 접근하지 않고도 확산 샘플링 중에 저장소 내 최적의 학습 선택 프롬프트를 잠재 앵커(latent anchor)로 사용하는 DMP용 테스트 타임 스티어링(test-time steering) 전략을 제안합니다. DMP는 분류(classification), 검색, 텍스트-이미지 생성 태스크 전반에서 일반화 성능을 향상시키며, 명시적인 학습 없이도 개념 조합과 네거티브 프롬프팅(negative prompting)을 지원합니다. 또한 프롬프트 검색 방식에 비해 스토리지 및 추론(inference) 비용을 90% 이상 절감합니다. 복합 분류에서 DMP는 55쌍의 데이터셋에 걸쳐 기존 메타러닝(meta-learning) 방식 대비 평균 최대 2.0%의 성능 향상을 달성하며, Eurosat 및 Flowers와 같은 특정 데이터셋 쌍에서는 최대 8.5%의 향상을 보입니다. DMP는 계층적 분류 태스크에서도 약 2~9%의 향상을 보이며 태스크 간 일반화 성능 역시 강화합니다. 나아가 당사는 DMP에서 샘플링된 프롬프트의 기대 태스크 손실을 제한하는 이론적 보장을 제공합니다. 코드는 https://github.com/DeepakSridhar/dmp 에서 제공됩니다.
AMBER: 목록형 비전-언어 재순위화를 위한 다중 뷰 적응형 예산 할당
AMBER: Multi-View Adaptive Budget Allocation for Listwise Vision-Language Reranking
비전-언어 모델(VLM)은 멀티모달 검색을 위한 강력한 목록형(listwise) 재순위화 모델이지만, 높은 추론(inference) 비용으로 인해 작은 규모의 로컬 후보 뷰만 평가하도록 제한됩니다. 기존의 다중 호출 전략은 고정된 스케줄에 의존하므로 정보량이 적은 후보 쌍과 쉬운 쿼리에 값비싼 VLM 호출을 낭비합니다. 이를 해결하기 위해, 전역 자원 할당을 동적으로 최적화하는 온라인 예산 기반 다중 뷰 재순위화 프레임워크인 AMBER(Adaptive Multi-view Budgeted Elo Reranking)를 제안합니다. AMBER는 단편화된 목록형 VLM 출력을 로컬 토너먼트로 취급하고, 연속적인 Elo 업데이트를 사용하여 가벼운 전역 순위 상태를 유지합니다. 이를 바탕으로 두 가지 수준에서 계산을 할당합니다. 즉, 점수 모호성이 높은 후보 뷰를 동적으로 구성하고, 기대 정보 이득을 극대화하도록 쿼리를 스케줄링합니다. 우리는 각 Elo 업데이트가 Bradley-Terry 로그 가능도(likelihood)에 대한 확률적 그래디언트(gradient) 상승 단계에 해당함을 보이고, 쿼리 수준 할당 전략에 대한 서브모듈러(submodular) 정보이론적 근거를 제시합니다. CIRR, CIRCO 및 PhotoBench에 대한 실험을 통해 AMBER가 유사한 VLM 호출 예산 내에서 비교 대상 다중 호출 VLM 재순위화 방식 중 가장 뛰어난 종합적 성능을 달성하는 동시에, 더 적은 예산 설정에서도 효과적임을 입증합니다. 저희 코드는 https://github.com/wnlfc/AMBER 에서 공개적으로 이용할 수 있습니다.
nnFoundation: 방사선학을 위한 3D 파운데이션 모델
nnFoundation: 3D Foundation Models for Radiology
방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.