PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.22650v3cs.CV

RefAM: Attention Magnets for Zero-Shot Referral Segmentation

기존 지시 세그멘테이션(referring segmentation) 접근법 대부분은 미세조정이나 여러 사전학습 모델의 조합을 통해서만 강한 성능을 내며, 종종 추가 학습과 아키텍처 변경이라는 비용을 수반한다. 한편 대규모 생성형 확산(diffusion) 모델은 풍부한 의미 정보를 담고 있어 범용 특징 추출기로 매력적이다. 본 연구에서는 다운스트림 과제를 위해 확산 트랜스포머의 특징(어텐션 점수)을 직접 활용하는 새로운 방법을 제안하며, 아키텍처 변경이나 추가 학습이 필요 없다. 이러한 특징을 체계적으로 평가하기 위해 이미지와 동영상을 아우르는 비전-언어 그라운딩 과제로 벤치마크를 확장한다. 핵심 통찰은 불용어(stop word)가 어텐션 자석(attention magnet)처럼 작용한다는 점이다: 불용어는 과잉 어텐션을 끌어모으며, 이를 걸러 노이즈를 줄일 수 있다. 더 나아가 더 깊은 층에서 나타나는 전역 어텐션 싱크(global attention sink, GAS)를 확인하고, 이를 안전하게 억제하거나 보조 토큰으로 재배향하면 더 선명하고 정확한 그라운딩 맵을 얻을 수 있음을 보인다. 또한 어텐션 재분배 전략을 제안하는데, 덧붙인 불용어가 배경 활성을 더 작은 클러스터로 나누어 더 선명하고 국소적인 히트맵을 만든다. 이러한 발견을 바탕으로 교차-어텐션 맵, GAS 처리, 재분배를 결합한 단순한 무학습(training-free) 그라운딩 프레임워크 RefAM을 구축한다. 제로샷 지시 이미지·동영상 세그멘테이션 벤치마크 전반에서 본 접근법은 강한 성능을 보이며 대부분의 데이터셋에서 이전 방법을 능가하고, 과제별 학습이나 아키텍처 변경 없이 무학습 방법 가운데 새로운 최고 수준을 달성한다. 동영상의 경우, 비디오 확산 트랜스포머의 시공간 특징으로부터 지시 대상(referent)을 국소화하며, 첫 프레임 쿼리를 전파(propagate)하는 방식을 쓰므로 시간적(which-frame) 표현을 명시적으로 해석하지는 않는다.