트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구
When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation
한국어 초록
SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.
원문 초록
Recent trackers built on foundation models such as the Segment Anything Model (SAM) achieve strong performance by propagating object masks through memory. However, this strength is also a key source of failure: under occlusion, reappearance, or distractors, an incorrect prediction can enter the tracking loop and be propagated over time, resulting in persistent identity drift. Existing approaches seek to prevent such failures through improved memory and temporal modeling, but once a failure occurs, the tracker has no explicit mechanism to recognize or correct it. We address this gap with Dual-Agent, a failure-aware tracking framework that complements propagation with explicit verification and recovery. We address this gap with Dual-Agent, a failure-aware tracking framework that complements propagation with explicit verification and recovery. A vision-language verification agent first reasons over spatio-temporal context to determine whether the tracker is still following the target. When a failure is detected, a correction agent uses temporal context to recover the target before tracking continues. The correction agent is trained on real SAM3 failures, augmented with targeted identity-switch and distractor perturbations that expose it to challenging ambiguities during recovery. On LVOS-v2 and SecVOS, Dual-Agent improves SAM3 by 1.2 and 2.7 $J\&F$, respectively. Importantly, the proposed framework transfers without retraining to SAM2.1, SeC, and Cutie, as well as to long-term video object tracking benchmarks including LaSOT-ext, TNL2K, and VOT-LT2022. Our results show that explicitly reasoning about when tracking fails and how to recover provides a complementary path to robust tracking beyond improving propagation alone. Project page: valaybundele.github.io/Dual-Agent.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FiVOS: 대화형 비디오 객체 분할 및 필터 향상 기반 어류 분할 알고리즘
FiVOS: A Fish Segmentation Algorithm Based on Interactive Video Object Segmentation and Filter Enhancement
양식업이 지속적으로 확장됨에 따라 어류 행동에 대한 정밀하고 효율적인 모니터링은 양식 효율을 개선하고 경제적 손실을 줄이는 데 점점 더 중요해지고 있습니다. 특히 심층 학습(deep learning) 모델의 연산 능력이 지속적으로 향상되면서 비전 기반 어류 분할(segmentation) 기법이 많은 주목을 받고 있습니다. 비디오 분할 결과를 분석함으로써 어류의 행동을 효과적으로 추적할 수 있으며, 이를 통해 양식 환경의 정밀한 제어를 위한 신뢰할 수 있는 데이터 지원을 제공할 수 있습니다. 그러나 양식 환경을 위한 기존 심층 학습 기반 비디오 분할 기법은 비디오 프레임 간의 동적 상관관계를 간과하는 경우가 많습니다. 반면 대화형 비디오 객체 분할(Interactive Video Object Segmentation, IVOS)은 상호작용-전파(interaction-propagation) 방식을 활용하여 사용자의 개입을 최소화하면서도 높은 정밀도의 분할을 달성해 모니터링 효율성을 높입니다. 하지만 양식 분야에서의 IVOS 적용은 데이터 부족으로 인해 여전히 제한적이며, 높은 클래스 내 유사도(intra-class similarity)로 인해 긴 시퀀스 전파 과정에서 오차 누적과 마스크 손실이 발생하기 쉽습니다. 이에 본 논문에서는 개선된 대화형 비디오 객체 분할 기법인 FiVOS를 제안하고 두 가지 어류 전용 데이터셋을 구축합니다. FiVOS는 마스크 블록 필터를 활용하여 잘못 전파된 마스크 블록을 조기에 감지하고 수정할 수 있도록 하며, 규칙 기반 임계값 접근법을 통해 필터링 정밀도를 향상시킵니다. 또한 노이즈 필터를 직렬화하여 잘못된 마스크 노이즈를 추가로 제거함으로써 모델의 강건성을 개선합니다. 실험 결과는 FiVOS가 어류 비디오 분할 작업에서 최첨단(SOTA) 성능을 달성하여 어류 행동 연구를 위한 강력한 기술적 지원을 제공함을 입증합니다.
LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리
LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT
세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.
정신분열증 인지 재활을 위한 상호작용형 비전-언어 플랫폼
An Interactive Vision Language Platform for Cognitive Remediation in Schizophrenia
인지 재활 과제는 종종 환자가 객체 조작과 순차적 추론을 포함하는 구조화된 행동을 수행하도록 요구한다. 정신분열증으로 진단받은 환자에게 이러한 과제는 심각한 인지 결손을 다루는 데 중요하다. 그러나 이러한 신체적 행동의 정확성을 평가하는 것은 일반적으로 임상의의 수동 관찰에 의존하며, 이는 주관성을 초래하고 치료적 개입의 확장성을 제한한다. 본 논문에서는 정신분열증 재활을 위한 인지 재활 과제에서 행동 검증을 위해 Vision-Language Model(VLM)에 기반한 자동화 프레임워크를 제안한다. 제안된 시스템은 도로, 회전 교차로, 공원, 장난감 차량 등을 포함한 구조화된 미니어처 장면으로 구성된 카메라 모니터링 탁상 환경에 의존한다. 환자는 장난감 차량을 조작하여 수행할 목표 지향적 공간 행동을 설명하는 음성 지시를 받는다. 이러한 상호작용형 신체 활동은 지속적 어텐션(sustained attention), 운동 협응, 공간 탐색, 인지 유연성과 같은 표적 인지 기능을 자극하도록 특별히 설계되었다. 연속적인 임상 감독 없이 수행된 행동의 정확성을 검증하기 위해, 시스템은 환자의 손과 장난감 움직임을 추적하는 영상 피드를 분석한다. 파인튜닝된 비전-언어 모델은 기록된 영상 시퀀스를 해석하고 관찰된 활동에 대한 의미론적 설명을 생성하여, 초기 텍스트 지시에 대한 수행된 행동의 고수준 검증을 가능하게 한다. 제안된 접근법을 평가하기 위해 4634개의 탁상 인지 재활 영상 시나리오로 구성된 전용 데이터셋을 수집했다. 실험 결과, 우리의 특화된 프레임워크가 저수준 물리적 텔레메트리와 고수준 임상 피드백을 효과적으로 연결하며, 고급 인지 재활을 위한 확장 가능하고 객관적인 해결책을 제시함을 보여준다.
ReflexTrack: 학습 없는 지시 기반 비디오 객체 분할을 위한 피드백 기반 에이전트
ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation
지시 기반 비디오 객체 분할(RVOS)은 자연어로 지정된 대상을 비디오 전체에 걸쳐 분할하는 작업이다. 최근 에이전트 기반 접근법은 다중모달 대규모 언어 모델과 프롬프트 가능한 분할 모델을 결합하여 작업별 학습 없이 RVOS를 수행한다. 그러나 대부분의 파이프라인은 일회성 공간 그라운딩 이후 마스크 전파에 의존하여, 초기 프롬프트와 시간적 예측 모두 대부분 검증되지 않은 채로 남는다. 우리는 공간적·시간적 수준 모두에서 이 루프를 닫는 학습 없는 피드백 기반 에이전트인 ReflexTrack을 제안한다. Mask-guided Spatial Refinement는 현재 키프레임 프롬프트로 유도된 마스크를 평가하고, 경계 상자와 양성·음성 포인트를 함께 반복적으로 갱신하여 더 신뢰할 수 있는 초기화를 만든다. Video-level Mask Reflection은 전체 마스크 시퀀스를 평가하고, 신뢰할 수 없는 구간을 국소화하며, 상보적인 수리 키프레임을 선택하고, 마스크 유도 재전파를 통해 후보 예측을 생성한다. 검증된 개선을 제공하는 후보만이 영향받은 구간을 갱신하는 데 사용되며, 그 외 신뢰할 수 있는 예측은 보존된다. 모든 구성 요소는 추론 중 동결 상태를 유지한다. ReflexTrack은 Ref-VPS에서 전체 $\mathcal{Q}$ 점수 69.7, ReasonVOS에서 $\mathcal{J}\&\mathcal{F}$ 점수 67.2를 달성한다. 이 결과는 예측 수준 피드백이 학습 없는 RVOS의 신뢰성을 크게 향상시킴을 보여준다.
WASABI: 프레임 간 추적 기반 차선 토폴로지 전 그래프 할당 안정화
WASABI: Whole-graph Assignment-based Stabilizer for lAne topology By Inter-frame tracking
자율주행은 교차로를 통과하는 경로를 따르고 교차·합류 교통에 대해 추론하기 위해, 자차 차선만이 아니라 주행 가능한 차선과 그 연결성을 그래프로 이해해야 한다. 최근 지각(perception) 모델은 온보드 센서로 360도 BEV(bird's-eye view) 시야에서 이러한 차선 토폴로지, 즉 차선 세그먼트와 차선 간 연결성(LCLC)을 추론한다. 신경망 지각의 불완전성으로 인해, 그 출력에는 미검출, LCLC 손실 또는 오류, 과검출, 레이블 깜빡임(label flicker)과 같은 구조적 불안정성이 남아 있다. 본 논문은 WASABI를 제안한다. WASABI는 차선 세그먼트와 LCLC 연결성을 공동 추적 대상으로 취급하여 프레임 내·프레임 간 차선 토폴로지 출력을 안정화하는 실시간 후처리 파이프라인으로, 온보드 실시간 제약(10 Hz / 20 ms / 최대 200개 입력 차선) 하에서 동작한다. 이 파이프라인은 세그먼트 추적과 연결성 통합, 노이즈에 강건한 토폴로지 인식 정제, 자원 제약형 실시간 설계를 결합한다. 내부 검증 데이터(16 시퀀스)에서 WASABI는 LCLC 검출 F1을 0.834에서 0.948(+0.114, +13.6%)로 향상시키고, 중심선 횡방향 오차를 2.50 m에서 0.95 m로 줄이며, 검출 false-positive를 24.6% 감소시킨다. 동일 데이터에 대한 시간적 안정성 지표는 LCLC 토글 비율이 63.3%, 경계 레이블 깜빡임 비율이 30.2% 감소했음을 보여주며, 프레임 단위 정확도를 넘어 프레임 간 안정화가 이루어졌음을 확인한다.
고차 세포 추적 트랜스포머
Higher-Order Cell Tracking Transformer
라이브 이미징 현미경에서 계통(lineage)을 재구성하려면 세포 분열을 포함하여 시간에 걸쳐 세포 검출 결과를 연결해야 합니다. 일반적인 접근 방식은 후보 그래프를 구성하고 프레임 간 세포 분할(노드)을 연결하는 것입니다. 그러나 이러한 기존 방법들은 후보 추적 그래프에 존재하는 두 가지 구조적 문제를 간과합니다: (i) 세포 분열이 노드 임베딩 공간에서 서로 다른 계통 경로를 얽히게 하고, (ii) 노드를 공유하는 에지들의 레이블 일치도가 거의 무작위에 가까워 후보 그래프 위상이 그래프 신경망이 집계할 유용한 정보를 제공하지 못합니다. 우리는 고차 세포 추적 트랜스포머(HOCT)를 제안합니다. 이는 에지 중심(edge-centric) 아키텍처로, 후보 세포 링크들이 3D 기하학적 사전(geometric prior) 하에서 서로 어텐션을 수행함으로써 두 가지 문제를 모두 해결합니다. Cell Tracking Challenge와 박테리아 분열 벤치마크에서 평가한 결과, HOCT는 심층 사전학습 이미지 인코더 없이 최첨단 성능을 달성합니다. 또한 제안된 방법은 미세조정이 더 용이하여, 휴먼-인-더-루프(human-in-the-loop) 환경에서 400개의 어노테이션만으로 추적 오류를 59% 빠르게 감소시키며, 경쟁 트랜스포머 기준선의 LoRA 미세조정 대비 6.75% 향상된 성능을 보입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026