arXiv:2610.01022v1 cs.CV

ASH를 통한 자동 비디오 어노테이션을 향하여: 제로샷 오픈 어휘 다중 객체 추적 및 분할

Towards Automatic Video Annotation with ASH: Zero-Shot Open-Vocabulary Multi-Object Tracking and Segmentation

Arash Rocky, Q. M. Jonathan Wu

제출 2026-10-01

한국어 초록

메모리-어텐션(memory-attention) 기반 비디오 인스턴스 분할(VIS) 방식은 강력한 제로샷(zero-shot) 추적 능력을 입증했으나, 상당한 메모리 요구량으로 인해 짧은 비디오 클립에 국한되며 단일 프롬프트 추론(inference) 설계로 인해 다중 범주 오픈 어휘(open-vocabulary) 추적에 과도한 연산 비용이 발생한다. 본 연구는 임의 비디오의 완전 자동화된 추적 어노테이션을 향한 두 가지 기여를 제시한다. Generalized Presence Token(GPT)은 어떠한 학습(training)된 구성 요소도 수정하지 않고 가상 프롬프트 배치 처리를 통해 N개의 텍스트 프롬프트를 동시에 처리하도록 SAM3의 추론 파이프라인을 재구성하여 이미지 인코딩 비용을 O(N)에서 O(1)로 줄인다. Annotation and Segmentation Handler(ASH)는 데이터셋(dataset)별 추가 학습 없이도 IoU 기반 청크 간 동일성(identity) 매칭을 사용하는 중첩 시간 청크를 통해 메모리-어텐션 VIS 추적기를 임의 길이의 시퀀스로 확장한다. SAM3를 기반으로 구현된 결과 파이프라인인 SAM3-ASH는 완전한 제로샷 조건 하에서 MOTS20에서 최고 수준(state-of-the-art)의 HOTA를 달성하고 추가 7개 벤치마크 전반에 걸쳐 학습된 특화 모델들과 견줄만한 성능을 유지하면서도, 최대 GPU 메모리 소비량을 25GB 미만으로 유지하여 확장 가능하고 학습이 필요 없는(training-free) 자동 비디오 어노테이션을 위한 실용적인 기준선(baseline)을 정립한다.

원문 초록

Memory-attention-based Video Instance Segmentation (VIS) methods have demonstrated strong zero-shot tracking capability, yet their substantial memory requirements confine them to short video clips and their single-prompt inference design makes multi-category open-vocabulary tracking computationally prohibitive. This work introduces two contributions toward fully automated tracking annotation of arbitrary video. The Generalized Presence Token (GPT) reformulates SAM3's inference pipeline to process N text prompts simultaneously via virtual prompt batching, reducing image encoding cost from O(N) to O(1) with no modifications to any learned component. The Annotation and Segmentation Handler (ASH) extends any memory-attention VIS tracker to sequences of arbitrary length through overlapping temporal chunks with IoU-based inter-chunk identity matching, requiring no dataset-specific training. Instantiated on SAM3, the resulting pipeline -- SAM3-ASH -- achieves state-of-the-art HOTA on MOTS20 under fully zero-shot conditions and remains competitive with trained specialists across seven additional benchmarks, while peak GPU memory consumption stays below 25 GB, establishing a practical baseline for scalable, training-free automated video annotation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01022v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28078v1cs.CV공통 태그 Instance Segmentation, Object Tracking, Video Understanding

LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리

LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT

세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.

arXiv:2607.24098v1cs.CV공통 태그 Instance Segmentation, Object Tracking, Video Understanding

ReflexTrack: 학습 없는 지시 기반 비디오 객체 분할을 위한 피드백 기반 에이전트

ReflexTrack: A Feedback-Driven Agent for Training-Free Referring Video Object Segmentation

지시 기반 비디오 객체 분할(RVOS)은 자연어로 지정된 대상을 비디오 전체에 걸쳐 분할하는 작업이다. 최근 에이전트 기반 접근법은 다중모달 대규모 언어 모델과 프롬프트 가능한 분할 모델을 결합하여 작업별 학습 없이 RVOS를 수행한다. 그러나 대부분의 파이프라인은 일회성 공간 그라운딩 이후 마스크 전파에 의존하여, 초기 프롬프트와 시간적 예측 모두 대부분 검증되지 않은 채로 남는다. 우리는 공간적·시간적 수준 모두에서 이 루프를 닫는 학습 없는 피드백 기반 에이전트인 ReflexTrack을 제안한다. Mask-guided Spatial Refinement는 현재 키프레임 프롬프트로 유도된 마스크를 평가하고, 경계 상자와 양성·음성 포인트를 함께 반복적으로 갱신하여 더 신뢰할 수 있는 초기화를 만든다. Video-level Mask Reflection은 전체 마스크 시퀀스를 평가하고, 신뢰할 수 없는 구간을 국소화하며, 상보적인 수리 키프레임을 선택하고, 마스크 유도 재전파를 통해 후보 예측을 생성한다. 검증된 개선을 제공하는 후보만이 영향받은 구간을 갱신하는 데 사용되며, 그 외 신뢰할 수 있는 예측은 보존된다. 모든 구성 요소는 추론 중 동결 상태를 유지한다. ReflexTrack은 Ref-VPS에서 전체 $\mathcal{Q}$ 점수 69.7, ReasonVOS에서 $\mathcal{J}\&\mathcal{F}$ 점수 67.2를 달성한다. 이 결과는 예측 수준 피드백이 학습 없는 RVOS의 신뢰성을 크게 향상시킴을 보여준다.

arXiv:2607.24598v1cs.CV공통 태그 Instance Segmentation, Object Tracking, Video Understanding

QueenVIS: 쿼리 강화를 통한 비디오 인스턴스 분할의 이미지 단독 학습 재고

QueenVIS: Rethinking Image-Only Training for Video Instance Segmentation via Query Enrichment

비디오 인스턴스 분할(VIS)은 모델이 프레임 전반에 걸쳐 객체를 검출하고, 분할하며, 객체 정체성을 추적해야 하며, 대부분의 방법은 비디오 수준 지도를 통해 시간적 일관성을 강제한다. MinVIS를 대표적인 예로 하는 이미지 단독 학습 접근법은 프레임을 독립적인 이미지로 취급하고 추론 시점에만 인스턴스를 연관시킴으로써 비디오 학습 없이도 경쟁력 있는 VIS 성능을 달성하며 이러한 가정에 도전해 왔다. 그럼에도 불구하고 분야는 비용이 많이 드는 정체성 일관 주석에 의존하는 점점 더 정교한 비디오 학습 추적기 쪽으로 이동했고, 이미지 단독 방향은 충분히 탐구되지 않은 채 남아 있다. 진단 분석은 객체 쿼리(object query) 품질을 병목으로 식별한다. 한 프레임 내에서 객체만 국한화하도록 학습된 쿼리는 프레임 간에 서로 drift하며 연관을 불안정하게 만든다. QueenVIS는 이미지 학습 기반 VIS를 강화하기 위한 쿼리 중심 프레임워크를 제안한다. 단일 프레임 학습 동안, 우리는 Mask2Former 쿼리를 두 개의 보조 헤드로 강화한다. 하나는 각 쿼리를 해당 인스턴스의 풀링된 백본 디스크립터와 정렬하는 특징 예측 손실이고, 다른 하나는 공간 구조를 주입하는 중심 예측 손실이다. 두 헤드는 추론 시 폐기되어 추가 파라미터가 없으며, 시간적 정체성은 학습 없는 쿼리 전파 및 메모리 뱅크(memory bank) 방식으로 유지된다. ResNet-50 백본을 사용한 YouTube-VIS 및 OVIS에서 QueenVIS는 MinVIS 대비 YouTube-VIS에서 최대 +6.7 AP, OVIS에서 +4.8 AP, 장시퀀스 YouTube-VIS 분할에서 +10.3 AP 향상을 보인다. QueenVIS는 YouTube-VIS에서 50.9 AP를 달성하며, 학습 중 단 하나의 비디오 클립도 처리하지 않고도 최근 비디오 지도 기반 최신 기술(state-of-the-art)과 경쟁력을 유지한다. 우리의 결과는 객체 쿼리의 판별력과 시간적 안정성을 강화하는 것이 VIS에서 중요하고 아직 충분히 탐구되지 않은 축임을 시사한다. 코드 및 모델: https://github.com/ArianKheir/QueenVIS

arXiv:2609.24492v2cs.CV공통 태그 Object Tracking, Video Understanding

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

arXiv:2609.25500v2cs.CV공통 태그 Object Tracking, Video Understanding

mbariml: 심해 영상 및 비디오를 객체 검출 학습 데이터로 변환하기 위한 큐레이션 파이프라인

mbariml: a curation pipeline for turning deep-sea imagery and video into object-detection training data

학습(training) 데이터의 양과 질은 모델 아키텍처와 관계없이 객체 검출(object detection) 모델의 성능에 큰 영향을 미칩니다. 관심 대상(주로 생물)이 희소하고 희미하며 식별하기 어려운 심해 비디오 및 영상에서의 객체 검출의 경우, 검출기 성능의 점진적인 개선을 위해 데이터 라벨링 및 관리에 대한 반복적인 접근 방식이 필요할 수 있습니다. 본 논문에서는 데이터 라벨링 및 관리 프로세스를 중심으로 구축된 파이썬(Python) 기반 비디오 및 영상 분석 파이프라인인 mbariml을 소개합니다. mbariml은 Ultralytics YOLO 검출 모델을 사용하여 정지 영상이나 비디오에서 모델을 실행하고, 모든 검출 결과를 검토 가능한 관심 영역(ROI)으로 저장하며, 시각적 유사도에 따라 이러한 영역들을 그룹화하여 작업자가 일괄 수락 또는 거부할 수 있도록 한 뒤 결과를 학습 데이터, 통계, 영상 사이드카(sidecar) 및 추가 메타데이터로 내보냅니다. 기존 YOLO 및 Pascal VOC 데이터셋을 동일한 데이터베이스로 가져올 수 있으므로, 기존 레거시 학습 세트를 새로운 검출 결과와 함께 검토, 확장 및 재내보내기할 수 있습니다. 인간 검토 단계는 이 설계의 핵심입니다. 어노테이터는 SAM3 분할(segmentation) 모델의 보조를 선택적으로 받아 완전히 새로운 위치 지정을 검증, 재라벨링, 크기 조정, 삭제 및 직접 그릴 수 있으며, 이러한 모든 편집 내용은 검출기가 기록했던 것과 동일한 데이터베이스에 다시 기록됩니다. 비디오는 특히 많은 주목을 받는데, 소프트웨어는 트래커가 생성한 각 트랙(track)을 임시 관측치로 취급하고 트랙 내의 모든 검출 결과를 유지하는 대신 하나의 대표 프레임을 선택합니다. 우리는 해저 비디오의 684개 트랙에서 검토한 각 트랙의 대표 프레임 선정 방식(사용자가 선택한 트랙의 3분의 1 지점, 기본값은 중간)을 포함하여 파이프라인을 단계별로 설명합니다.

arXiv:2609.14073v2cs.CV공통 태그 Object Tracking, Video Understanding

LPA-CWM: 반사실적 월드 모델을 활용한 모션 추론을 위한 학습된 물리 판정기

LPA-CWM: A Learned Physical Adjudicator for Motion Reasoning with Counterfactual World Models

반사실적 월드 모델(CWM)은 실제 예측과 개입된 예측을 비교하여 사전학습된 비디오 예측기에서 모션을 추출하지만, 균일 집계(uniform aggregation)는 물리적 사전지식(physical priors)을 명시적으로 통합하지 않고 응답에 동일한 가중치를 부여합니다. 본 연구의 핵심 통찰은 물리적 사전지식을 후보 신뢰도 학습에 통합하는 것으로, 가벼운 학습된 물리 판정기(LPA)를 갖춘 LPA-CWM을 제안하게 된 배경이 되었습니다. 조밀한 MOVi-F 궤적에서 학습된 3.0M 매개변수의 LPA는 순서가 없는 후보 집합 전체에서 시각적 문맥과 응답 구조를 비교하여 상대적 가중치를 예측하며, CWM을 고정한 상태에서 윈도우 기반 위치 파악 및 1회의 쌍별 재평가를 통해 모션을 복원합니다. 기존의 비디오 수준 벤치마크는 낮은 위치 파악 오차가 누락된 궤적 구간을 감출 수 있는 모션 대응을 직접적으로 평가하지 못합니다. 이에 따라 위치 파악, 완전성, 가시성 및 연속성을 함께 측정하고 가시적인 동적 지점에서 누락된 예측을 실패로 간주하는 정답 기반 프로토콜인 완전성 인식 모션 대응(CMC)을 도입합니다. DAVIS, Kinetics 및 RoboTAP 전반에 걸쳐 LPA-CWM은 Uniform CWM 대비 모든 주요 CMC 지표를 개선하여 평균 동적 대응 정확도($\mathrm{DCA}_{\mathrm{avg}}$)에서 18.1%--60.0%의 상대적 향상을 달성하고, TAP-Vid First 추적 정확도를 향상시킵니다(개요: https://LPA-CWM.github.io).

토론

이 논문과 연결된 포럼 글이 아직 없습니다.