arXiv:2609.25500v2 cs.CV

mbariml: 심해 영상 및 비디오를 객체 검출 학습 데이터로 변환하기 위한 큐레이션 파이프라인

mbariml: a curation pipeline for turning deep-sea imagery and video into object-detection training data

Lonny Lundsten, Kevin Barnard, Dave Caress

제출 2026-09-21

한국어 초록

학습(training) 데이터의 양과 질은 모델 아키텍처와 관계없이 객체 검출(object detection) 모델의 성능에 큰 영향을 미칩니다. 관심 대상(주로 생물)이 희소하고 희미하며 식별하기 어려운 심해 비디오 및 영상에서의 객체 검출의 경우, 검출기 성능의 점진적인 개선을 위해 데이터 라벨링 및 관리에 대한 반복적인 접근 방식이 필요할 수 있습니다. 본 논문에서는 데이터 라벨링 및 관리 프로세스를 중심으로 구축된 파이썬(Python) 기반 비디오 및 영상 분석 파이프라인인 mbariml을 소개합니다. mbariml은 Ultralytics YOLO 검출 모델을 사용하여 정지 영상이나 비디오에서 모델을 실행하고, 모든 검출 결과를 검토 가능한 관심 영역(ROI)으로 저장하며, 시각적 유사도에 따라 이러한 영역들을 그룹화하여 작업자가 일괄 수락 또는 거부할 수 있도록 한 뒤 결과를 학습 데이터, 통계, 영상 사이드카(sidecar) 및 추가 메타데이터로 내보냅니다. 기존 YOLO 및 Pascal VOC 데이터셋을 동일한 데이터베이스로 가져올 수 있으므로, 기존 레거시 학습 세트를 새로운 검출 결과와 함께 검토, 확장 및 재내보내기할 수 있습니다. 인간 검토 단계는 이 설계의 핵심입니다. 어노테이터는 SAM3 분할(segmentation) 모델의 보조를 선택적으로 받아 완전히 새로운 위치 지정을 검증, 재라벨링, 크기 조정, 삭제 및 직접 그릴 수 있으며, 이러한 모든 편집 내용은 검출기가 기록했던 것과 동일한 데이터베이스에 다시 기록됩니다. 비디오는 특히 많은 주목을 받는데, 소프트웨어는 트래커가 생성한 각 트랙(track)을 임시 관측치로 취급하고 트랙 내의 모든 검출 결과를 유지하는 대신 하나의 대표 프레임을 선택합니다. 우리는 해저 비디오의 684개 트랙에서 검토한 각 트랙의 대표 프레임 선정 방식(사용자가 선택한 트랙의 3분의 1 지점, 기본값은 중간)을 포함하여 파이프라인을 단계별로 설명합니다.

원문 초록

Training data quantity and quality greatly affect object detection model performance, regardless of model architecture. For object detection in deep-sea video and imagery, where the objects of interest (primarily organisms) are sparse, faint, and hard to identify, incremental improvements to detector performance may require an iterative approach to data labeling and management. This paper presents mbariml, a Python-based video and image analysis pipeline built around the data labeling and management process. mbariml uses an Ultralytics YOLO detection model, runs it over still images or video, stores every detection as a reviewable region of interest, groups those regions by visual similarity so that a human can accept or reject them in bulk, and exports the result as training data, statistics, image sidecars, and additional metadata. Existing YOLO and Pascal VOC datasets can be imported into the same database, so a legacy training set can be reviewed, extended, and re-exported alongside new detections. The human review stage is the center of the design: an annotator can validate, relabel, resize, delete, and draw entirely new localizations, optionally assisted by the SAM3 segmentation model, and every one of those edits is written back to the same database the detector wrote to. Video receives particular attention: the software treats each tracker-produced track as a provisional observation and selects one representative frame instead of retaining every detection in the track. We describe the pipeline stage by stage, including how each track's representative frame is chosen (from a user-selected third of the track, the middle by default), which we examine on 684 tracks from seafloor video.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.25500v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24492v2cs.CV공통 태그 Object Detection, Object Tracking, Video Understanding

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

arXiv:2609.28078v1cs.CV공통 태그 Object Detection, Object Tracking, Video Understanding

LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리

LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT

세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.

arXiv:2609.28328v1cs.CV공통 태그 Object Detection, Object Tracking, Video Understanding

BronchoTop: RGB 전용 위상 국소화 기반 기관지경 내비게이션

BronchoTop: Bronchoscopy Navigation via RGB-Only Topological Localization

기관지 나무 내에서 기관지경의 정확한 위치 추정(localization)은 임상의가 목표 병변에 도달하고 생검을 수행하며, 진단 및 치료 시술 중 기도 분절을 잘못 식별하는 것을 피하는 데 필수적이다. 그러나 기존 내비게이션 시스템은 일반적으로 환자별 CT 스캔이나 추가 외부 센서에 의존하여 비용, 설정 시간, 환자의 방사선 노출을 증가시킨다. 본 연구는 환자별 데이터가 필요 없는 RGB 전용 실시간 위상 기관지경 국소화 프레임워크인 BronchoTop을 제present한다. BronchoTop은 네 개의 모듈—관강(lumen) 검출 및 추적, 관강-분지(branch) 라벨 연관, 확률적 스코프 위치 추정, 전환(switch) 검증—을 통해 일반적인 기도 모델 대비 스코프 위치를 추정한다. 표준 기관지경 비디오 입력만 사용함으로써 BronchoTop은 의사에게 실용적이고 실시간 내비게이션 보조를 제공한다. 팬텀, 시뮬레이션, 실제 데이터에 대한 평가는 최첨단 정확도를 보여 주며, 실제 기관지경 시퀀스에서 기존 접근법 성능을 20% 이상 개선한다. BronchoTop은 국소화 알고리즘과 사용된 모든 실제 데이터, 추가 시뮬레이션 생성 코드를 함께 공개한 최초의 프레임워크로, 후속 개발과 벤치마킹(benchmarking)을 장려하고 촉진한다. 결과는 BronchoTop이 임상 및 로봇 기관지경에서 시술 안전성, 효율성, 접근성을 향상시킬 잠재력을 보여 준다.

arXiv:2610.03051v1cs.CV공통 태그 Object Detection, Object Tracking

BeeWhere: 행동 효과 정량화를 위한 뒤영벌 군집 인스턴스 세분화

BeeWhere: Segmenting Bumble Bee Colonies to Quantify Behavioral Effects

사회성 벌은 전 세계적으로 생물다양성과 농작물 수분을 지원하며 집단 행동 연구를 위한 중요한 모델 시스템 역할을 하는 핵심 화분 매개자이지만, 밀집되고 가림이 많은 둥지 환경에서는 개체 및 군집 수준의 행동을 대규모로 측정하기 어렵습니다. 기존의 모니터링 워크플로는 개체 식별을 유지하기 위해 기준 마커(예: ArUco) 태그를 사용하지만, 태그 기반 추적은 마커가 가려질 경우 실패할 수 있으며 신체 범위, 공간적 맥락, 태그가 부착되지 않은 개체에 대한 정보가 제한적이라는 단점이 있습니다. 본 논문에서는 고해상도 군집 이미지 및 비디오에서 뒤영벌의 행동을 정량화하기 위해 ArUco 검출과 딥러닝 기반 인스턴스 세분화(instance segmentation)를 결합한 AI 보조 어노테이션 및 분석 워크플로인 BeeWhere를 제안합니다. 동부호박벌(Bombus impatiens) 마이크로군집을 테스트 케이스로 활용하여 8,443개의 벌 인스턴스가 포함된 483개 프레임을 어노테이션했습니다. 추가로 꽃가루 덩어리, 둥지 구조, 챔버 경계를 어노테이션하고 후속 행동 분석을 위한 YOLO 인스턴스 세분화 모델을 학습(training)했습니다. 인스턴스 세분화를 통해 신체 윤곽을 기반으로 최근접 이웃 거리, 둥지 구조와의 근접도, 둥지 내 공간 점유율, 시간 경과에 따른 검출 수 등 중요한 행동 지표를 정량화할 수 있습니다. 네오니코티노이드계 살충제 노출이 행동에 미치는 영향을 평가하는 탐색적 검증(validation) 연구에서 태그 기반 추적에 BeeWhere 모델을 적용했습니다. BeeWhere는 특히 벌이 부분적으로 가려지거나 까다로운 이미징 조건일 때 태그 기반 추적 대비 검출률을 높였으며, 태그 기반 추적만으로는 포착하지 못했던 처리군 관련 벌들의 공간적 조직 변화도 포착했습니다. 이러한 결과는 인스턴스 세분화가 까다로운 군집 환경에서도 행동학적으로 유의미한 신호를 복원함으로써 기준 마커 기반 추적을 상호보완할 수 있음을 시사합니다.

arXiv:2609.37801v2cs.CV공통 태그 Object Detection, Object Tracking

ByteTraX: 최적화된 임계값 설정을 통한 ByteTrack 아키텍처 개선

ByteTraX: Enhancing the ByteTrack Architecture with Optimised Thresholding

ByteTrack 알고리즘은 널리 사용되며 연산 효율적인 다중 객체 추적(multi-object tracking) 아키텍처입니다. 이 아키텍처의 핵심 혁신은 객체 가림(occlusion)을 강건하게 처리하기 위해 완화된 경계 상자(bounding box) 연관과 트랙릿(tracklet) 유사도 매칭을 결합한 데 있습니다. 그러나 검출 신뢰도 점수가 연관 우선순위를 결정하기 때문에, 이러한 전략은 잘못된 트랙 재분류 및 ID 스위칭(identity switching)에 여전히 취약합니다. 이를 해결하기 위해 본 논문에서는 엄격한 트랙 시작 기준을 통해 ID 스위치를 억제하면서 단일 통합 매칭 임계값을 통해 트랙 연속성을 최적화하는 ByteTrack 아키텍처의 단순한 개선판인 ByteTraX를 제안합니다. 이 접근 방식은 GMOT-40, LC-MOT, SportsMOT, TeamTrack, DAMUNT, DeepSea-MOT 등 다양한 벤치마크 전반에서 지속적으로 향상된 성능을 달성하는 동시에 처리 속도를 10% 이상 높입니다. 구체적으로, 결과에서는 ID 스위치가 40% 이상 감소함을 보여주며, HOTA 평균 3.6 증가, IDF1 평균 5.6 증가, FPS 평균 6.3 증가를 동반합니다. 따라서 ByteTraX 알고리즘의 도입은 실시간 배포에 필요한 효율성을 유지하면서 ByteTrack 기준선(baseline) 대비 추적 성능을 크게 향상시킬 잠재력을 지닙니다. 활용을 돕기 위해 오픈 소스 저장소를 통해 소스 코드, YOLO 제품군 객체 검출(object detection) 모델과의 통합 기능, 배포 지침을 제공합니다.

arXiv:2610.01022v1cs.CV공통 태그 Object Tracking, Video Understanding

ASH를 통한 자동 비디오 어노테이션을 향하여: 제로샷 오픈 어휘 다중 객체 추적 및 분할

Towards Automatic Video Annotation with ASH: Zero-Shot Open-Vocabulary Multi-Object Tracking and Segmentation

메모리-어텐션(memory-attention) 기반 비디오 인스턴스 분할(VIS) 방식은 강력한 제로샷(zero-shot) 추적 능력을 입증했으나, 상당한 메모리 요구량으로 인해 짧은 비디오 클립에 국한되며 단일 프롬프트 추론(inference) 설계로 인해 다중 범주 오픈 어휘(open-vocabulary) 추적에 과도한 연산 비용이 발생한다. 본 연구는 임의 비디오의 완전 자동화된 추적 어노테이션을 향한 두 가지 기여를 제시한다. Generalized Presence Token(GPT)은 어떠한 학습(training)된 구성 요소도 수정하지 않고 가상 프롬프트 배치 처리를 통해 N개의 텍스트 프롬프트를 동시에 처리하도록 SAM3의 추론 파이프라인을 재구성하여 이미지 인코딩 비용을 O(N)에서 O(1)로 줄인다. Annotation and Segmentation Handler(ASH)는 데이터셋(dataset)별 추가 학습 없이도 IoU 기반 청크 간 동일성(identity) 매칭을 사용하는 중첩 시간 청크를 통해 메모리-어텐션 VIS 추적기를 임의 길이의 시퀀스로 확장한다. SAM3를 기반으로 구현된 결과 파이프라인인 SAM3-ASH는 완전한 제로샷 조건 하에서 MOTS20에서 최고 수준(state-of-the-art)의 HOTA를 달성하고 추가 7개 벤치마크 전반에 걸쳐 학습된 특화 모델들과 견줄만한 성능을 유지하면서도, 최대 GPU 메모리 소비량을 25GB 미만으로 유지하여 확장 가능하고 학습이 필요 없는(training-free) 자동 비디오 어노테이션을 위한 실용적인 기준선(baseline)을 정립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.