arXiv:2609.22706v1 cs.CV

DOA-SORT: 분포적 관측을 활용한 방향성 가림 인지 다중 객체 추적

DOA-SORT: Directional Occlusion-Aware Multi-Object Tracking with Distributional Observations

Hao Wang

제출 2026-09-22

한국어 초록

다중 객체 추적(MOT)에서 객체 식별 연관(identity association)은 부분적 가림(partial occlusion), 잘린 탐지(truncated detection), 변동하는 신뢰도 점수에 취약합니다. 기존의 모션 위주 트래커들은 흔히 가림을 스칼라 페널티로 표현합니다. 이러한 방식은 가림으로 인해 발생하는 방향성 관측 바이어스(bias)를 놓치게 됩니다. 즉, 좌, 우, 상, 하 가림은 탐지된 객체의 위치와 형태를 서로 다른 방식으로 왜곡합니다. 본 논문에서는 이러한 바이어스를 명시적으로 모델링하는 온라인 기반의 무학습(training-free) 트래커인 DOA-SORT(Directional Occlusion-Aware SORT)를 제안합니다. 먼저, 바운딩 박스 중첩과 상대적인 하단 위치로부터 소프트한 앞뒤 순서를 추론하고 방향별 가림 범위 및 깊이를 추정합니다. 그런 다음 깨끗한 관측 요소 하나와 네 가지 방향성 가림 관측 요소의 혼합을 구성합니다. 해당 모델은 박스 중심, 면적, 신뢰도, 종횡비로 구성된 5차원 관측을 사용하며, 예측된 가림과 탐지 신뢰도에 맞춰 관측 노이즈를 적응시킵니다. 이 방향성 혼합 가능도(likelihood)는 높은 신뢰도 연관, 낮은 신뢰도 연관, 트랙 복구에 사용되며, 모호성 페널티와 국소 순서 일관성 교환(local order-consistency swap)을 통해 인접한 객체 간의 식별 오류를 더욱 줄입니다. DanceTrack 검증(validation) 분할에서 DOA-SORT는 동일한 탐지기 및 평가 프로토콜을 사용한 OA-SORT 대비 HOTA를 63.00에서 66.34로, AssA를 45.10에서 49.57로, IDF1을 62.19에서 65.28로 향상시켰습니다. 탐지 정확도는 안정적으로 유지되는 반면 성능 향상은 연관 품질에 집중되었습니다. MOT17 및 MOT20 학습(train) 분할에 대한 추가적인 국소 평가는 동일한 no-ReID 추적 프로토콜 하에서 데이터셋 간 동작 특성을 보여줍니다.

원문 초록

Identity association in multi-object tracking (MOT) is vulnerable to partial occlusion, truncated detections, and fluctuating confidence scores. Existing motion-dominant trackers commonly represent occlusion as a scalar penalty. This treatment misses the directional observation bias caused by occlusion: left, right, top, and bottom occlusions distort the location and shape of a detection in different ways. We propose \ours{} (Directional Occlusion-Aware SORT), an online and training-free tracker that models these biases explicitly. First, it infers a soft front--back ordering from box overlap and relative bottom positions, and estimates directional occlusion coverage and depth. It then constructs a mixture of one clean and four directional occlusion observation components. The model uses a five-dimensional observation comprising box center, area, confidence, and aspect ratio, and adapts observation noise to predicted occlusion and detection confidence. The directional mixture likelihood is used in high-confidence association, low-confidence association, and track recovery; ambiguity penalties and local order-consistency swaps further reduce identity errors among nearby objects. On the DanceTrack validation split, \ours{} improves HOTA from 63.00 to 66.34, AssA from 45.10 to 49.57, and IDF1 from 62.19 to 65.28 over OA-SORT with the same detector and evaluation protocol. The gains are concentrated in association quality while detection accuracy remains stable. Additional local evaluations on MOT17 and MOT20 train splits characterize cross-dataset behavior under the same no-ReID tracking protocol.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.22706v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24492v2cs.CV공통 태그 Object Detection, Object Tracking

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

arXiv:2609.25500v2cs.CV공통 태그 Object Detection, Object Tracking

mbariml: 심해 영상 및 비디오를 객체 검출 학습 데이터로 변환하기 위한 큐레이션 파이프라인

mbariml: a curation pipeline for turning deep-sea imagery and video into object-detection training data

학습(training) 데이터의 양과 질은 모델 아키텍처와 관계없이 객체 검출(object detection) 모델의 성능에 큰 영향을 미칩니다. 관심 대상(주로 생물)이 희소하고 희미하며 식별하기 어려운 심해 비디오 및 영상에서의 객체 검출의 경우, 검출기 성능의 점진적인 개선을 위해 데이터 라벨링 및 관리에 대한 반복적인 접근 방식이 필요할 수 있습니다. 본 논문에서는 데이터 라벨링 및 관리 프로세스를 중심으로 구축된 파이썬(Python) 기반 비디오 및 영상 분석 파이프라인인 mbariml을 소개합니다. mbariml은 Ultralytics YOLO 검출 모델을 사용하여 정지 영상이나 비디오에서 모델을 실행하고, 모든 검출 결과를 검토 가능한 관심 영역(ROI)으로 저장하며, 시각적 유사도에 따라 이러한 영역들을 그룹화하여 작업자가 일괄 수락 또는 거부할 수 있도록 한 뒤 결과를 학습 데이터, 통계, 영상 사이드카(sidecar) 및 추가 메타데이터로 내보냅니다. 기존 YOLO 및 Pascal VOC 데이터셋을 동일한 데이터베이스로 가져올 수 있으므로, 기존 레거시 학습 세트를 새로운 검출 결과와 함께 검토, 확장 및 재내보내기할 수 있습니다. 인간 검토 단계는 이 설계의 핵심입니다. 어노테이터는 SAM3 분할(segmentation) 모델의 보조를 선택적으로 받아 완전히 새로운 위치 지정을 검증, 재라벨링, 크기 조정, 삭제 및 직접 그릴 수 있으며, 이러한 모든 편집 내용은 검출기가 기록했던 것과 동일한 데이터베이스에 다시 기록됩니다. 비디오는 특히 많은 주목을 받는데, 소프트웨어는 트래커가 생성한 각 트랙(track)을 임시 관측치로 취급하고 트랙 내의 모든 검출 결과를 유지하는 대신 하나의 대표 프레임을 선택합니다. 우리는 해저 비디오의 684개 트랙에서 검토한 각 트랙의 대표 프레임 선정 방식(사용자가 선택한 트랙의 3분의 1 지점, 기본값은 중간)을 포함하여 파이프라인을 단계별로 설명합니다.

arXiv:2610.03051v1cs.CV공통 태그 Object Detection, Object Tracking

BeeWhere: 행동 효과 정량화를 위한 뒤영벌 군집 인스턴스 세분화

BeeWhere: Segmenting Bumble Bee Colonies to Quantify Behavioral Effects

사회성 벌은 전 세계적으로 생물다양성과 농작물 수분을 지원하며 집단 행동 연구를 위한 중요한 모델 시스템 역할을 하는 핵심 화분 매개자이지만, 밀집되고 가림이 많은 둥지 환경에서는 개체 및 군집 수준의 행동을 대규모로 측정하기 어렵습니다. 기존의 모니터링 워크플로는 개체 식별을 유지하기 위해 기준 마커(예: ArUco) 태그를 사용하지만, 태그 기반 추적은 마커가 가려질 경우 실패할 수 있으며 신체 범위, 공간적 맥락, 태그가 부착되지 않은 개체에 대한 정보가 제한적이라는 단점이 있습니다. 본 논문에서는 고해상도 군집 이미지 및 비디오에서 뒤영벌의 행동을 정량화하기 위해 ArUco 검출과 딥러닝 기반 인스턴스 세분화(instance segmentation)를 결합한 AI 보조 어노테이션 및 분석 워크플로인 BeeWhere를 제안합니다. 동부호박벌(Bombus impatiens) 마이크로군집을 테스트 케이스로 활용하여 8,443개의 벌 인스턴스가 포함된 483개 프레임을 어노테이션했습니다. 추가로 꽃가루 덩어리, 둥지 구조, 챔버 경계를 어노테이션하고 후속 행동 분석을 위한 YOLO 인스턴스 세분화 모델을 학습(training)했습니다. 인스턴스 세분화를 통해 신체 윤곽을 기반으로 최근접 이웃 거리, 둥지 구조와의 근접도, 둥지 내 공간 점유율, 시간 경과에 따른 검출 수 등 중요한 행동 지표를 정량화할 수 있습니다. 네오니코티노이드계 살충제 노출이 행동에 미치는 영향을 평가하는 탐색적 검증(validation) 연구에서 태그 기반 추적에 BeeWhere 모델을 적용했습니다. BeeWhere는 특히 벌이 부분적으로 가려지거나 까다로운 이미징 조건일 때 태그 기반 추적 대비 검출률을 높였으며, 태그 기반 추적만으로는 포착하지 못했던 처리군 관련 벌들의 공간적 조직 변화도 포착했습니다. 이러한 결과는 인스턴스 세분화가 까다로운 군집 환경에서도 행동학적으로 유의미한 신호를 복원함으로써 기준 마커 기반 추적을 상호보완할 수 있음을 시사합니다.

arXiv:2609.37801v2cs.CV공통 태그 Object Detection, Object Tracking

ByteTraX: 최적화된 임계값 설정을 통한 ByteTrack 아키텍처 개선

ByteTraX: Enhancing the ByteTrack Architecture with Optimised Thresholding

ByteTrack 알고리즘은 널리 사용되며 연산 효율적인 다중 객체 추적(multi-object tracking) 아키텍처입니다. 이 아키텍처의 핵심 혁신은 객체 가림(occlusion)을 강건하게 처리하기 위해 완화된 경계 상자(bounding box) 연관과 트랙릿(tracklet) 유사도 매칭을 결합한 데 있습니다. 그러나 검출 신뢰도 점수가 연관 우선순위를 결정하기 때문에, 이러한 전략은 잘못된 트랙 재분류 및 ID 스위칭(identity switching)에 여전히 취약합니다. 이를 해결하기 위해 본 논문에서는 엄격한 트랙 시작 기준을 통해 ID 스위치를 억제하면서 단일 통합 매칭 임계값을 통해 트랙 연속성을 최적화하는 ByteTrack 아키텍처의 단순한 개선판인 ByteTraX를 제안합니다. 이 접근 방식은 GMOT-40, LC-MOT, SportsMOT, TeamTrack, DAMUNT, DeepSea-MOT 등 다양한 벤치마크 전반에서 지속적으로 향상된 성능을 달성하는 동시에 처리 속도를 10% 이상 높입니다. 구체적으로, 결과에서는 ID 스위치가 40% 이상 감소함을 보여주며, HOTA 평균 3.6 증가, IDF1 평균 5.6 증가, FPS 평균 6.3 증가를 동반합니다. 따라서 ByteTraX 알고리즘의 도입은 실시간 배포에 필요한 효율성을 유지하면서 ByteTrack 기준선(baseline) 대비 추적 성능을 크게 향상시킬 잠재력을 지닙니다. 활용을 돕기 위해 오픈 소스 저장소를 통해 소스 코드, YOLO 제품군 객체 검출(object detection) 모델과의 통합 기능, 배포 지침을 제공합니다.

arXiv:2609.27143v1cs.CV공통 태그 Object Detection, Object Tracking

고속도로 교통 모니터링을 위한 인프라 기반 레이더 시스템의 체계적 평가

A Systematic Evaluation of Infrastructure-Based Radar System for Highway Traffic Monitoring

인프라 기반 레이더 시스템은 교통 모니터링에 견고하고 장거리 솔루션을 제공하지만, 실제 환경에서의 탐지 및 추적 성능은 아직 충분히 평가되지 않았다. 본 연구는 텍사스주 포트워스의 고속도로 합류 구간에서 수집한 자연주행 차량 궤적의 이중 모달리티 데이터셋 DRaT(Drone and Radar Trajectories)를 제안하여, 드론으로 얻은 ground truth 대비 레이더 센싱 성능을 체계적으로 평가한다. 성능은 개별 차량 탐지, 궤적 추적, 거시적 교통 매개변수 추정의 세 수준에서 평가한다. 개별 차량 탐지에서 레이더는 전체 정밀도 78%, 재현율 57%를 달성하며, 교통 혼잡 조건과 장거리에서 성능이 저하된다. 궤적 수준에서는 레이더가 비교적 강한 추적 성능(IDF1 = 0.699)을 보이며, 궤적이 성공적으로 확립된 경우 안정적인 차량 ID를 유지한다. 거시적 교통 흐름 지표에서는 레이더가 공간 평균 속도를 정확히 추정(MAPE < 4%)하지만, 미탐지로 인해 밀도와 통행량을 약 23% 과소추정한다. 논문은 또한 도로변 레이더 센싱 시스템의 실용적 배치 고려사항과 잠재적 하류 응용을 논의한다. 인프라 기반 센싱 시스템에 대한 재현 가능한 연구를 지원하기 위해 DRaT 데이터셋을 Zenodo에 공개했다: https://zenodo.org/records/20171110.

arXiv:2609.28078v1cs.CV공통 태그 Object Detection, Object Tracking

LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리

LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT

세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.