ByteTraX: 최적화된 임계값 설정을 통한 ByteTrack 아키텍처 개선
ByteTraX: Enhancing the ByteTrack Architecture with Optimised Thresholding
한국어 초록
ByteTrack 알고리즘은 널리 사용되며 연산 효율적인 다중 객체 추적(multi-object tracking) 아키텍처입니다. 이 아키텍처의 핵심 혁신은 객체 가림(occlusion)을 강건하게 처리하기 위해 완화된 경계 상자(bounding box) 연관과 트랙릿(tracklet) 유사도 매칭을 결합한 데 있습니다. 그러나 검출 신뢰도 점수가 연관 우선순위를 결정하기 때문에, 이러한 전략은 잘못된 트랙 재분류 및 ID 스위칭(identity switching)에 여전히 취약합니다. 이를 해결하기 위해 본 논문에서는 엄격한 트랙 시작 기준을 통해 ID 스위치를 억제하면서 단일 통합 매칭 임계값을 통해 트랙 연속성을 최적화하는 ByteTrack 아키텍처의 단순한 개선판인 ByteTraX를 제안합니다. 이 접근 방식은 GMOT-40, LC-MOT, SportsMOT, TeamTrack, DAMUNT, DeepSea-MOT 등 다양한 벤치마크 전반에서 지속적으로 향상된 성능을 달성하는 동시에 처리 속도를 10% 이상 높입니다. 구체적으로, 결과에서는 ID 스위치가 40% 이상 감소함을 보여주며, HOTA 평균 3.6 증가, IDF1 평균 5.6 증가, FPS 평균 6.3 증가를 동반합니다. 따라서 ByteTraX 알고리즘의 도입은 실시간 배포에 필요한 효율성을 유지하면서 ByteTrack 기준선(baseline) 대비 추적 성능을 크게 향상시킬 잠재력을 지닙니다. 활용을 돕기 위해 오픈 소스 저장소를 통해 소스 코드, YOLO 제품군 객체 검출(object detection) 모델과의 통합 기능, 배포 지침을 제공합니다.
원문 초록
The ByteTrack algorithm is a widely used and computationally efficient multi-object tracking architecture. Its core innovation lies in the combination of lenient bounding box associations with tracklet similarity matching to robustly deal with object occlusions. However, this strategy is nevertheless vulnerable to erroneous track reclassification and identity switching, as detection confidence scores dictate association priority. To address this, I present a simple enhancement of the ByteTrack architecture--named ByteTraX--that optimises track continuity via a single unified matching threshold, while penalising identity switches through stringent track initiation criteria. This approach achieves consistently improved performance across a range of diverse benchmarks including GMOT-40, LC-MOT, SportsMOT, TeamTrack, DAMUNT, and DeepSea-MOT, while simultaneously increasing processing speed by >10%. Specifically, results demonstrate a >40% reduction in identity switches, accompanied by mean increases in HOTA of 3.6, IDF1 of 5.6, and FPS of 6.3. As such, adoption of the ByteTraX algorithm has the potential to substantially enhance tracking performance over the ByteTrack baseline, while retaining the efficiency needed for real-time deployment. To facilitate usage, I provide the source code, integration functionality for the YOLO family of object detection models, and deployment instructions via an open source repository.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템
Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System
롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.
mbariml: 심해 영상 및 비디오를 객체 검출 학습 데이터로 변환하기 위한 큐레이션 파이프라인
mbariml: a curation pipeline for turning deep-sea imagery and video into object-detection training data
학습(training) 데이터의 양과 질은 모델 아키텍처와 관계없이 객체 검출(object detection) 모델의 성능에 큰 영향을 미칩니다. 관심 대상(주로 생물)이 희소하고 희미하며 식별하기 어려운 심해 비디오 및 영상에서의 객체 검출의 경우, 검출기 성능의 점진적인 개선을 위해 데이터 라벨링 및 관리에 대한 반복적인 접근 방식이 필요할 수 있습니다. 본 논문에서는 데이터 라벨링 및 관리 프로세스를 중심으로 구축된 파이썬(Python) 기반 비디오 및 영상 분석 파이프라인인 mbariml을 소개합니다. mbariml은 Ultralytics YOLO 검출 모델을 사용하여 정지 영상이나 비디오에서 모델을 실행하고, 모든 검출 결과를 검토 가능한 관심 영역(ROI)으로 저장하며, 시각적 유사도에 따라 이러한 영역들을 그룹화하여 작업자가 일괄 수락 또는 거부할 수 있도록 한 뒤 결과를 학습 데이터, 통계, 영상 사이드카(sidecar) 및 추가 메타데이터로 내보냅니다. 기존 YOLO 및 Pascal VOC 데이터셋을 동일한 데이터베이스로 가져올 수 있으므로, 기존 레거시 학습 세트를 새로운 검출 결과와 함께 검토, 확장 및 재내보내기할 수 있습니다. 인간 검토 단계는 이 설계의 핵심입니다. 어노테이터는 SAM3 분할(segmentation) 모델의 보조를 선택적으로 받아 완전히 새로운 위치 지정을 검증, 재라벨링, 크기 조정, 삭제 및 직접 그릴 수 있으며, 이러한 모든 편집 내용은 검출기가 기록했던 것과 동일한 데이터베이스에 다시 기록됩니다. 비디오는 특히 많은 주목을 받는데, 소프트웨어는 트래커가 생성한 각 트랙(track)을 임시 관측치로 취급하고 트랙 내의 모든 검출 결과를 유지하는 대신 하나의 대표 프레임을 선택합니다. 우리는 해저 비디오의 684개 트랙에서 검토한 각 트랙의 대표 프레임 선정 방식(사용자가 선택한 트랙의 3분의 1 지점, 기본값은 중간)을 포함하여 파이프라인을 단계별로 설명합니다.
BeeWhere: 행동 효과 정량화를 위한 뒤영벌 군집 인스턴스 세분화
BeeWhere: Segmenting Bumble Bee Colonies to Quantify Behavioral Effects
사회성 벌은 전 세계적으로 생물다양성과 농작물 수분을 지원하며 집단 행동 연구를 위한 중요한 모델 시스템 역할을 하는 핵심 화분 매개자이지만, 밀집되고 가림이 많은 둥지 환경에서는 개체 및 군집 수준의 행동을 대규모로 측정하기 어렵습니다. 기존의 모니터링 워크플로는 개체 식별을 유지하기 위해 기준 마커(예: ArUco) 태그를 사용하지만, 태그 기반 추적은 마커가 가려질 경우 실패할 수 있으며 신체 범위, 공간적 맥락, 태그가 부착되지 않은 개체에 대한 정보가 제한적이라는 단점이 있습니다. 본 논문에서는 고해상도 군집 이미지 및 비디오에서 뒤영벌의 행동을 정량화하기 위해 ArUco 검출과 딥러닝 기반 인스턴스 세분화(instance segmentation)를 결합한 AI 보조 어노테이션 및 분석 워크플로인 BeeWhere를 제안합니다. 동부호박벌(Bombus impatiens) 마이크로군집을 테스트 케이스로 활용하여 8,443개의 벌 인스턴스가 포함된 483개 프레임을 어노테이션했습니다. 추가로 꽃가루 덩어리, 둥지 구조, 챔버 경계를 어노테이션하고 후속 행동 분석을 위한 YOLO 인스턴스 세분화 모델을 학습(training)했습니다. 인스턴스 세분화를 통해 신체 윤곽을 기반으로 최근접 이웃 거리, 둥지 구조와의 근접도, 둥지 내 공간 점유율, 시간 경과에 따른 검출 수 등 중요한 행동 지표를 정량화할 수 있습니다. 네오니코티노이드계 살충제 노출이 행동에 미치는 영향을 평가하는 탐색적 검증(validation) 연구에서 태그 기반 추적에 BeeWhere 모델을 적용했습니다. BeeWhere는 특히 벌이 부분적으로 가려지거나 까다로운 이미징 조건일 때 태그 기반 추적 대비 검출률을 높였으며, 태그 기반 추적만으로는 포착하지 못했던 처리군 관련 벌들의 공간적 조직 변화도 포착했습니다. 이러한 결과는 인스턴스 세분화가 까다로운 군집 환경에서도 행동학적으로 유의미한 신호를 복원함으로써 기준 마커 기반 추적을 상호보완할 수 있음을 시사합니다.
고속도로 교통 모니터링을 위한 인프라 기반 레이더 시스템의 체계적 평가
A Systematic Evaluation of Infrastructure-Based Radar System for Highway Traffic Monitoring
인프라 기반 레이더 시스템은 교통 모니터링에 견고하고 장거리 솔루션을 제공하지만, 실제 환경에서의 탐지 및 추적 성능은 아직 충분히 평가되지 않았다. 본 연구는 텍사스주 포트워스의 고속도로 합류 구간에서 수집한 자연주행 차량 궤적의 이중 모달리티 데이터셋 DRaT(Drone and Radar Trajectories)를 제안하여, 드론으로 얻은 ground truth 대비 레이더 센싱 성능을 체계적으로 평가한다. 성능은 개별 차량 탐지, 궤적 추적, 거시적 교통 매개변수 추정의 세 수준에서 평가한다. 개별 차량 탐지에서 레이더는 전체 정밀도 78%, 재현율 57%를 달성하며, 교통 혼잡 조건과 장거리에서 성능이 저하된다. 궤적 수준에서는 레이더가 비교적 강한 추적 성능(IDF1 = 0.699)을 보이며, 궤적이 성공적으로 확립된 경우 안정적인 차량 ID를 유지한다. 거시적 교통 흐름 지표에서는 레이더가 공간 평균 속도를 정확히 추정(MAPE < 4%)하지만, 미탐지로 인해 밀도와 통행량을 약 23% 과소추정한다. 논문은 또한 도로변 레이더 센싱 시스템의 실용적 배치 고려사항과 잠재적 하류 응용을 논의한다. 인프라 기반 센싱 시스템에 대한 재현 가능한 연구를 지원하기 위해 DRaT 데이터셋을 Zenodo에 공개했다: https://zenodo.org/records/20171110.
LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리
LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT
세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.
BronchoTop: RGB 전용 위상 국소화 기반 기관지경 내비게이션
BronchoTop: Bronchoscopy Navigation via RGB-Only Topological Localization
기관지 나무 내에서 기관지경의 정확한 위치 추정(localization)은 임상의가 목표 병변에 도달하고 생검을 수행하며, 진단 및 치료 시술 중 기도 분절을 잘못 식별하는 것을 피하는 데 필수적이다. 그러나 기존 내비게이션 시스템은 일반적으로 환자별 CT 스캔이나 추가 외부 센서에 의존하여 비용, 설정 시간, 환자의 방사선 노출을 증가시킨다. 본 연구는 환자별 데이터가 필요 없는 RGB 전용 실시간 위상 기관지경 국소화 프레임워크인 BronchoTop을 제present한다. BronchoTop은 네 개의 모듈—관강(lumen) 검출 및 추적, 관강-분지(branch) 라벨 연관, 확률적 스코프 위치 추정, 전환(switch) 검증—을 통해 일반적인 기도 모델 대비 스코프 위치를 추정한다. 표준 기관지경 비디오 입력만 사용함으로써 BronchoTop은 의사에게 실용적이고 실시간 내비게이션 보조를 제공한다. 팬텀, 시뮬레이션, 실제 데이터에 대한 평가는 최첨단 정확도를 보여 주며, 실제 기관지경 시퀀스에서 기존 접근법 성능을 20% 이상 개선한다. BronchoTop은 국소화 알고리즘과 사용된 모든 실제 데이터, 추가 시뮬레이션 생성 코드를 함께 공개한 최초의 프레임워크로, 후속 개발과 벤치마킹(benchmarking)을 장려하고 촉진한다. 결과는 BronchoTop이 임상 및 로봇 기관지경에서 시술 안전성, 효율성, 접근성을 향상시킬 잠재력을 보여 준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.