BeeWhere: 행동 효과 정량화를 위한 뒤영벌 군집 인스턴스 세분화
BeeWhere: Segmenting Bumble Bee Colonies to Quantify Behavioral Effects
한국어 초록
사회성 벌은 전 세계적으로 생물다양성과 농작물 수분을 지원하며 집단 행동 연구를 위한 중요한 모델 시스템 역할을 하는 핵심 화분 매개자이지만, 밀집되고 가림이 많은 둥지 환경에서는 개체 및 군집 수준의 행동을 대규모로 측정하기 어렵습니다. 기존의 모니터링 워크플로는 개체 식별을 유지하기 위해 기준 마커(예: ArUco) 태그를 사용하지만, 태그 기반 추적은 마커가 가려질 경우 실패할 수 있으며 신체 범위, 공간적 맥락, 태그가 부착되지 않은 개체에 대한 정보가 제한적이라는 단점이 있습니다. 본 논문에서는 고해상도 군집 이미지 및 비디오에서 뒤영벌의 행동을 정량화하기 위해 ArUco 검출과 딥러닝 기반 인스턴스 세분화(instance segmentation)를 결합한 AI 보조 어노테이션 및 분석 워크플로인 BeeWhere를 제안합니다. 동부호박벌(Bombus impatiens) 마이크로군집을 테스트 케이스로 활용하여 8,443개의 벌 인스턴스가 포함된 483개 프레임을 어노테이션했습니다. 추가로 꽃가루 덩어리, 둥지 구조, 챔버 경계를 어노테이션하고 후속 행동 분석을 위한 YOLO 인스턴스 세분화 모델을 학습(training)했습니다. 인스턴스 세분화를 통해 신체 윤곽을 기반으로 최근접 이웃 거리, 둥지 구조와의 근접도, 둥지 내 공간 점유율, 시간 경과에 따른 검출 수 등 중요한 행동 지표를 정량화할 수 있습니다. 네오니코티노이드계 살충제 노출이 행동에 미치는 영향을 평가하는 탐색적 검증(validation) 연구에서 태그 기반 추적에 BeeWhere 모델을 적용했습니다. BeeWhere는 특히 벌이 부분적으로 가려지거나 까다로운 이미징 조건일 때 태그 기반 추적 대비 검출률을 높였으며, 태그 기반 추적만으로는 포착하지 못했던 처리군 관련 벌들의 공간적 조직 변화도 포착했습니다. 이러한 결과는 인스턴스 세분화가 까다로운 군집 환경에서도 행동학적으로 유의미한 신호를 복원함으로써 기준 마커 기반 추적을 상호보완할 수 있음을 시사합니다.
원문 초록
Social bees are important pollinators that support biodiversity and crop pollination globally and serve as important model systems for collective behavior, but scalable measurement of individual- and colony-level behavior remains difficult in dense, occluded nest environments. Existing monitoring workflows use fiducial tags (e.g., ArUco) to preserve individual identity, yet tag-based tracking can fail when markers are obscured and provide limited information about body extent, spatial context, and untagged individuals. We present BeeWhere, an AI-assisted annotation and analysis workflow that combines ArUco detections with deep-learnt instance segmentations to quantify bumble bee behavior from high-resolution colony images and videos. Using bumble bee (Bombus impatiens) microcolonies as a test case, we annotate 483 frames containing 8,443 bee instances. We additionally annotate pollen balls, nest structures, and chamber boundaries, and train YOLO instance segmentation models for downstream behavioral analysis. Instance segmentations enable quantification of important behavioral metrics based on body contours, including nearest-neighbor distance, proximity to nest structures, spatial occupancy within the nest, and detection counts over time. We apply the BeeWhere models to tag-based tracking in an exploratory validation study assessing the behavioral impacts of neonicotinoid pesticide exposure. BeeWhere increased detection rates compared to tag-based tracking, particularly when bees were partially obscured or under challenging imaging conditions, and also captured treatment-associated changes in bee spatial organization not captured using tag-based tracking alone. These results suggest that instance segmentation can complement fiducial-marker tracking by recovering behaviorally meaningful signals under challenging colony conditions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LiAM-SAM: 견고한 SAM2 기반 MOT를 위한 생명주기 인식 메모리
LiAM-SAM: Lifecycle-Aware Memory for Robust SAM2-Based MOT
세그멘테이션 기반 다중 객체 추적(MOT)은 SAM2와 같은 파운데이션 비디오 모델로 강한 위치 추정 품질을 제공하지만, 혼잡한 실세계 장면에서는 여전히 취약하다. 검출기 프롬프트 기반 SAM2 파이프라인에서는 실패가 일반적으로 객체 생명주기의 세 단계에서 발생한다: (i) 잘못된 또는 중복된 트랙 초기화, (ii) 밀접한 상호작용 중 메모리 드리프트, (iii) 긴 가림(occlusion) 또는 재진입 후 신뢰할 수 없는 재식별(re-identification). 이러한 오류는 객체 메모리를 손상시키고 시간이 지남에 따라 누적되어 장기 추적을 불안정하게 만든다. 본 논문에서는 MOT를 생명주기 메모리 무결성 문제로 재정의한다. 세 가지 실패 모드 각각에 대해 목표화된 메커니즘을 갖춘 생명주기 인식 메모리(LiAM) 프레임워크인 LiAM-SAM을 제안한다. 트랙 생성 시점에 잘못된 또는 중복된 초기화를 방지하기 위해, 각 프롬프트를 기존의 인근 추적 인스턴스에 조건화하는 대조적(contrastive) 트랙 초기화를 적용한다. 강한 상호작용 동안 메모리 무결성을 유지하기 위해, 상호작용 혼동을 해소하고 드리프트를 억제하는 운동 및 기하학 기반(gr geometry-grounded) 메모리 보정을 도입한다. 소실 후 신뢰할 수 있는 재식별을 위해, 다양하고 신뢰할 만한 참조를 장기 정체성 앵커로 활성화하는 적응형 컨텍스트 메모리를 유지한다. 마지막으로, 유사도 인식 공간 가지치기를 통해 교차 어텐션 시점에 보존할 메모리 토큰을 선택적으로 고르고, 정확도 손실을 최소화하면서 효율을 개선한다. LiAM-SAM은 모듈식이고 검출기 비의존적인 SAM2 기반 MOT 시스템으로, 평가된 벤치마크에서 최첨단 HOTA 및 IDF1을 달성한다. 연관(association)이 어려운 환경에서 ablation 결과 LiAM이 검출기+SAM2 기준선 대비 HOTA +10.5, AssA +17.4를 개선하고 identity switch를 96% 감소시킨다.
강·약 라벨을 활용한 검출, 분할, 추적 및 비디오 인스턴스 분할을 지원하는 정지 이미지 및 시공간 토마토 데이터
Still image and spatial-temporal tomato data enabling detection, segmentation, tracking, and video-instance segmentation using strong and weak labels
본 논문에서는 상업적 환경과 유사한 조건에서 재배된 토마토 식물의 시각적 감지를 위해 로봇으로 수집한 두 개의 데이터셋을 공개한다. 첫 번째는 BUTom21로, 정지 이미지와 수동 어노테이션으로 구성된다. 두 번째는 BUTom-ST21로, 비디오 기반 데이터와 AI 기반 방법을 통한 반자동 어노테이션인 의사 라벨(pseudo-labels)로 구성된다. 두 경우 모두 과실의 숙성도에 대한 픽셀 단위 라벨을 제공한다. 목적은 연구 커뮤니티에 토마토 식물과 그 과실의 상태를 감지하고 추정하는 방법을 탐구할 수 있는 도전적인 실세계 영상 집합을 제공하는 것이다. 토마토는 중요한 원예 작물이다. 특히 시공간 데이터셋은 개별 과실 수와 숙성도 정보를 제공하여, 연구자들이 현장 기반 표현형 분석(field-based phenotyping)의 한계를 넓힐 수 있도록 한다.
롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템
Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System
롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.
mbariml: 심해 영상 및 비디오를 객체 검출 학습 데이터로 변환하기 위한 큐레이션 파이프라인
mbariml: a curation pipeline for turning deep-sea imagery and video into object-detection training data
학습(training) 데이터의 양과 질은 모델 아키텍처와 관계없이 객체 검출(object detection) 모델의 성능에 큰 영향을 미칩니다. 관심 대상(주로 생물)이 희소하고 희미하며 식별하기 어려운 심해 비디오 및 영상에서의 객체 검출의 경우, 검출기 성능의 점진적인 개선을 위해 데이터 라벨링 및 관리에 대한 반복적인 접근 방식이 필요할 수 있습니다. 본 논문에서는 데이터 라벨링 및 관리 프로세스를 중심으로 구축된 파이썬(Python) 기반 비디오 및 영상 분석 파이프라인인 mbariml을 소개합니다. mbariml은 Ultralytics YOLO 검출 모델을 사용하여 정지 영상이나 비디오에서 모델을 실행하고, 모든 검출 결과를 검토 가능한 관심 영역(ROI)으로 저장하며, 시각적 유사도에 따라 이러한 영역들을 그룹화하여 작업자가 일괄 수락 또는 거부할 수 있도록 한 뒤 결과를 학습 데이터, 통계, 영상 사이드카(sidecar) 및 추가 메타데이터로 내보냅니다. 기존 YOLO 및 Pascal VOC 데이터셋을 동일한 데이터베이스로 가져올 수 있으므로, 기존 레거시 학습 세트를 새로운 검출 결과와 함께 검토, 확장 및 재내보내기할 수 있습니다. 인간 검토 단계는 이 설계의 핵심입니다. 어노테이터는 SAM3 분할(segmentation) 모델의 보조를 선택적으로 받아 완전히 새로운 위치 지정을 검증, 재라벨링, 크기 조정, 삭제 및 직접 그릴 수 있으며, 이러한 모든 편집 내용은 검출기가 기록했던 것과 동일한 데이터베이스에 다시 기록됩니다. 비디오는 특히 많은 주목을 받는데, 소프트웨어는 트래커가 생성한 각 트랙(track)을 임시 관측치로 취급하고 트랙 내의 모든 검출 결과를 유지하는 대신 하나의 대표 프레임을 선택합니다. 우리는 해저 비디오의 684개 트랙에서 검토한 각 트랙의 대표 프레임 선정 방식(사용자가 선택한 트랙의 3분의 1 지점, 기본값은 중간)을 포함하여 파이프라인을 단계별로 설명합니다.
RYOPO: 엔드투엔드 범주 수준 객체 포즈 추정의 실시간화
RYOPO: Bringing End-to-End Category-Level Object Pose Estimation into Real Time
범주 수준(category-level) 객체 포즈 추정은 알려진 범주 내에서 보지 못한 인스턴스의 회전, 평행 이동 및 미터 단위 크기를 예측합니다. 많은 고정밀 RGB-D 방식은 외부 인스턴스 분할과 크롭 기반 포즈 추정에 의존하므로, 별도의 단계와 객체 수에 의존하는 처리 비용이 발생하여 실시간 추론(inference)을 저해합니다. 정확한 포즈 추정을 실시간으로 구현하기 위해, 본 논문에서는 엔드투엔드로 학습 가능한 쿼리 기반 RGB-D 세트 예측기인 RYOPO를 제시합니다. RYOPO는 명시적인 CAD 기반 형상 사전 정보나 별도로 학습된 인스턴스 분할기 없이도 객체를 공동으로 검출 및 분할하고 이들의 9-DoF 포즈를 추정합니다. 공유된 이미지 및 씬 인코딩은 객체별 크롭 인코딩의 반복을 방지합니다. 쿼리 조건부 기하학 경로는 관측된 3D 포인트 및 RGB 특징을 객체 쿼리와 연결하고 공유된 씬 컨텍스트를 통합합니다. 객체 중심 리파인먼트는 도출된 포인트 기술자를 활용하여 포즈 조건부 교차 어텐션(cross-attention)과 순환 잔차 보정을 통해 명시적 포즈 상태를 업데이트합니다. NOCS 데이터셋에서 RYOPO는 기존에 발표된 RGB-D 공동 검출 및 포즈 추정 결과를 크게 개선합니다. 또한 REAL275 및 HouseCat6D의 전 객체 평가에서 2단계 방식들과 비교해 경쟁력 있는 성능을 달성하는 동시에, RTX A6000에서 31.8 FPS로 실시간 풀프레임 포즈 추정을 가능하게 합니다. 프로젝트 페이지: https://yopo-series.github.io/RYOPO-project-page/.
ByteTraX: 최적화된 임계값 설정을 통한 ByteTrack 아키텍처 개선
ByteTraX: Enhancing the ByteTrack Architecture with Optimised Thresholding
ByteTrack 알고리즘은 널리 사용되며 연산 효율적인 다중 객체 추적(multi-object tracking) 아키텍처입니다. 이 아키텍처의 핵심 혁신은 객체 가림(occlusion)을 강건하게 처리하기 위해 완화된 경계 상자(bounding box) 연관과 트랙릿(tracklet) 유사도 매칭을 결합한 데 있습니다. 그러나 검출 신뢰도 점수가 연관 우선순위를 결정하기 때문에, 이러한 전략은 잘못된 트랙 재분류 및 ID 스위칭(identity switching)에 여전히 취약합니다. 이를 해결하기 위해 본 논문에서는 엄격한 트랙 시작 기준을 통해 ID 스위치를 억제하면서 단일 통합 매칭 임계값을 통해 트랙 연속성을 최적화하는 ByteTrack 아키텍처의 단순한 개선판인 ByteTraX를 제안합니다. 이 접근 방식은 GMOT-40, LC-MOT, SportsMOT, TeamTrack, DAMUNT, DeepSea-MOT 등 다양한 벤치마크 전반에서 지속적으로 향상된 성능을 달성하는 동시에 처리 속도를 10% 이상 높입니다. 구체적으로, 결과에서는 ID 스위치가 40% 이상 감소함을 보여주며, HOTA 평균 3.6 증가, IDF1 평균 5.6 증가, FPS 평균 6.3 증가를 동반합니다. 따라서 ByteTraX 알고리즘의 도입은 실시간 배포에 필요한 효율성을 유지하면서 ByteTrack 기준선(baseline) 대비 추적 성능을 크게 향상시킬 잠재력을 지닙니다. 활용을 돕기 위해 오픈 소스 저장소를 통해 소스 코드, YOLO 제품군 객체 검출(object detection) 모델과의 통합 기능, 배포 지침을 제공합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Preprint. Accepted to ECCV 2026 Computer Vision for Ecology Workshop Proceedings. Proceedings DOI pending