arXiv:2610.01480v1 cs.CV

FiVOS: 대화형 비디오 객체 분할 및 필터 향상 기반 어류 분할 알고리즘

FiVOS: A Fish Segmentation Algorithm Based on Interactive Video Object Segmentation and Filter Enhancement

Yuqing Duan, Song Zhang, Shili Zhao, Daoliang Li, Ran Zhao

제출 2026-10-01

한국어 초록

양식업이 지속적으로 확장됨에 따라 어류 행동에 대한 정밀하고 효율적인 모니터링은 양식 효율을 개선하고 경제적 손실을 줄이는 데 점점 더 중요해지고 있습니다. 특히 심층 학습(deep learning) 모델의 연산 능력이 지속적으로 향상되면서 비전 기반 어류 분할(segmentation) 기법이 많은 주목을 받고 있습니다. 비디오 분할 결과를 분석함으로써 어류의 행동을 효과적으로 추적할 수 있으며, 이를 통해 양식 환경의 정밀한 제어를 위한 신뢰할 수 있는 데이터 지원을 제공할 수 있습니다. 그러나 양식 환경을 위한 기존 심층 학습 기반 비디오 분할 기법은 비디오 프레임 간의 동적 상관관계를 간과하는 경우가 많습니다. 반면 대화형 비디오 객체 분할(Interactive Video Object Segmentation, IVOS)은 상호작용-전파(interaction-propagation) 방식을 활용하여 사용자의 개입을 최소화하면서도 높은 정밀도의 분할을 달성해 모니터링 효율성을 높입니다. 하지만 양식 분야에서의 IVOS 적용은 데이터 부족으로 인해 여전히 제한적이며, 높은 클래스 내 유사도(intra-class similarity)로 인해 긴 시퀀스 전파 과정에서 오차 누적과 마스크 손실이 발생하기 쉽습니다. 이에 본 논문에서는 개선된 대화형 비디오 객체 분할 기법인 FiVOS를 제안하고 두 가지 어류 전용 데이터셋을 구축합니다. FiVOS는 마스크 블록 필터를 활용하여 잘못 전파된 마스크 블록을 조기에 감지하고 수정할 수 있도록 하며, 규칙 기반 임계값 접근법을 통해 필터링 정밀도를 향상시킵니다. 또한 노이즈 필터를 직렬화하여 잘못된 마스크 노이즈를 추가로 제거함으로써 모델의 강건성을 개선합니다. 실험 결과는 FiVOS가 어류 비디오 분할 작업에서 최첨단(SOTA) 성능을 달성하여 어류 행동 연구를 위한 강력한 기술적 지원을 제공함을 입증합니다.

원문 초록

With the continuous expansion of aquaculture, precise and efficient monitoring of fish behavior has become increasingly critical for improving farming efficiency and reducing economic losses. In particular, with the ongoing enhancement of computational capabilities in deep learning models, vision-based fish segmentation methods are garnering growing attention. By analyzing video segmentation results, fish behavior can be effectively tracked, thereby providing reliable data support for the precise regulation of aquaculture environments. However, existing deep learning-based video segmentation methods for aquaculture scenarios often overlook the dynamic correlations between video frames. In contrast, Interactive Video Object Segmentation (IVOS) employs an interaction-propagation scheme to achieve high-precision segmentation while minimizing user effort, thereby enhancing monitoring efficiency. Yet, IVOS applications in aquaculture remain limited due to data scarcity, and are susceptible to error accumulation and mask loss over long sequence propagation due to high intra-class similarity. In response, this paper proposes an improved interactive video object segmentation method (FiVOS) and constructs two fish-specific datasets. FiVOS utilizes a mask block filter to enable early detection and correction of erroneous propagated mask blocks, enhancing filtering accuracy through a rule-based thresholding approach. Additionally, it serializes noise filters to further eliminate erroneous mask noise, thereby improving model robustness. Experimental results demonstrate that FiVOS achieves state-of-the-art (SOTA) performance in fish video segmentation tasks, providing robust technical support for fish behavior research.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01480v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27509v1cs.CV공통 태그 Semantic Segmentation, Instance Segmentation, Object Tracking

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2607.14934v1cs.CV공통 태그 Semantic Segmentation, Instance Segmentation, Object Tracking

강·약 라벨을 활용한 검출, 분할, 추적 및 비디오 인스턴스 분할을 지원하는 정지 이미지 및 시공간 토마토 데이터

Still image and spatial-temporal tomato data enabling detection, segmentation, tracking, and video-instance segmentation using strong and weak labels

본 논문에서는 상업적 환경과 유사한 조건에서 재배된 토마토 식물의 시각적 감지를 위해 로봇으로 수집한 두 개의 데이터셋을 공개한다. 첫 번째는 BUTom21로, 정지 이미지와 수동 어노테이션으로 구성된다. 두 번째는 BUTom-ST21로, 비디오 기반 데이터와 AI 기반 방법을 통한 반자동 어노테이션인 의사 라벨(pseudo-labels)로 구성된다. 두 경우 모두 과실의 숙성도에 대한 픽셀 단위 라벨을 제공한다. 목적은 연구 커뮤니티에 토마토 식물과 그 과실의 상태를 감지하고 추정하는 방법을 탐구할 수 있는 도전적인 실세계 영상 집합을 제공하는 것이다. 토마토는 중요한 원예 작물이다. 특히 시공간 데이터셋은 개별 과실 수와 숙성도 정보를 제공하여, 연구자들이 현장 기반 표현형 분석(field-based phenotyping)의 한계를 넓힐 수 있도록 한다.

arXiv:2610.02946v2cs.CV공통 태그 Semantic Segmentation, Video Object Segmentation

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

arXiv:2610.15929v1cs.CV공통 태그 Video Object Segmentation, Object Tracking

트래커가 실패할 때: 강건한 비디오 객체 분할을 위한 VLM 유도 검증 및 복구

When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation

SAM(Segment Anything Model)과 같은 파운데이션 모델을 기반으로 구축된 최근의 트래커들은 메모리를 통해 객체 마스크를 전파함으로써 뛰어난 성능을 달성합니다. 그러나 이러한 장점은 동시에 주요 실패 원인이 되기도 합니다. 가림, 재등장, 방해 요소가 발생하는 상황에서 잘못된 예측이 추적 루프에 유입되어 시간에 따라 전파되면 지속적인 아이덴티티 드리프트(identity drift)가 발생할 수 있습니다. 기존 접근법들은 개선된 메모리 및 시간 모델링을 통해 이러한 실패를 방지하고자 하지만, 일단 실패가 발생하면 트래커에는 이를 인식하거나 수정할 수 있는 명시적인 메커니즘이 없습니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 본 논문에서는 명시적인 검증 및 복구를 통해 전파 과정을 보완하는 실패 인지형 추적 프레임워크인 Dual-Agent로 이러한 간극을 해결합니다. 먼저 비전-언어(vision-language) 검증 에이전트가 시공간적 컨텍스트를 추론하여 트래커가 여전히 대상을 추적하고 있는지 판단합니다. 실패가 감지되면, 수정 에이전트가 시간적 컨텍스트를 활용하여 추적이 계속되기 전에 대상을 복구합니다. 수정 에이전트는 실제 SAM3 실패 사례를 바탕으로 학습되었으며, 복구 과정에서 까다로운 모호성에 노출되도록 목표 지향적 아이덴티티 전환 및 방해 요소 섭동을 적용하여 증강되었습니다. LVOS-v2 및 SecVOS에서 Dual-Agent는 SAM3의 성능을 각각 1.2 및 2.7 $J\&F$ 향상시킵니다. 중요한 점은 제안된 프레임워크가 재학습 없이도 SAM2.1, SeC, Cutie뿐만 아니라 LaSOT-ext, TNL2K, VOT-LT2022를 포함한 장기 비디오 객체 추적 벤치마크로 전이된다는 것입니다. 우리의 결과는 추적이 언제 실패하고 어떻게 복구할 것인지를 명시적으로 추론하는 것이 단순히 전파 성능을 개선하는 것을 넘어 강건한 추적을 달성하기 위한 상호보완적인 경로를 제공함을 보여줍니다. 프로젝트 페이지: valaybundele.github.io/Dual-Agent.

arXiv:2610.03051v1cs.CV공통 태그 Instance Segmentation, Object Tracking

BeeWhere: 행동 효과 정량화를 위한 뒤영벌 군집 인스턴스 세분화

BeeWhere: Segmenting Bumble Bee Colonies to Quantify Behavioral Effects

사회성 벌은 전 세계적으로 생물다양성과 농작물 수분을 지원하며 집단 행동 연구를 위한 중요한 모델 시스템 역할을 하는 핵심 화분 매개자이지만, 밀집되고 가림이 많은 둥지 환경에서는 개체 및 군집 수준의 행동을 대규모로 측정하기 어렵습니다. 기존의 모니터링 워크플로는 개체 식별을 유지하기 위해 기준 마커(예: ArUco) 태그를 사용하지만, 태그 기반 추적은 마커가 가려질 경우 실패할 수 있으며 신체 범위, 공간적 맥락, 태그가 부착되지 않은 개체에 대한 정보가 제한적이라는 단점이 있습니다. 본 논문에서는 고해상도 군집 이미지 및 비디오에서 뒤영벌의 행동을 정량화하기 위해 ArUco 검출과 딥러닝 기반 인스턴스 세분화(instance segmentation)를 결합한 AI 보조 어노테이션 및 분석 워크플로인 BeeWhere를 제안합니다. 동부호박벌(Bombus impatiens) 마이크로군집을 테스트 케이스로 활용하여 8,443개의 벌 인스턴스가 포함된 483개 프레임을 어노테이션했습니다. 추가로 꽃가루 덩어리, 둥지 구조, 챔버 경계를 어노테이션하고 후속 행동 분석을 위한 YOLO 인스턴스 세분화 모델을 학습(training)했습니다. 인스턴스 세분화를 통해 신체 윤곽을 기반으로 최근접 이웃 거리, 둥지 구조와의 근접도, 둥지 내 공간 점유율, 시간 경과에 따른 검출 수 등 중요한 행동 지표를 정량화할 수 있습니다. 네오니코티노이드계 살충제 노출이 행동에 미치는 영향을 평가하는 탐색적 검증(validation) 연구에서 태그 기반 추적에 BeeWhere 모델을 적용했습니다. BeeWhere는 특히 벌이 부분적으로 가려지거나 까다로운 이미징 조건일 때 태그 기반 추적 대비 검출률을 높였으며, 태그 기반 추적만으로는 포착하지 못했던 처리군 관련 벌들의 공간적 조직 변화도 포착했습니다. 이러한 결과는 인스턴스 세분화가 까다로운 군집 환경에서도 행동학적으로 유의미한 신호를 복원함으로써 기준 마커 기반 추적을 상호보완할 수 있음을 시사합니다.

arXiv:2610.03332v1cs.CV공통 태그 Semantic Segmentation, Instance Segmentation

SBF-SEM에서 3D 수상돌기 인스턴스 분할을 위한 완전 자동화 파이프라인

A Fully Automatic Pipeline for 3D Dendrite Instance Segmentation in SBF-SEM

연속 블록면 주사전자현미경(SBF-SEM)에서 개별 수상돌기(dendrite)의 정확한 3차원(3D) 재구성은 뇌의 구조적 가소성을 정량화하는 데 필수적이지만, 대규모 수작업 어노테이션은 실현하기 어렵습니다. 본 논문에서는 다운샘플링된 슬라이스에 대한 YOLOv6 유도 기반 Segment Anything Model(SAM) 프롬프팅, 반복적 2차원 마스크 정제, 랜덤 포레스트(random forest) 기반 3D 인스턴스 연결, 그리고 원본 해상도에서 nnU-Net을 활용한 인스턴스 인지 고해상도 정제를 하나의 시스템으로 통합하여 추론 시 수동 프롬프팅이 전혀 필요하지 않은 3D 수상돌기 인스턴스 분할(instance segmentation) 완전 자동화 파이프라인을 제시합니다. 대조군 쥐와 필로카르핀 유도 간질 모델 쥐의 해마 CA1 SBF-SEM 데이터셋에 적용한 결과, 본 파이프라인은 높은 의미론적 정확도(Dice 0.93 및 0.91)와 대조군 조직에서의 우수한 인스턴스 수준 성능으로 일관되고 잘 분리된 수상돌기를 재구성하는 한편, 더 까다로운 간질 조직 분석을 통해 밀집 영역에서의 인스턴스 인식이 주요 잔여 한계점임을 밝혀냈습니다. 고해상도 정제 단계는 얇은 수상돌기 돌출부를 복원하여 후속 가시(spine) 수준 분석의 기반을 제공합니다. 코드는 https://github.com/ZE-WEN/dendrite-3d-instance-seg 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.