LD-RSVIS: 참조 수술 비디오 기구 세그멘테이션을 위한 대규모 다채로운 벤치마크
LD-RSVIS: A Large-Scale and Diverse Benchmark for Referring Surgical Video Instrument Segmentation
한국어 초록
참조 수술 비디오 기구 세그멘테이션(RSVIS)은 텍스트 설명이 주어졌을 때 수술 비디오 내의 기구를 세그멘테이션하는 것을 목표로 한다. 최근의 진전에도 불구하고 현재 모델들은 상대적으로 소규모인 벤치마크에서 학습(training) 및 평가되고 있어, 보다 일반적인 RSVIS의 발전을 저해하고 있다. 또한 기존 벤치마크는 비디오 내의 기구 하나를 지칭하는 단일 타깃 표현만을 지원하고 다중 타깃 및 무타깃 참조 표현을 간과하여, 실제 시나리오에서 RSVIS의 적용 가능성을 제한한다. 이러한 문제를 해결하기 위해, 우리는 보다 강건하고 일반적인 RSVIS를 촉진하는 것을 목표로 하는 새로운 벤치마크인 LD-RSVIS를 제안한다. 구체적으로 LD-RSVIS는 109만 개의 프레임이 포함된 3,536개의 수술 비디오로 구성되며, 25가지 다양한 수술 절차에서 추출된 30개의 광범위한 기구 클래스 세트를 다룬다. 풍부한 비디오와 클래스를 포함함으로써, LD-RSVIS는 보다 일반적인 RSVIS 방법의 대규모 학습 및 평가에 기여할 수 있다. 아울러 기존 데이터셋과 달리 LD-RSVIS는 무타깃, 단일 타깃, 다중 타깃 표현을 포함하는 다양한 참조 설정을 제공하여, 실제 응용 분야에서 보다 실용적인 RSVIS 모델을 개발할 수 있도록 한다. 고품질 주석을 보장하기 위해 LD-RSVIS의 모든 비디오는 여러 차례의 검수와 정제 과정을 거쳐 수작업으로 라벨링되었다. 우리가 아는 한, LD-RSVIS는 RSVIS를 위한 가장 크고 다채로운 벤치마크이다. LD-RSVIS를 분석하고 향후 연구를 위한 비교 기준을 제공하기 위해 12가지 대표적인 방법을 평가하였으며, 그 결과 추가적인 성능 향상을 위해 더 많은 노력이 필요함이 드러났다. 향후 연구를 장려하기 위해, 우리는 상호보완적인 다중 단서 텍스트 정보를 활용하여 타깃 특화 단서를 먼저 발굴한 다음, 이러한 단서와 텍스트 정보를 세그멘테이션에 활용하여 유망한 성능을 달성하는 Cascade-RSVIS라는 단순하면서도 효과적인 RSVIS 방법을 제시한다. 우리의 벤치마크와 코드는 공개될 예정이다.
원문 초록
Referring surgical video instrument segmentation (RSVIS) aims at segmenting the instrument in a surgical video, given a textual description. Despite recent progress, current models are trained and assessed on relatively small-scale benchmarks, hindering the development of more general RSVIS. In addition, existing benchmarks support only the single-target expression that refers to one instrument in the video, while overlooking multi-target and no-target referring expressions, restricting the applicability of RSVIS in practical scenarios. Addressing these issues, we propose LD-RSVIS, a new benchmark aiming to facilitate more robust and general RSVIS. Specifically, LD-RSVIS consists of 3,536 surgical videos with 1.09 million frames and covers a broad set of 30 instrument classes from 25 various procedures. By including abundant videos and classes, LD-RSVIS could benefit large-scale training and evaluation of more general RSVIS methods. Besides, unlike existing datasets, LD-RSVIS offers diverse referring settings, including no-target, single-target, and multi-target expressions, which enables the development of more practical RSVIS models in real applications. In order to ensure high-quality annotations, all videos in LD-RSVIS are manually labeled with multiple rounds of inspection and refinement. To our knowledge, LD-RSVIS is the largest and most diverse benchmark for RSVIS. To analyze LD-RSVIS and to provide comparison for future research, we evaluate 12 representative methods, and the results reveal that more efforts are required for improvements. To encourage future research, we present a simple yet effective RSVIS method, dubbed Cascade-RSVIS, that first mines target-specific cues using the complementary multi-cue text information and then employs such cues and textual information for segmentation, achieving promising performance. Our benchmark and code will be released.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23067v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
MetaFormer and CNN Hybrid Model for Polyp Image Segmentation
PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법
PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.
컨포멀 불확실성 추정을 적용한 초음파 영상 내 갑상선 결절 분할
Thyroid Nodule Segmentation in Ultrasound Images with Conformal Uncertainty Estimation
갑상선 결절은 일반 인구의 상당 비율에서 발생합니다. 대부분은 양성이지만, 악성인 경우도 적지 않은 비율을 차지합니다. 초음파 영상은 주요 진단 방식(modality)이며, 악성 여부를 분류(classification)하고 전이 위험을 평가하는 CAD 시스템에서는 정확한 결절 분할(segmentation)이 필수적인 선결 조건입니다. 본 연구에서는 DeepLabV3+, 채널 어텐션(channel-attention) 모듈, 그리고 사후 컨포멀 예측(post-hoc conformal prediction)을 결합하여 정확한 마스크와 픽셀 수준의 불확실성 추정치를 모두 제공하는 갑상선 결절 분할 프레임워크를 제안합니다. 우리는 악성도 분류 및 전이 위험 예측까지 포함하는 파이프라인의 첫 번째 단계로 갑상선 초음파 결절 분할을 다룹니다. Atrous Spatial Pyramid Pooling(ASPP)을 통해 다중 스케일 컨텍스트를 포착하는 DeepLabV3+를 채택하고, 정확도와 효율성 간의 절충(trade-off)을 고려하여 EfficientNet-B5 백본을 사용합니다. 또한 Squeeze-and-Excitation, CBAM, Grouped Channel Attention(GCA)의 세 가지 채널 어텐션 모듈을 두 가지 손실(loss) 함수 구성(Dice-BCE 및 Boundary)과 결합하여 테스트합니다. 이진 마스크는 예측 신뢰도를 나타내지 못하므로, 통계적 커버리지 보장(statistical coverage guarantees)을 제공하는 픽셀 수준의 불확실성 맵을 생성하도록 분할 컨포멀 예측(split conformal prediction) 층(layer)으로 학습된 모델(model)을 감쌉니다. 고정 분할 방식을 사용하여 TN3K 공개 벤치마크에서 모든 구성을 평가하고 최신 기법(SOTA)들과 직접 비교합니다. 기본 백본만으로도 이전에 보고된 결과를 개선하며, CBAM + Dice-BCE가 전반적으로 가장 우수한 구성으로 나타났습니다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
단일 비디오를 넘어서: 전자상거래 교차 비디오 추론을 위한 벤치마킹 및 능동적 증거 탐색
Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning
전자상거래 비디오는 정보 밀도가 높으며, 제품을 평가하는 소비자와 마케팅 전략을 평가하는 판매자에 의해 빈번하게 비교됩니다. 그러나 기존의 멀티모달 모델은 주로 단일 비디오 이해에 초점을 맞추고 있어 비디오 전반에 걸친 정보를 비교하는 능력이 제한적입니다. 본 논문에서는 6가지 추론 차원에 걸쳐 2,483개의 비디오와 6,110개의 질문-답변 쌍을 포함하는 최초의 전자상거래 교차 비디오 추론(cross-video reasoning) 벤치마크인 AdsCVR을 소개합니다. 교차 비디오 추론을 수행하려면 모델이 수많은 중복 프레임 사이에서 세밀한 증거를 찾아내고 시각적 세부 사항, 음성, 화면 텍스트를 통합해야 합니다. 이에 따라 저자들은 정적 균일 샘플링을 능동적 증거 수집으로 대체하여 다중 턴 탐험(exploration) 과정에서 시각 및 음향 도구를 동적으로 선택하는 에이전트 프레임워크인 AdSeek을 제안합니다. 강화학습(reinforcement learning, RL)의 희소한 신용 할당(sparse credit assignment) 문제를 해결하기 위해, RL로 생성된 궤적에서 추론 오류와 누락된 멀티모달 증거를 식별하는 오프라인 궤적 교정 메커니즘을 개발했습니다. 교정된 궤적은 RL 과정에서 학습된 편향을 줄이는 지도 미세조정(supervised fine-tuning) 신호를 제공합니다. 이 메커니즘은 초기 RL이 추론 병목을 드러내고, 지도 미세조정이 이를 수정하며, 최종 RL 단계가 정책을 더욱 향상시키는 교정 기반 부트스트래핑 파이프라인을 지원합니다. AdSeek은 AdsCVR 테스트 분할에서 74.30%의 정확도를 달성하여 백본인 Qwen3-VL-8B-Instruct 대비 27.90%p 뛰어난 성능을 보였습니다. 또한 오픈 도메인 CrossVid 벤치마크에도 일반화되어 효과적인 능동적 증거 수집 능력을 입증했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.