RDVSv2: RGB-D 비디오 돌출 객체 검출을 위한 대규모 벤치마크
RDVSv2: A Large-scale Benchmark for RGB-D Video Salient Object Detection
한국어 초록
본 논문에서는 조밀한 프레임 단위 주석을 갖춘 RGB-D 비디오 돌출 객체 검출(RGB-D VSOD)을 위한 대규모 벤치마크인 RDVSv2를 소개합니다. 이 신흥 분야의 기존 데이터셋들은 종종 규모와 주석 품질 면에서 제한적이며, 기하학적 일관성이 떨어지는 깊이 단서에 의존합니다. 이러한 한계를 해결하기 위해 RDVSv2는 공개적으로 접근 가능한 스테레오스코픽 온라인 비디오로부터 구축되었으며, 29,077개의 주석이 달린 프레임을 포함하는 249개의 비디오 시퀀스로 구성됩니다. 이는 스테레오스코픽 비디오에서 파생된 깊이 맵과 함께 시선 추적 안내를 통해 주석이 달린 프레임별 돌출 객체 마스크를 포함합니다. 기존 데이터셋과 비교하여 RDVSv2는 규모 면에서 훨씬 더 크며 더 다양하고 도전적인 시나리오를 다룹니다. 또한, 우리는 Segment Anything Model 2(SAM2)를 기반으로 RGB-D VSOD를 위한 강력한 기준선을 수립합니다. 구체적으로, 매개변수 효율적 미세조정(PEFT) 전략을 적용하여 SAM2 인코더가 RGB, 깊이 및 광학 흐름 단서를 공동으로 인코딩하도록 적응시킵니다. 광범위한 실험을 통해 RDVSv2가 기존 RGB-D VSOD 방법들에게 실질적으로 훨씬 더 도전적임을 보여줍니다. 한편, 제안된 기준선은 RDVSv2 및 기존 RGB-D VSOD 벤치마크에서 최고 수준의 결과를 달성합니다. 우리는 RDVSv2와 제공된 기준선이 향후 RGB-D VSOD 및 관련 다중 모달 비디오 이해 작업에 유용한 자원으로 활용되기를 기대합니다. 데이터셋과 코드는 https://github.com/ltynick/RDVSv2 에서 제공될 예정입니다.
원문 초록
We introduce RDVSv2, a large-scale benchmark for RGB-D video salient object detection (RGB-D VSOD) with dense frame-level annotations. Existing datasets in this emerging field are often limited in scale and annotation quality, while also relying on less geometry-consistent depth cues. To address these limitations, RDVSv2 is built from publicly accessible stereoscopic online videos and contains 249 video sequences with 29,077 annotated frames. It includes depth maps derived from stereoscopic videos, together with frame-wise salient object masks annotated with eye-tracking guidance. Compared with existing datasets, RDVSv2 is much larger in scale and covers more diverse and challenging scenarios. In addition, we establish a strong baseline for RGB-D VSOD based on Segment Anything Model 2 (SAM2). Specifically, we employ a parameter-efficient fine-tuning (PEFT) strategy to adapt the SAM2 encoder to jointly encode RGB, depth, and optical flow cues. Extensive experiments show that RDVSv2 is substantially more challenging for existing RGB-D VSOD methods. Meanwhile, the proposed baseline achieves state-of-the-art results on RDVSv2 and existing RGB-D VSOD benchmarks. We hope that RDVSv2 and the provided baseline will serve as useful resources for future research on RGB-D VSOD and related multi-modal video understanding tasks. Our dataset and code will be available at https://github.com/ltynick/RDVSv2.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.25392v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.