OpenSAL360: 전방향 영상 시각 주목성 수집을 위한 오픈소스 크라우드소싱 플랫폼
OpenSAL360: Open-Source Crowdsourcing Platform for Omnidirectional Video Saliency Collection
한국어 초록
전방향 영상 시각 주목성(saliency) 예측은 뷰포트 적응형 스트리밍 및 압축, 초점(foveated) 렌더링, 메시 단순화, 지각 품질 평가 등 다양한 몰입형 멀티미디어 응용에서 중요한 역할을 한다. 그러나 이 분야의 진전은 VR 헤드셋을 이용한 아이트래킹(eye-tracking) 데이터 수집의 비용과 복잡성에 의해 여전히 제약을 받으며, 이로 인해 대규모 데이터셋 구축을 확장하기 어렵다. 우리는 확장 가능하고 저비용의 360° 영상 주목성 수집을 위한 최초의 오픈소스 플랫폼인 OpenSAL360을 제안한다. 기존 VR 기반 프로토콜과 달리, 표준 화면, 마우스, 인터넷 연결만 필요하며, 특수 하드웨어 없이 일반 크라우드소싱 평가자로부터 병렬적인 주목성 데이터 수집을 가능하게 한다. 수집 프로토콜을 7개의 잘 알려진 VR 아이트래킹 데이터셋과 대조하여 검증하고, 핵심 인터페이스 및 전·후처리 파라미터에 대한 ablation 연구를 수행한다. 제안 방법의 효과와 확장성을 보이기 위해, 2,000명 이상의 크라우드소싱 평가자가 주석을 단 500개의 전방향 영상을 포함하는 주목성 데이터셋을 수집하여 공개했으며, 우리가 아는 한 이 분야에서 가장 큰 데이터셋이다. OpenSAL360은 https://github.com/msu-video-group/OpenSAL360 에서 공개한다.
원문 초록
Omnidirectional video saliency prediction plays an important role in many immersive multimedia applications, including viewport-adaptive streaming and compression, foveated rendering, mesh simplification, perceptual quality assessment. Yet progress in this area remains constrained by the cost and complexity of collecting eye-tracking data with VR headsets, which makes large-scale dataset creation difficult to extend. We present OpenSAL360, the first open-source platform for scalable, low-cost 360{\deg} video saliency collection. Unlike conventional VR-based protocols, it requires only a standard screen, mouse, and internet connection, enabling parallel saliency data collection from common crowdsourcing assessors without specialized hardware. We validate our collection protocol against seven well-established VR eye-tracking datasets and conduct ablation studies on key interface, pre-, and post-processing parameters. To demonstrate the effectiveness and scalability of the proposed methodology, we collect and publicly release a saliency dataset covering 500 omnidirectional videos annotated by 2,000+ crowdsourcing assessors, making it, to the best of our knowledge, the largest dataset in this field. We make OpenSAL360 publicly available at https://github.com/msu-video-group/OpenSAL360.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.21480v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.