PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03276v1cs.CV

비디오 현저성 예측의 도약: 움직임이 중요한 새로운 데이터셋과 벤치마크

Moving Forward with Video Saliency: A New Dataset and Benchmark where Motion Matters

비디오 현저성(video saliency) 예측은 추가적인 시간적 차원으로 인해 정적 이미지 현저성보다 모델링하기가 본질적으로 더 어렵습니다. 비디오 현저성 벤치마크는 비디오에서 시선을 예측하려면 여러 프레임에 걸쳐 분포된 시간적 활동을 활용해야 한다는 전제에 기반합니다. 이전 연구에서는 널리 쓰이는 비디오 현저성 데이터셋인 LEDOV에서 정적 기준선(baseline)이 설명 가능한 시선 정보의 상당 부분을 복원하며, 비디오 현저성 모델들이 이 정적 기준선과 동일한 지점에서 실패한다는 점을 보여주며 이러한 전제에 의문을 제기했습니다. 본 연구에서는 더 강력한 기준(gold standard)과 최근 아키텍처들로 구성된 업데이트된 비교군 하에서도 이러한 진단이 여전히 유효함을 검증합니다. 즉, 비교군 내 가장 강력한 시간적 아키텍처조차 미세조정(fine-tuned)된 정적 기준선에 비해 실질적인 성능 향상을 보이지 못했습니다. 그러나 이러한 미미한 향상이 현재 시간적 아키텍처의 한계를 반영하는 것인지, 아니면 벤치마크 자체에 시간적 패턴이 부족하기 때문인지는 불분명한 상태로 남아 있습니다. 이에 본 논문에서는 더 높은 역동성을 갖춘 비디오 현저성 벤치마크인 SalTempto를 소개합니다. SalTempto는 HACS-Segments 데이터셋에서 가져온 매우 역동적인 콘텐츠의 224개 클립으로 구성되어 있어 각 클립이 사건과 그 전후 과정을 포함하며, 최대 16명의 피험자로부터 얻은 시선 기록과 사전학습된 모델의 적응을 위한 학습(training) 분할을 제공합니다. SalTempto에서 정적 기준선은 중심 편향(centerbias) 대비 성능 향상 여지(headroom)의 약 13%만을 복원하는 데 그쳤으며, 이는 LEDOV에서의 절반 이상과 대비됩니다. 미세조정된 시간적 아키텍처는 정적 기준선 대비 상당한 성능 향상을 보여주어, LEDOV가 측정하지 못했던 시간적 정보를 유의미하게 더 많이 포착함을 나타냅니다. 그럼에도 불구하고 이러한 최신(SoTA) 모델조차 SalTempto의 성능 여지 중 거의 절반을 설명하지 못하고 있어, 비디오 현저성 모델링에 여전히 개선의 여지가 있음을 시사합니다. 또한 SalTempto 분석을 통해 모델이 놓치는 인간의 경향성을 규명할 수 있었습니다. SalTempto 링크: https://huggingface.co/datasets/bethgelab/video_saliency.