PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.33935v2cs.CV

시공간 유추를 통한 비디오 태스크의 통합

Unifying Video Tasks via Spatiotemporal Analogy

비디오 모델을 새로운 태스크에 적용하려면 일반적으로 전용 데이터 큐레이션과 미세조정(fine-tuning)이 필요합니다. 시각적 유추(visual analogy)는 문맥 내(in-context)에서 태스크를 지정함으로써 별도의 학습(training)이 필요 없는 대안을 제공하지만, 여전히 이미지 도메인에 국한되어 있습니다. 본 논문에서는 유추 기반 방식이 다양한 비디오 태스크를 통합하고 분포 외(out-of-distribution) 시나리오로 일반화될 수 있는지를 탐구하기 위해, 시공간 캔버스 완성(spatiotemporal canvas completion)을 통해 시각적 문맥 내 학습을 비디오 도메인으로 확장하는 프레임워크인 ViGeo를 소개합니다. 엄격한 학습-테스트 분할을 적용한 다양한 태스크 분류 체계에서 평가한 결과, ViGeo는 학습 시 보지 못한 비디오 조작 및 제로샷(zero-shot) 모달리티(예: 이벤트 카메라)로 일반화됩니다. 마지막으로, 사전학습된 태스크와 연관된 쿼리 형식이 시연(demonstration)을 무시하는 현상인 태스크 내재화(task internalization)를 식별하고, 태스크와 무관한 소량의 데이터를 통해 이러한 지름길(shortcut)을 제거할 수 있음을 보여줌으로써 프롬프트(prompt) 형식과 태스크 정체성 간의 상관관계를 분리할 필요성을 강조합니다.