확산 모델(Diffusion models)은 이미지 및 비디오 생성 분야에서 상당한 성공을 거두었습니다. 이는 제공된 텍스트 설명에 따라 비디오를 편집하는 비디오 편집 태스크에 대한 관심 증대로 이어지고 있습니다. 그러나 기존 접근 방식 대부분은 짧은 클립의 비디오 편집에만 초점을 맞추고 있으며, 시간이 많이 소요되는 튜닝이나 추론(inference)에 의존합니다. 본 논문에서는 광범위한 비디오 태스크를 위해 설계된 통합 파운데이션 모델(foundation model)인 Video Instruction Diffusion(VIDiff)을 최초로 제안합니다. 이러한 태스크에는 언어 유도 비디오 객체 분할(language-guided video object segmentation)과 같은 이해 태스크와 비디오 편집 및 향상과 같은 생성 태스크가 모두 포함됩니다. 본 모델(model)은 사용자 지시어에 기반하여 원하는 결과를 수 초 내에 편집하고 변환할 수 있습니다. 또한, 긴 비디오의 편집 및 향상 과정에서 일관성을 보장하기 위해 반복적인 자기회귀(auto-regressive) 방식을 설계했습니다. 정성적 및 정량적 평가를 통해 다양한 입력 비디오와 작성된 지시어에 대한 신뢰할 만한 생성 결과를 제시합니다. 더 많은 예시는 웹사이트 https://ChenHsing.github.io/VIDiff 에서 확인할 수 있습니다.
비디오 장면 파싱(Video Scene Parsing, VSP)은 밀집적 비디오 이해를 연구하며, 각 프레임의 모든 픽셀을 분할해야 하고, 각 영역에 이름을 부여해야 하며, 각 객체의 정체성(identity)이 시간에 걸쳐 일관되게 유지되어야 한다. 본 서베이는 비디오 의미 분할(Video Semantic Segmentation, VSS), 비디오 인스턴스 분할(Video Instance Segmentation, VIS), 비디오 파놉틱 분할(Video Panoptic Segmentation, VPS), 비디오 추적 및 분할(Video Tracking & Segmentation, VTS), 개방 어휘 비디오 분할(Open-Vocabulary Video Segmentation, OVVS)에 이르는 다섯 가지 과제에 걸친 VSP의 최근 진전을 검토한다. 우리는 문헌을 하나의 아키텍처적 흐름으로 정리하며, 수작업 동작 및 외형 단서에서부터 완전 합성곱(fully convolutional), 어텐션 기반 및 쿼리 기반 설계를 거쳐 최근 기초 모델(foundation model) 접근법에 이르기까지를 다룬다. 또한 각 계열이 시간적 문맥(temporal context)을 어떻게 모델링하는지, 정체성을 어떻게 보존하는지, 정확도와 효율성 사이를 어떻게 균형 잡는지를 추적한다. 이어서 현재 평가를 형성하는 데이터셋, 지표 및 벤치마크 동향을 비교한다. 방법들을 목록화하는 것을 넘어, 분야 전반에 걸친 설계 트레이드오프와 반복되는 실패 양상을 부각한다. 즉 시간적 깜빡임(temporal flicker), 가림(occlusion)으로 인한 정체성 전환, 롱테일(long-tail) 범주, 그리고 어노테이션--용량--지연(latency) 간의 긴장 관계이다. 마지막으로 견고하고 효율적이며 개방 세계(open-world) VSP 시스템을 향한 열린 연구 방향을 제시한다.