MASS: 플로우 기반 비디오 프레임 보간 정제를 위한 모션 정렬 선택적 스캔
MASS: Motion-Aligned Selective Scan for Refinement in Flow-Based Video Frame Interpolation
한국어 초록
비디오 프레임 보간(VFI)은 특히 크고 비선형적인 움직임과 복잡한 가림을 다룰 때 여전히 어려운 과제입니다. 플로우 기반 방법이 널리 쓰이지만, 모호한 대응 문제에 자주 어려움을 겪습니다. 선택적 상태 공간 모델(SSM)에 기반한 최근 VFI 방법들은 물리적 움직임과 어긋나는 정적 그리드 기반 스캐닝 때문에 여전히 한계가 있습니다. 본 논문에서는 특징 스캐닝을 정적 공간 그리드에서 동적 모션 궤적으로 재구성하는 새로운 프레임워크인 Motion-Aligned Selective Scan(MASS)을 제안합니다. MASS는 각 픽셀의 플로우 유도 궤적을 따라 특징 시퀀스를 구성하고 SSM으로 이를 집약합니다. 구체적으로, 잔차 속도 업데이트를 통해 복잡한 곡선 궤적을 근사하는 학습 가능한 비선형 경로 적분과, 모션 크기에 따라 샘플링 예산과 스텝 크기를 동적으로 조절하는 속도 인식 SSM을 도입합니다. 이 적응적 전략은 빠른 움직임 영역에는 더 조밀한 샘플링을 배분하면서 정적 영역은 효율적으로 유지합니다. 또한 집약된 상태는 정제 모듈을 안내하여 중간 플로우와 마스크를 엔드투엔드 방식으로 보정합니다. 광범위한 실험은 MASS가 표준 벤치마크에서 전반적으로 매우 경쟁력 있는 성능을 달성하며, 특히 큰 변위와 복잡한 동역학을 포함한 어려운 시나리오에서 최첨단 결과를 확립함을 보여줍니다.
원문 초록
Video frame interpolation (VFI) remains a challenging task, particularly when dealing with large, non-linear motions and complex occlusions. While flow-based methods are prevalent, they often struggle with ambiguous correspondences. Recent VFI methods based on selective State Space Models (SSMs) are still limited by static grid-based scanning that misaligns with physical motion. In this paper, we propose Motion-Aligned Selective Scan (MASS), a novel framework that reformulates feature scanning from static spatial grids to dynamic motion trajectories. MASS builds a feature sequence along each pixel's flow-guided trajectory and aggregates it with an SSM. Specifically, we introduce a learnable non-linear path integration to approximate complex curved trajectories via residual velocity updates, and a velocity-aware SSM that dynamically adjusts the sampling budget and step size based on motion magnitude. This adaptive strategy allocates denser sampling to fast-motion regions while keeping static regions efficient. Furthermore, the aggregated states guide a refinement module to rectify intermediate flows and masks in an end-to-end manner. Extensive experiments indicate that MASS achieves highly competitive overall performance on standard benchmarks, establishing state-of-the-art results particularly in challenging scenarios with large displacements and complex dynamics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27718v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
SFDATrack: 악천후 환경에서의 일반화된 소스 프리 도메인 적응 추적
SFDATrack: Generalized Source-Free Domain Adaptive Tracking Under Adverse Weather Conditions
악천후 환경에서의 도메인 적응 시각 객체 추적은 최근 상당한 주목을 받고 있다. 기존 방법들은 인상적인 성능에도 불구하고 소스 및 타겟 도메인 모두의 대규모 비디오 프레임에 크게 의존하는데, 이는 소스 데이터를 사용할 수 없는 엄격한 자원 제약 환경에서는 비현실적이다. 이러한 한계를 극복하기 위해 우리는 SFDATrack을 제안한다. SFDATrack은 견고한 상태 추정을 위해 타겟 도메인의 악천후 샘플만을 활용하는 일반화된 소스 프리 도메인 적응 트래커이다. 구체적으로, SFDATrack은 먼저 Dual Interactive Mamba(DIM) 블록을 탑재한 mean-teacher 백본을 사용하여, 분류 및 증강된 샘플로부터 날씨 변화에 강인한 후보 타겟 토큰을 증류한다. 이후 잠재 초구면 공간(latent hyperspherical space) 내의 다중 도메인 프로토타입에 이 토큰들을 투영하는 초구면 프로토타입 투영(HPP) 모듈을 도입한다. 다중 도메인 프로토타입의 도메인 특화 및 도메인 불변 속성을 모두 강제함으로써, SFDATrack은 강력한 일반화 능력으로 다양한 기상 조건에 원활하게 적응할 수 있다. 다양한 벤치마크에서 수행된 광범위한 실험을 통해 SFDATrack이 최신 방법들 대비 우수한 성능을 달성함을 입증한다. 코드는 https://github.com/watcherBR0/sfdatrack에서 확인할 수 있다.
ARGUS: 가속화된, 강건한, 범용적, 비지도 세포 추적 솔루션
ARGUS: Accelerated, Robust, General, and Unsupervised Cell Tracking Solutions
배경 및 목적: 세포 동역학의 정량적 분석은 현대 생물학 연구의 핵심으로, 면역 세포 상호작용, 질병 진행, 약물 기전에 대한 중요한 통찰을 제공한다. 타임랩스 현미경에서의 자동 세포 추적은 노이즈, 형태학적 변이, 세포 중첩, 분열 및 융합과 같은 동적 이벤트로 인해 여전히 어려운 과제로 남아 있다. 방법: 본 논문에서는 가속화된, 강건한, 범용적, 비지도 세포 추적 솔루션을 위한 프레임워크인 ARGUS를 제시한다. ARGUS는 적응형 세포 검출, 밀집 Farneback 광학 흐름 예측, 프레임 간 선형 할당, 그리고 짧은 시간적 공백에 걸쳐 궤적 단편을 재연결하는 시퀀스 수준의 트랙렛 정제 단계를 결합한다. 결과: 공개된 Cell Tracking Challenge 데이터셋에서 ARGUS는 0.905–0.971의 검출 정확도와 0.897–0.964의 추적 정확도를 달성하였으며, 실행 시간은 1분 이내(3프레임 기준 5–6초)였다. 결론: ARGUS는 학습 데이터나 GPU 인프라 없이도 다양한 이미징 모달리티 및 생물학적 응용에 적용 가능한 모듈식, 해석 가능한 프레임워크이다. 구현체는 https://github.com/Gitinc/argus 에서 공개적으로 이용 가능하다.
E-TraMamba: 이벤트 카메라를 활용한 효율적인 장기 3D 특징 추적의 새로운 패러다임
E-TraMamba: A New Paradigm for Efficient Long-Term 3D Feature Tracking with Event Cameras
이벤트 기반 3D 추적은 저지연 고속 인식을 가능하게 하지만, 기존 CNN 및 트랜스포머 기반 추적기는 희소하고 잡음이 많은 이벤트 스트림에서 장거리 시공간 의존성을 포착하는 데 어려움을 겪으며, 특히 실시간 및 효율성 제약 하에서 그러하다. 이러한 과제를 해결하기 위해, 우리는 이벤트 데이터에 대한 3D 특징 추적을 위한 최초의 Mamba 기반 프레임워크인 E-TraMamba를 제안한다. 이 새로운 프레임워크는 효율적인 장거리 모델링을 위해 선형 상태 공간 모델(linear state-space model)을 채택하고, 모션 블러와 가림(occlusion) 상황에서 안정적인 추적을 유지하기 위해 경량 어파인 변환 예측기(affine-transform predictor)를 통합한다. 또한 지역 시공간 패치, 상관 맵(correlation map), 위치 임베딩 등 다중 스케일 단서를 통합된 표현으로 융합하여 안정적이고 부드러운 3D 추적을 가능하게 하는 효과적인 방식을 설계한다. 우리는 단안 렌더링으로 생성된 대규모 합성 데이터셋인 EvD-PointOdyssey를 구축하며, 이는 이벤트 기반 3D 추적 모델의 학습 및 평가를 위해 동기화된 이벤트 스트림, 깊이 맵, 정확한 3D 궤적을 제공한다. 이벤트 기반 벤치마크에서의 광범위한 실험을 통해 E-TraMamba가 최첨단(state-of-the-art) 성능을 달성함을 입증하며, 엄격한 정확도 임계값(예: 0.1 m) 하에서 모든 기준선 대비 2배 이상 긴 특징 수명, 높은 추적 특징 비율, 낮은 RMSE를 제공한다. 이러한 결과는 E-TraMamba를 저지연 시각적 오도메트리(visual odometry), 실시간 SLAM, 인터랙티브 로보틱스의 유력한 후보로 만든다.
STAC: 비디오 추론 분할을 위한 선택적 시공간 집계 및 압축
STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation
비디오 추론 분할은 복잡한 자연어 쿼리 하에서 수백 프레임에 걸쳐 픽셀 수준의 정확한 객체 추적을 요구하며, 이차(quadratic) 셀프 어텐션 비용으로 인해 장시간 비디오 처리를 불가능하게 만드는 밀집된 시공간 토큰을 생성한다. 기존 방법들은 토큰 압축을 통해 이를 해결하지만, 일반적으로 시간적 문맥이 부족한 인코더 특징에서 작동하여 콘텐츠 중복성을 신뢰성 있게 평가하기 이전에 선택을 제한한다. 정보에 기반한 압축은 문맥 인식을 필요로 하지만, 전체 해상도에서 해당 인식을 획득하면 압축이 줄이고자 하는 바로 그 이차 비용이 발생한다. 상태 공간 모델(state-space model)은 선형 재귀가 $\mathcal{O}(T)$ 비용으로 각 토큰을 시간적 문맥에 선택적으로 조건화하여 콘텐츠 중복성을 평가할 수 있는 표현을 생성함으로써 이 제약을 해결한다. 이를 기반으로, 선택적 시공간 집계 및 압축(STAC)은 분리된 양방향 공간 스캐닝과 인과적 시간 스캐닝을 통해 특징을 강화하고, 재귀에서 파생된 중복성을 활용하여 분할 목표로 최적화된 적응형 임계값을 갖는 계층적 압축을 수행한다. STAC는 제로샷 스트리밍 호환 환경에서 추론 분할 벤치마크의 압축 없는 기준선을 능가하면서 85% 토큰 감소와 1.8배 속도 향상을 달성한다. 코드는 \href{https://github.com/MCG-NKU/nku-video}{여기}에서 이용 가능하다.
GenMatter: 생성 물질 모델을 이용한 물리적 객체 지각
GenMatter: Perceiving Physical Objects with Generative Matter Models
인간의 시각 지각은 움직임 기반 장면 해석의 계산 원리를 이해하는 데 귀중한 통찰을 제공한다. 인간은 희박한 움직이는 점, 질감이 있는 표면, 자연주의적 장면을 관찰하는 경우에도, 독립적으로 움직일 수 있는 물질 덩어리를 구성하는 움직이는 개체를 견고하게 탐지하고 분할한다. 이와 대비하여, 기존 컴퓨터 비전(CV) 시스템은 이러한 다양한 설정에서 작동하는 통합적 접근법을 갖추지 못한다. 인간 지각의 원리에서 영감을 받아, 우리는 저수준 움직임 단서와 고수준 외관 특징을 파티클(국소 물질을 나타내는 작은 가우시안)로 계층적으로 묶고, 파티클을 일관되게 그리고 독립적으로 움직일 수 있는 물리적 개체를 포착하는 클러스터로 묶는 생성 모델을 제안한다. 우리는 안정적인 파티클 움직임과 그룹핑을 복원하기 위해 병렬화된 블록 Gibbs 샘플링(block Gibbs sampling)에 기반한 하드웨어 가속 추론 알고리즘을 개발한다. 우리 모델은 다양한 종류의 입력(랜덤 도트, 스타일화된 질감, 자연주의적 RGB 비디오)에서 동작하며, 생물학적 시각은 성공하지만 기존 컴퓨터 비전 접근법은 그렇지 못한 설정에서도 작동할 수 있게 한다. 우리는 이 통합 프레임워크를 세 영역에서 검증한다: 2D 랜덤 도트 키네마토그램(random dot kinematogram)에서는, 우리 접근법이 모호한 조건에서의 단계적 불확실성을 포함하여 인간의 객체 지각을 포착한다; 위장된 회전 객체로 구성된 게슈탈트(Gestalt) 영감 데이터셋에서는, 우리 접근법이 움직임으로부터 올바른 3D 구조를 복원하고 이를 통해 정확한 2D 객체 분할을 이룬다; 자연주의적 RGB 비디오에서는, 우리 모델이 변형되는 객체를 구성하는 움직이는 3D 물질을 추적하여 견고한 객체 수준 장면 이해를 가능하게 한다. 이 연구는 인간 시각의 원리에 기반한 움직임 기반 지각을 위한 일반적 프레임워크를 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.