PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01114v1cs.CV

비디오 표현에서 정규 가우시안 구축을 위한 아핀 정렬 아틀라스

Affine-Aligned Atlas for Canonical Gaussian Construction in Video Representation

가우시안 스플래팅(Gaussian splatting)은 명시적 구조와 빠른 렌더링 성능 덕분에 최근 이미지와 비디오를 위한 효율적인 표현 방식으로 부상했습니다. 기존의 가우시안 기반 비디오 표현은 비디오를 정규 가우시안(canonical Gaussians)과 시간적 변형(temporal deformation)으로 분해하는 경우가 많습니다. 그러나 비디오에 카메라 움직임과 같은 큰 전역 모션이 포함되어 있으면 정규 표현이 개별 프레임과 어긋나게 되어 시간적 변형 모델의 부담이 커질 수 있습니다. 본 논문에서는 더 큰 아핀 정렬 아틀라스(affine-aligned atlas) 공간에서 정규 가우시안을 구축하는 아핀 아틀라스 정규 가우시안 표현 방식을 제안합니다. 프레임 단위의 아핀 변환은 정규 가우시안 구축 전에 전역 모션을 흡수하여 정규 표현과 대상 프레임 간의 격차를 줄입니다. 제안된 방법은 정규 구축 단계만을 수정하므로 무시할 수 있을 정도의 추가 매개변수 비용만으로 기존의 정규 가우시안 기반 방법들에 통합될 수 있습니다. 실험 결과에 따르면 본 연구의 방법은 특히 카메라 움직임이 큰 시퀀스에서 재구성 품질을 향상시킵니다.

arXiv:2607.11500v1cs.CV

HyperGS: 빠르고 일반화 가능한 가우시안 비디오 표현

HyperGS: Fast and Generalizable Gaussian Video Representation

가우시안 스플래팅(Gaussian Splatting)은 비디오의 효과적인 표현 방식으로 부상하였으나, 기존 방법들은 비디오별 최적화에 의존한다. 이로 인해 인코딩이 느려지고 비디오 간 일반화가 제한된다. 이 최적화를 분산시키기 위해 우리는 HyperGS를 제안한다. HyperGS는 단일 순전파만으로 임의의 비디오에서 직접 가우시안 표현을 예측하는 피드포워드(feedforward) 방식의 최적화 불필요 접근법으로, 인코딩 및 디코딩 속도를 수십만 배 향상시키면서 고해상도의 분포 외(out-of-distribution) 비디오에 대한 일반화를 가능하게 한다. HyperGS에서는 비디오에서 토큰을 추출하는 인수분해된 시공간 트랜스포머와, 각 비디오 프레임에 대한 8-매개변수 가우시안 표현을 얻기 위한 학습 가능한 쿼리 기반 트랜스포머를 설계한다. 다양한 비디오에 걸쳐 가우시안을 단순하게 예측하면 학습을 붕괴시키는 바늘형 퇴화(needle-like degeneration)가 발생함을 발견하고, 이를 최적화 안정화를 위해 강도가 동적으로 조절되는 순위 기반 기하학적 정규화기(rank-based geometric regularizer)로 해결한다. HyperGS는 동일한 재구성 품질에서 비디오별 가우시안 최적화 대비 $10^4$--$10^5\times$ 빠른 인코딩을 달성하면서 720p 비디오에 제로샷으로 일반화하여 재인코딩 없이 고해상도 렌더링을 가능하게 한다. HyperGS는 더 작은 비디오 표현 크기로 K400, SSv2, UCF101에서 기존 비디오 인코더 대비 PSNR을 +2.9--3.1 dB 향상시킨다. 단일 순전파로 명시적인 2D 가우시안을 예측함으로써, HyperGS는 가우시안 스플래팅의 빠르고 유연한 렌더링과 피드포워드 예측의 속도 및 일반화 능력을 결합하여, 빠르고 일반화 가능한 비디오 표현을 위한 실용적 방향으로서 가우시안의 발전을 이끈다.