arXiv:2509.03922v2 cs.CV

DCVC-MV: Deep Contextual Multiview Video Compression with Efficient Inter-View Prediction

Xihua Sheng, Yingwen Zhang, Long Xu, Shiqi Wang

제출 2025-09-04

원문 초록

Multiview video is a key format for 3D applications such as free-viewpoint broadcasting and virtual reality, yet its large data volume poses significant challenges for efficient storage and transmission. As deep contextual video compression matures and moves toward standardization, extending such learned codecs to multiview scenarios has become essential for practical deployment---yet this direction remains largely unexplored. In this paper, we propose DCVC-MV, a novel deep contextual multiview video compression framework that satisfies three fundamental requirements. First, it maintains backward compatibility, ensuring that the primary view's bitstream can be decoded independently by a single-view decoder without being affected by other views. Second, it supports random-access capability, enabling flexible switching between different viewing perspectives. Third, it effectively exploits inter-view correlations to achieve high compression efficiency. This is realized through four dedicated components: (1) an inter-view motion feature propagation method, which propagates decoded independent-view motion features as conditions to promote dependent-view motion encoding; (2) an inter-view motion conditional entropy model designed to learn motion conditional priors across views for more accurate probability estimation of motion latent representations; (3) an implicit inter-view context prediction method, which predicts inter-view contexts from low-resolution independent-view content features without explicit disparity estimation; and (4) an inter-view contextual conditional entropy model that learns contextual conditional priors across views to further enhance content compression.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2509.03922v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03162v1cs.GR공통 태그 Computational Efficiency, Novel View Synthesis

Budgeted-GS: LOD 인자화를 통한 실시간 대규모 가우시안 스플래팅

Budgeted-GS: Real-Time Large-Scale Gaussian Splatting via Factoring LOD

3D 가우시안 스플래팅(3D Gaussian Splatting)은 실시간 렌더링으로 뛰어난 시각적 품질을 달성하지만, 도시 전체 규모에서는 적합하지 않습니다. 학습된 모델은 수백만 개의 기본 요소(primitives)와 수 기가바이트의 메모리를 차지하며, 소비자용 GPU에서 고품질로 실시간 렌더링하는 것은 여전히 요원합니다. 본 논문에서는 학습된 3DGS 모델을 모멘트 일치 집합체들의 다중 해상도 계층 구조인 인자화 트리(factoring tree)로 변환하는 사후 기법인 Budgeted-GS를 소개합니다. 몇 초간의 구축 과정 후, 단일 품질 매개변수가 각 시점마다 대상 기기의 메모리에 맞는 상세도(level of detail, LOD)를 선택하므로, 동일한 도시 규모 모델로 메모리 용량이 크게 다른 여러 GPU를 지원할 수 있습니다. 새로운 장면을 학습해야 할 때도 동일한 이론이 적용됩니다. 전체 크기의 모델을 키운 후 압축하는 대신, 예산 중심 학습(budget-centered training)은 장면에서 필요한 기본 요소의 수를 먼저 측정한 뒤 해당 크기로 모델을 직접 학습하여, 나중에 폐기될 기본 요소를 최적화하는 낭비를 방지합니다. 두 방법 모두 위상 공간(phase space)의 최적 수송(optimal transport)에서 유도된 예산-오차 법칙인 측정 가능한 용량 하한(capacity floor)에 기반하며, 최근의 커버링 정리(covering theorems)로 검증된 선택 규칙이 불필요한 기본 요소를 결정합니다. 이 하한선은 장면에 실제로 필요한 기본 요소 수와 안전하게 포기할 수 있는 기본 요소 수를 알려줍니다. 사전 등록된 프로토콜에 따라 13개의 공개 장면에서 용량 하한을 검증하고, 객체 장면부터 공식 도시 캡처 장면에 이르기까지 두 방법을 모두 적용하여 단일 소비자용 GPU에서 네이티브 1920x1080 해상도와 완전한 구면 조화 함수(full SH)로 실시간 렌더링을 구현합니다.

arXiv:2610.03192v1cs.CV공통 태그 Computational Efficiency, Novel View Synthesis

PocketSplat: 월드 공간 잠재 할당을 통한 모바일 가우시안 재구성

PocketSplat: Mobile Gaussian Reconstruction via World-Space Latent Allocatio

모바일 가우시안 재구성(Gaussian reconstruction)은 두 가지 요구사항을 만족해야 합니다. 재구성 모델(model)이 기기의 자원 제약 범위 내에서 실행되어야 하며, 생성된 가우시안 에셋이 다운스트림 모바일 활용에 적합한 표현 크기를 가져야 한다는 점입니다. 기존의 피드포워드(feed-forward) 가우시안 재구성 기법들은 흔히 입력 해상도와 뷰(view) 수에 의해 최종 개수가 암묵적으로 결정되는 조밀한 이미지 정렬 후보군을 디코딩합니다. 본 논문에서는 정해진 예산 내에서 모바일 가우시안 에셋을 구축하기 위한 피드포워드 프레임워크인 PocketSplat을 제안합니다. 정해진 출력 예산이 주어지면, PocketSplat은 예측된 월드 공간(world space)에서 기하학을 인식하는 조밀한 잠재 후보들을 구성하고, 국소 잠재 셀 전반에 정확한 정수 용량을 할당하며, 유지된 후보에 대해서만 완전한 가우시안 속성을 디코딩합니다. 셀 조건부 잠재 융합(cell-conditioned latent fusion)은 디코딩 전에 반복되는 다중 뷰 증거를 집약하고, 공간적 책임 디코딩(spatial responsibility decoding)은 국소 희소화(sparsification) 이후 가우시안 지지 영역(support)을 적응시킵니다. DL3DV 및 분포 외(OOD) 벤치마크 실험을 통해 피드포워드 가우시안 재구성 베이스라인 대비 강력한 품질-예산 간의 트레이드오프를 입증했습니다. Mip-NeRF 360에서 PocketSplat은 타깃 iPhone에서 직접 실행되어 배포 가능한 스트리밍 MVSplat 변형 모델보다 훨씬 빠르게 컴팩트하면서도 더 높은 품질의 가우시안 에셋을 구축합니다. 반면 네이티브 MVSplat 및 DepthSplat은 기기 메모리 예산을 초과합니다.

arXiv:2609.27958v1cs.CV공통 태그 Computational Efficiency, Video Compression

ScoutNeRV: ScoutNet을 통한 그리드 기반 비디오 INR의 신속 인코딩

ScoutNeRV: Rapid Encoding of Grid-Based Video INRs via ScoutNet

암시적 신경 표현(INR)은 비디오 압축을 위한 유망한 패러다임으로 부상했으며, 유연한 공간·시간 복원을 제공하는 컴팩트한 신경 표현을 제공한다. HiNeRV와 같은 계층적 그리드 기반 아키텍처는 강력한 rate-distortion 성능을 달성하지만, 비디오마다 광범위한 최적화가 필요해 인코딩 비용이 높다. 이 한계를 해결하기 위해 계층적 비디오 INR의 최적화를 가속하는 콘텐츠 적응형 초기화 프레임워크인 ScoutNeRV를 제안한다. ScoutNeRV는 경량의 오프라인 학습 스카우트 네트워크가 소수의 샘플 프레임을 분석하고, 하드 라우팅(hard routing)으로 메모리 뱅크에서 적합한 사전학습 전문가(expert)를 선택한다. 선택된 전문가의 계층적 그리드 및 디코더 파라미터는 비디오별 미세조정 전에 대상 HiNeRV 모델을 초기화하기 위해 이전된다. 보지 못한 ReadySetGo 시퀀스에서 ScoutNeRV는 미세조정 전 초기 PSNR $34.95$~dB를 달성하며, 표준 초기화의 $13.70$~dB 대비 $21.25$~dB 향상에 해당한다. 단 37 에포크 후 ScoutNeRV는 $36.92$~dB에 도달하고, 평가된 rate-distortion 구성 전반에서 300-에포크 HiNeRV 기준선 대비 $0.42$--$0.80$~dB 이내를 유지한다. 또한 제안 초기화는 보고된 런타임 실험에서 wall-clock 기준 $9.25\times$ 속도 향상을 달성한다. 이러한 결과는 콘텐츠 인식 전문가 초기화가 계층적 비디오 INR의 최적화 비용을 크게 줄이면서도 경쟁력 있는 복원 및 압축 성능을 유지할 수 있음을 보여준다. 코드는 https://github.com/nasserdeveloper/ScoutNeRV 에서 제공된다.

arXiv:2609.24815v1cs.RO공통 태그 Computational Efficiency, Novel View Synthesis

Uranus: 임바디드 AI(Embodied AI)를 위한 차세대 시뮬레이션 인프라 구축

Uranus: Building the Next-Generation Simulation Infrastructure for Embodied AI

확장 가능한 시뮬레이션은 로봇 데이터 생성, 정책 학습, 평가, 안전한 반복(iteration)에 필수적이지만, 실제 환경과의 상호작용은 비용이 많이 들고 기존 시뮬레이터는 노동집약적인 구축 과정을 요구한다. 우리는 관절 궤적 조건부 자기회귀 확산 모델(joint-trajectory-conditioned autoregressive diffusion model)을 중심으로 구축된 데이터 기반 로봇 시뮬레이터 Uranus를 소개한다. Uranus는 세 가지 핵심 기능을 제공한다: (1) 스트리밍 방식의 개방형 롤아웃(rollout)으로, 미래의 관절 위치 궤적을 온라인으로 수신하여 고정된 시간 범위(horizon) 없이 매 스텝마다 4개의 RGB 프레임에 해당하는 하나의 잠재 프레임(latent frame)을 자기회귀적으로 생성한다; (2) 낮은 지연 시간의 생성으로, 추론(inference) 최적화 이후 24 FPS를 달성한다; (3) 확장 가능하며 확장이 용이한(extensible) 로봇 제어로, 다양한 로봇 구현체(embodiment)와 카메라 구성 전반에 걸쳐 동기화된 다중 시점 생성을 위한 통합 인터페이스를 제공한다. 우리는 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에 대해 포괄적인 정량적·정성적 평가를 수행하여 Uranus에 대한 객관적인 평가를 제시하고 현재의 한계를 명확히 규명한다. 우리는 코드와 모델 가중치를 공개하여 커뮤니티에 실용적인 도구와 통찰을 제공한다.

arXiv:2610.13503v2cs.CV공통 태그 Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2609.26249v2cs.CL공통 태그 Computational Efficiency

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.