PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.15271v2cs.CV

동적 신규 시점 합성을 위한 온라인 신경 시공간 메모리

Online Neural Space Time Memory for Dynamic Novel View Synthesis

다중 뷰 스트리밍 비디오 기반의 온라인 신규 시점 합성(novel view synthesis)은 근본적인 트레이드오프에 직면합니다. 즉, 엄격한 실시간 제약 조건 하에서 작동하면서도 일시적으로 가려진 영역을 재구성하기 위해 영구적이고 장기적인 메모리를 유지해야 한다는 점입니다. 테스트 시간 학습(Test-Time Training, TTT)은 강력한 메모리 메커니즘을 제공하지만, 표준 모델들은 동적 장면의 변화하는 모션에 적응하기 위해 매 프레임마다 그래디언트 기반 메모리 업데이트를 요구합니다. 이처럼 과도한 메모리 업데이트에 드는 연산 비용은 실시간 적용을 불가능하게 만들며 장기 컨텍스트에서 불안정성을 초래할 수 있습니다. 메모리 적용보다 메모리 업데이트가 더 많은 연산을 요구하고 비디오 콘텐츠에 중복성이 높다는 점에 착안하여, 본 논문은 이 두 프로세스의 주기를 분리(decouple)할 것을 제안합니다. 제안하는 방식은 메모리를 프레임 단위로 적용하면서 메모리 업데이트는 주기적으로 수행하며, 이전 메모리 상태와 현재 프레임 간의 변형을 처리하기 위해 교차 뷰 어텐션(cross-view attention)을 사용합니다. 과거 컨텍스트를 안정적으로 고정하기 위해 두 가지 핵심 메커니즘을 도입합니다. 장면의 지속적인 내재화를 강제하는 보조 메모리 손실(Memory Loss)과 활성 가중치가 치명적으로 표류(catastrophic drift)하는 것을 정규화하는 메모리 캐싱 전략입니다. 본 연구의 방법은 상각된 실시간 속도로 온라인 동적 인간 장면에서 SOTA 수준의 분 단위 메모리 지속성을 입증합니다.

arXiv:2609.29963v2cs.CV

ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당

ADATEX4D: adaptive texture capacity allocation for 4D gaussian splatting

텍스처가 적용된 가우시안(Textured Gaussians)은 국소적 외관 표현 능력을 향상하지만, 모든 프리미티브에 동일한 텍스처 해상도를 할당하면 세부 표현이 적거나 시인성이 낮은 영역에서 저장 공간이 낭비됩니다. 본 논문에서는 변형 기반 4D 가우시안 스플래팅(4D Gaussian Splatting)을 위한 적응형 텍스처 용량 모듈인 AdaTex4D를 제안합니다. 각 가우시안은 패킹된 RGBA 트라이플레인(triplane)을 포함하며, 이 트라이플레인의 두 축은 시인성 정규화 화면 공간 그래디언트와 변형된 국소적 스케일에 따라 독립적으로 확장됩니다. N3DV 및 PanopticSports 데이터셋에 대한 실험 결과, AdaTex4D는 재구성 품질을 유지하면서 텍스처 저장 공간을 절반 이상 줄이는 것으로 나타났습니다. 고정된 메모리 예산 하에서도 적응형 할당은 균일한 텍스처 할당에 비해 품질을 개선하고 전체 모델 크기 및 최대 메모리 사용량을 감소시킵니다. 이러한 결과는 동적 비등방성 텍스처 할당이 4D 가우시안 표현에서 국소적 외관 표현 용량을 분배하는 데 더욱 효율적인 방안을 제공함을 보여줍니다.

arXiv:2610.01229v1cs.CV

동적 장면을 위한 컴팩트한 명시적 4D 표현

A Compact Explicit 4D Representation for Dynamic Scenes

컴팩트한 동적 장면 표현은 시간에 따라 관찰되는 표면과 새로운 시점에서 이를 렌더링하는 데 필요한 외형을 모두 유지해야 합니다. 본 논문에서는 카메라 정보가 알려진 단안 비디오를 희소(sparse) 4D 장면 상태로 인코딩하는 피드포워드 오토인코더인 Sparc4D를 제시합니다. 정적 특징(feature)은 클립 전체에서 공유되는 반면, 공간적으로 고정된 시간적 슬롯(temporal slot)은 시간에 따라 변하는 특징을 압축합니다. 희소 디코더는 2D 가우시안 서펠(Gaussian surfel)을 생성하며, 저장된 소스 픽셀은 기하학적 재투영을 통해 미세한 텍스처를 보존합니다. 이 상태에는 학습된 특징 및 희소 점유(occupancy)와 함께 하나의 전체 소스 프레임 및 매 4번째 프레임마다 샘플링된 동적 영역 픽셀이 포함됩니다. 32프레임 MultiCamVideo 클립의 경우, 무작위 윈도우에서 평균 0.95M개, first-32 프로토콜에서 0.92M개의 32비트 환산 값을 기록합니다. first-32에서 Sparc4D는 MoVieS의 20.40\,dB에 비해 21.70\,dB에 도달합니다. 무작위로 배치된 윈도우에서는 두 모델의 PSNR 점수가 비슷합니다. 저장된 텍스처를 비활성화했을 때, 시간적 슬롯은 시간에 따라 변하는 특징 상태를 중앙값 기준 4.0배 압축하고 평균 상태를 1.04M개에서 0.42M개 값으로 줄이면서도 타깃 뷰 재구성 품질을 본질적으로 거의 동일하게 유지합니다. 실제 데이터에 대한 미세조정(fine-tuning) 없이도 Sparc4D는 DyCheck 및 Neu3D로 전이되며, 저장된 텍스처는 PSNR을 약간 낮추는 대신 LPIPS를 향상시킵니다.

arXiv:2607.21471v1cs.CV

Future Rendering ≠ Future Surface: 관측 구간을 넘어선 동적 표면 재구성을 위한 벤치마크와 데이터셋

Future Rendering $\neq$ Future Surface: A Benchmark and Dataset for Dynamic Surface Reconstruction Beyond the Observed Window

동적 장면 재구성은 거의 항상 관측된 시간 구간 내에서 평가되지만, AR 오버레이, 로봇 상호작용, 예측적 계획(anticipatory planning)과 같은 배포 환경에서는 캡처된 시점을 넘어선 시점의 기하학, 즉 미래 표면(future surface)이 필요하다. 이를 측정하는 표준 벤치마크는 없다. 본 연구는 장면 다양성을 정확한 미래 ground truth와 반증(falsification) 통제와 교환하는, 미래 시점 표면 재구성을 위한 통제된 진단용 벤치마크 및 데이터셋 FutureSurf를 소개한다. 방법은 시퀀스의 관측된 처음 75%에서 학습하고, 추출된 프레임별 표면을 보류된 미래 구간에서 Chamfer distance로 채점한다. 절대 미래 CD를 주요 점수로, 미래/관측 격차를 진단 지표로 보고한다. 데이터셋에는 분석적으로 정의된 8가지 통제된 동작이 포함되며, 그중 3가지는 반증 통제이고, 프레임별 정확한 ground-truth 메시를 제공한다. 또한 ground truth 측의 복원 가능성(recoverability) 오라클도 제공한다. 릴리스에는 분할 파일, 채점 코드, 벤치마크 카드, Croissant 메타데이터가 포함된다. 통제된 동작에서 DG-Mesh 백본은 원칙적으로 예측 가능한 미래(관측된 동작으로 고정 규칙에 따라 5개 중 4개가 복원 가능)에 대해서도 2.7–4.1× 격차를 남기는 반면, 반증 통제는 설계대로 동작한다(표면 불변 동작은 격차가 없음). 기여된 데이터셋을 넘어, 이 격차는 6개의 애니메이션 DG-Mesh 에셋 장면과 두 번째 백본인 Deformable-3DGS(2.0–6.6×; 둘 다 deformation-MLP 시간 모델을 공유)에서도 지속된다. 벤치마크는 또한 미래 렌더링 품질과 미래 표면 정확도가 통계적으로 분리(decoupled)되어 있음을 보여주므로, 해당 분야에서 보고하는 신규 시점 합성(novel-view-synthesis) 지표가 미래 기하학을 반영하지 않는다. 미래 오차는 구조적이며, 표면이 움직이는 곳에 집중된다. 데이터셋, 평가 툴킷, 채점 코드는 Hugging Face와 GitHub(https://github.com/Ricky-S/futuresurf)에서 이용할 수 있다.

arXiv:2607.01578v2cs.CV

MVFusion-GS: 고품질 동적 가우시안 스플래팅을 위한 모션 분산 기반 시간적 어텐션

MVFusion-GS: Motion-Variance Guided Temporal Attention for High-Quality Dynamic Gaussian Splatting

동적 장면에서 변형 네트워크의 모션 인식 부재로 인해 발생하는 전경 변형 오류와 배경 잔차 문제를 해결하기 위해, MVFusion-GS는 가우시안별 변형 통계를 집계하는 Motion-Variance Guided Refinement(MVG)와 인접 타임스텝에 트랜스포머 셀프-어텐션을 적용하는 MotionFormer Temporal Attention(MFTA) 두 가지 모듈을 3DGS 변형 파이프라인에 플러그인 방식으로 결합한다. 동적 장면 복원 및 방해 요소 제거 벤치마크 모두에서 최첨단 성능을 달성하며, 전경 모션 모델링과 정적 배경 복원 품질을 동시에 향상시킴을 입증했다.

arXiv:2607.08250v1cs.CV

동적 가우시안 스플래팅을 위한 전문가 혼합 설계에 관하여

On the Design of Mixture-of-Experts for Dynamic Gaussian Splatting

동적 3D 가우시안 스플래팅에서 단일 변형 모델의 한계를 극복하기 위해, 전문가 혼합(MoE) 관점에서 두 가지 다중 변형 모델링 전략—공유 정준 표현에서 전문가를 공동 최적화하는 MoDE와 전문가를 독립 학습 후 별도 라우팅으로 결합하는 MoE-GS—을 제안한다. 두 접근법은 통합 제약 조건에 따라 3D 재구성 충실도, 학습 안정성, 계산 효율성 면에서 서로 다른 트레이드오프를 보이며, 동적 장면의 이질적 움직임 모델링을 위한 설계 공간을 체계적으로 분석한다.

arXiv:2607.01663v1cs.CV

단안 4D 장면 합성을 위한 통합 파노라마-가우시안 표현

Unified Panoramic-Gaussian Representation for Monocular 4D Scene Synthesis

단안(monocular) 비디오에서 관측된 뷰 너머의 미관측 영역까지 포함한 4D 장면 합성을 위해, 파노라마 궤적 패러다임으로 학습·추론 일관성을 확보하고 파노라마 표현을 동적 3D Gaussian Splatting으로 지식 증류하는 PanoGaussian을 제안한다. DyCheck, Nvidia, Kubric-4D 벤치마크 실험에서 PanoGaussian은 큰 시점 변화 하에서도 기하학적으로 일관된 4D 장면 합성을 달성함을 입증한다.

arXiv:2511.22459v2cs.CV

Gaussians on Fire: 화염의 고주파 복원

Gaussians on Fire: High-Frequency Reconstruction of Flames

가우시안 스플래팅(Gaussian Splatting) 기반의 시공간 표현을 사용하여 단 3개의 카메라 시점으로부터 동적 화염을 3D로 복원하는 방법을 제안하며, 정적 배경과 화염 영역을 분리하고 밀집 광학 흐름(optical flow)으로 초기화된 수명 및 속도 정보를 인코딩한 일시적 가우시안(transient Gaussian) 프리미티브를 통해 기존 4D 가우시안 스플래팅 방법들이 실패하는 고주파 화염 특징 복원 문제를 해결한다. 다양한 실제 화염 시나리오에 대한 정량적·정성적 실험을 통해 기존 동적 GS 기법 대비 강건한 성능을 입증하였다.

arXiv:2603.17227v3cs.CV

Does it matter which Gaussians you pick in 4D Gaussian streaming?

Anchor-driven 4D Gaussian streaming methods such as Instant Gaussian Stream (IGS) update a dynamic scene each frame from a compact set of Gaussian anchors, chosen by default with Farthest Point Sampling (FPS) at a fixed budget of $8{,}192$. Because these anchors act as control points that drive the whole scene through linear blend skinning, the rule used to choose them ought to affect reconstruction quality. We test this by holding the IGS pipeline fixed and changing only the sampler, comparing FPS, random, uniform, an opacity-scale heuristic, and a learned policy across budgets and refinement settings on N3DV and MeetingRoom. At deployment budgets the sampler has no measurable effect: a cheap random or uniform sampler at $4{,}096$ anchors matches FPS@8192 within measurement error, the default budget is over-provisioned, and the result holds on a second backbone (3DGStream). The learned policy is mixed rather than consistently better: it can improve the N3DV validation set at tight budgets, but does not give a stable cross-dataset rule, and selection is never the bottleneck because refinement dominates runtime. We will release our full sweep and evaluation protocol as a sampler benchmark.