PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02207v1cs.CV

모두를 애니메이션화하는 하나의 기저: 실시간 아바타를 위한 가우시안 블렌드셰이프 지식 증류

One Basis to Animate Them All: Gaussian Blendshape Distillation for Real-Time Avatars

3D 가우시안 아바타는 빠른 렌더링을 지원하지만, 비용이 많이 드는 신경망 추론(inference)으로 인해 실시간 애니메이션화에 어려움을 겪는 경우가 많습니다. 본 논문에서는 이러한 병목 현상을 해결하고, 사전학습(pre-training)된 아바타 모델의 애니메이션이 신원과 무관한 블렌드셰이프(blendshape)들의 선형 결합으로 근사될 수 있음을 보입니다. 이러한 발견을 바탕으로, 프레임별 과도한 신경망 디코딩을 얕은 계수 예측기와 선형 블렌딩으로 대체하는 지식 증류(distillation) 기법인 GALA(Gaussian Animation via Linear Approximation)를 제안합니다. 충실도(fidelity)를 높이고 메모리 요구량을 줄이기 위해, 렌더링 인식 메트릭과 메모리 예산 제약 하에서 블록 로컬 PCA를 사용해 기저를 구성하는 방법을 제안합니다. 본 방법은 블렌드셰이프 계수를 예측하기 위해 얕은 MLP 네트워크를 학습하며, 기존 모델을 재학습하지 않고도 다양한 애니메이션 아키텍처에 적용할 수 있습니다. 본 논문에서는 얼굴 표정과 의복 다이내믹스를 포함한 전신 3D 애니메이션을 위한 세 가지 서로 다른 아바타 모델의 추론을 가속화하여 GALA를 검증합니다. 이러한 모델 전반에서 제안하는 지식 증류는 미확인 신원(held-out identities)에도 일반화되며, 대부분의 렌더링 품질을 유지하면서 CPU 애니메이션 비용을 최대 세 자릿수(three orders of magnitude)까지 절감합니다. 본 기법의 우수한 결과는 학습된 아바타 표현의 공유 선형 구조를 확인해 주며, 모바일 기기에서 최대 60fps에 달하는 프레임 속도로 매우 효율적이고 정확한 애니메이션을 가능하게 합니다. 프로젝트 페이지: https://ramazan793.github.io/gala/

arXiv:2607.20922v1cs.CV

FA-LAM: 원샷 4D 애니메이션 가능 가우시안 헤드를 위한 포커스 인식 대형 아바타 모델

FA-LAM: Focus-Aware Large Avatar Model for One-Shot 4D Animatable Gaussian Head

우리는 원샷 애니메이션 가능 가우시안 헤드 생성을 위한 포커스 인식 대형 아바타 모델(FA-LAM)을 제안하며, 동시에 정적 3D 및 동적 4D 전체 헤드 복원을 가능하게 한다. 우리 방법의 핵심은 기존 최신(state-of-the-art) 접근법들이 채택한 어텐션 메커니즘과 얽혀 있는 재구성 및 애니메이션 학습 파이프라인에 대한 철저한 분석에 있다. 우리의 분석은 3D 전체 헤드 생성 품질을 저해하는 두 가지 주요 요인을 밝혀낸다: (1) 부정확하고 노이즈가 많은 어텐션 활성화, (2) 재구성과 애니메이션 작업 간의 충돌. 첫 번째 문제를 해결하기 위해, 우리는 인간 머리의 고유한 의미론과 구조적 대칭성을 활용하는 대칭적이고 의미 기반의 어텐션 정규화 전략을 도입한다. 재구성과 애니메이션의 목표를 분리하기 위해, 우리는 넓은 시야각 환각(hallucination)과 애니메이션을 위한 모델의 능력을 별도의 모듈로 분리하는 새로운 이단계(dual-phase) 학습 파이프라인을 개발한다. 또한, 맞춤형 가시성 인식 토큰 융합을 갖춘 핵심 자기회귀(autoregressive) 수정을 통해 다중 시점 및 스트리밍 4D 재구성을 효율적이고 메모리 친화적인 방식으로 지원하도록 모델을 개선한다. 종합적으로, 이러한 혁신들은 FA-LAM이 특히 세밀한 얼굴 영역과 큰 시야각에서 우수한 품질로 애니메이션 가능한 가우시안 전체 헤드를 재구성할 수 있게 한다.