mts.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.02207v1cs.CV

모두를 애니메이션화하는 하나의 기저: 실시간 아바타를 위한 가우시안 블렌드셰이프 지식 증류

One Basis to Animate Them All: Gaussian Blendshape Distillation for Real-Time Avatars

3D 가우시안 아바타는 빠른 렌더링을 지원하지만, 비용이 많이 드는 신경망 추론(inference)으로 인해 실시간 애니메이션화에 어려움을 겪는 경우가 많습니다. 본 논문에서는 이러한 병목 현상을 해결하고, 사전학습(pre-training)된 아바타 모델의 애니메이션이 신원과 무관한 블렌드셰이프(blendshape)들의 선형 결합으로 근사될 수 있음을 보입니다. 이러한 발견을 바탕으로, 프레임별 과도한 신경망 디코딩을 얕은 계수 예측기와 선형 블렌딩으로 대체하는 지식 증류(distillation) 기법인 GALA(Gaussian Animation via Linear Approximation)를 제안합니다. 충실도(fidelity)를 높이고 메모리 요구량을 줄이기 위해, 렌더링 인식 메트릭과 메모리 예산 제약 하에서 블록 로컬 PCA를 사용해 기저를 구성하는 방법을 제안합니다. 본 방법은 블렌드셰이프 계수를 예측하기 위해 얕은 MLP 네트워크를 학습하며, 기존 모델을 재학습하지 않고도 다양한 애니메이션 아키텍처에 적용할 수 있습니다. 본 논문에서는 얼굴 표정과 의복 다이내믹스를 포함한 전신 3D 애니메이션을 위한 세 가지 서로 다른 아바타 모델의 추론을 가속화하여 GALA를 검증합니다. 이러한 모델 전반에서 제안하는 지식 증류는 미확인 신원(held-out identities)에도 일반화되며, 대부분의 렌더링 품질을 유지하면서 CPU 애니메이션 비용을 최대 세 자릿수(three orders of magnitude)까지 절감합니다. 본 기법의 우수한 결과는 학습된 아바타 표현의 공유 선형 구조를 확인해 주며, 모바일 기기에서 최대 60fps에 달하는 프레임 속도로 매우 효율적이고 정확한 애니메이션을 가능하게 합니다. 프로젝트 페이지: https://ramazan793.github.io/gala/