아바타 스트리밍 시스템은 흔히 이미지 및 비디오 품질 평가(IQA/VQA) 지표로 평가되며, 시각적 충실도를 의사소통 성공의 대리 지표로 암묵적으로 간주한다. 우리는 깨끗한(pristine) 조건과 기하학적·광도(photometric)·시간적·복합 왜곡 14가지에 걸친 렌더링 3D 아바타에 대한 통제된 행동 연구를 통해 이 가정을 검증한다. 59명의 참가자가 지각된 행동, 응답 확신도, 시각적 품질에 대해 2,688건의 판단을 제공했다. 이 데이터셋에서 Misleading Quality(오도적 품질)를, 평균 이상의 지각 품질은 유지하지만 행동 인식 정확도는 평균 이하인 왜곡 렌더링으로 정의한다. 또한 인식 정확도와 확신도를 결합한 행동 목표인 Intent Quality Score(IQS)를 도출한다. 126개의 왜곡 콘텐츠–조건 셀 중 31개(24.6%)가 Misleading Quality를 보였으며, 시간적·기하학적 왜곡이 각각 50.0%, 31.1%로 가장 높은 비율을 나타냈다. 결과는 왜곡 유형이 외관과 의사소통에 서로 다르게 영향을 미치는 품질–정확도 분리(quality–accuracy dissociation)를 드러낸다. 24개의 직접 채점 IQA/VQA 지표와 세 가지 지도 학습 특징 회귀 기준선에 걸쳐 IQS와의 정렬(alignment)은 제한적이었고, $\lambda=0.5$에서 최상의 leave-one-content-out 기준선은 PLCC $=0.4435$에 도달했다. 이 통제된 프로토콜 하에서 시각적 충실도만으로는 아바타 의사소통에 불충분하며, 의도 인식(intent-aware) 품질 평가와 스트리밍 목표를 동기 부여한다.
단안(monocular) 영상으로부터 표현력이 풍부하고 재조명 가능한 3D 얼굴 아바타를 재구성하는 것은 컴퓨터 비전 분야에서 여전히 어려운 과제인데, 이는 비강체(non-rigid) 얼굴 모션과 조명 의존적 외형(appearance)을 모두 정확하게 모델링해야 하기 때문이다. 기존의 가우시안(Gaussian) 아바타 방법들은 대체로 전역적으로 결합된(globally coupled) 표현 방식에 의존하며, 이 경우 가우시안 프리미티브(primitive)들이 하나의 통합된 모션 또는 조명 반응 모델을 공유한다. 이러한 균일한 모델링은 서로 다른 얼굴 시맨틱 영역(semantic region)이 갖는 고유한 모션 패턴과 재질/반사(material/reflectance) 특성을 간과하여, 세밀한 애니메이션 정확도를 제한하고 재조명(relighting)의 사실성을 저하시킨다. 이러한 한계를 해결하기 위해, 우리는 시맨틱 적응형 모션-조명 반응 모델링을 위한 3D 가우시안 아바타 프레임워크인 SAMIRA를 제안한다. 모션 반응 모델링을 위해, 시맨틱 적응형 모션 반응(Semantic-Adaptive Motion Response) 모듈은 현재 메시에서 기준(reference) 메시로의 변위(displacement)를 토폴로지가 일관된 UV 공간으로 래스터화(rasterize)하고, 얼굴 시맨틱 정보를 활용하여 변위 특징(feature)을 시맨틱별 모듈레이터(modulator)를 통해 라우팅함으로써, 대략적인 메시 바인딩(binding)을 넘어서는 지역화된 가우시안 기하 잔차(residual)를 예측한다. 조명 반응 모델링을 위해, 시맨틱 적응형 조명 반응(Semantic-Adaptive Illumination Response) 모듈은 각 얼굴 영역에 대해 압축된 확산(diffuse) 및 반사(specular) 반응 계수를 학습하여, 서로 다른 영역의 가우시안들이 새로운 환경(environment) 조명에 맞춰 자신의 조명 반응을 적응시킬 수 있도록 한다. 이 반응 계수들은 지연 물리 기반 셰이딩(deferred physically based shading)에 통합되어, 시맨틱에 의존하는 조명 효과에 대한 경량화된 근사를 제공한다. 셀프 재연(self-reenactment), 크로스 재연(cross-reenactment), 재조명(relighting)에 대한 광범위한 실험을 통해, SAMIRA가 기존 방법들보다 세밀한 표정 재구성과 재조명 사실성을 모두 향상시킨다는 것을 입증한다.