Building 3D Generative Models from Minimal Data
원문 초록
We propose a method for constructing generative models of 3D objects from a single 3D mesh and improving them through unsupervised low-shot learning from 2D images. Our method produces a 3D morphable model that represents shape and albedo in terms of Gaussian processes. Whereas previous approaches have typically built 3D morphable models from multiple high-quality 3D scans through principal component analysis, we build 3D morphable models from a single scan or template. As we demonstrate in the face domain, these models can be used to infer 3D reconstructions from 2D data (inverse graphics) or 3D data (registration). Specifically, we show that our approach can be used to perform face recognition using only a single 3D template (one scan total, not one per person). We extend our model to a preliminary unsupervised learning framework that enables the learning of the distribution of 3D faces using one 3D template and a small number of 2D images. This approach could also provide a model for the origins of face perception in human infants, who appear to start with an innate face template and subsequently develop a flexible system for perceiving the 3D structure of any novel face from experience with only 2D images of a relatively small number of familiar faces.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
천문학을 위한 통계적 기계학습 -- 교재
Statistical Machine Learning for Astronomy -- A Textbook
이 교재는 베이즈 추론에 기반하여 천문학 연구를 위한 통계적 기계학습을 체계적으로 다룬다. 현대적 데이터 분석 기법이 고전 통계 방법과 어떻게 연결되며 익숙한 통계 원리로부터 어떻게 도출되는지를 보여 준다. 전반에 걸쳐 사용되는 베이즈 관점은 천문학의 과학적 추론에 필요한 불확실성 정량화와 통계적 엄밀성을 우선시한다. 교재는 확률 이론과 베이즈 추론에서 출발하여 측정 불확실성이 있는 선형 회귀, 로지스틱 회귀, 분류를 포함한 지도학습으로 나아간다. 비지도학습 주제로는 주성분 분석과 군집화 방법을 다룬다. 이어서 샘플링과 마르코프 연쇄 몬테카를로를 소개하고, 확률적 비모수 방법인 가우시안 过程과 더 넓은 통계적 맥락에서의 신경망을 다룬다. 이론 중심의 접근으로 각 방법을 완전한 수학적 전개와 함께 제1원리에서 도출한 뒤 천문학적 응용을 보인다. 우리는 통계적 통찰을 우선시하여 알고리즘이 왜 작동하는지, 언제 적절한지, 더 넓은 통계 원리와 어떻게 연결되는지를 설명한다. 고전적 방법과 그 이론에 대한 탄탄한 기초에서 출발하여 신경망과 같은 현대 기법으로 이어진다. 이러한 기초를 바탕으로 독자는 대규모 천문 서베이가 요구하는 바와 같이 가정, 한계, 불확실성 전파에 적절히 주의하면서 이 방법들을 천문학 연구에 적용할 수 있다. 22개의 동반 튜토리얼은 Jupyter 노트북에서 천문 데이터에 이 방법들을 적용한다.
LLINBO: 신뢰할 수 있는 LLM 인 더 루프 베이지안 최적화
LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization
베이지안 최적화(BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되는 순차적 의사결정 도구이다. 최근 대규모 언어 모델(LLM)은 데이터가 적은 환경에서 뛰어난 적응력을 보였으며, 맥락 지식을 활용해 고품질의 질의 지점을 제안함으로써 블랙박스 최적화에 유망한 도구가 되고 있다. 그러나 LLM은 명시적인 대리 모델링과 보정된 불확실성이 없고 내부 메커니즘도 불투명하다. 이러한 구조적 불투명성은 불필요한 실험을 초래할 수 있으며, 이는 BO에서 비용이 크고 탐색이 최적해에 접근하는 것을 방해할 수 있다. 이를 해결하기 위해 우리는 기존 LLM 기반 BO 접근법을 감싸서 그 제안을 언제 어떻게 따를지, 그리고 언제 고전적 BO로 되돌아갈지를 결정하는 일반 프레임워크인 LLINBO(LLM-in-the-Loop BO)를 제안한다. 우리는 이러한 상호작용을 위한 세 가지 메커니즘을 도입하며, 각각은 LLM에 대한 성능 가정 없이도 일반적인 커널에 대해 준선형 누적 후회를 보장하는 무해(no-harm) 이론적 보장을 갖는다. 이러한 이론적 보장 외에도, 시뮬레이션 연구를 통해 LLINBO가 기존 LLM 기반 BO를 더 신뢰할 수 있게 만들면서도 LLM의 퓨샷 학습 능력을 활용하여 고전적 BO보다 우수한 성능을 낸다는 것을 보인다. 또한 실제의 비용이 많이 드는 3D 프린팅 실험에서의 실용적 활용을 추가로 시연한다. 코드는 https://github.com/UMDataScienceLab/LLM-in-the-Loop-BO 에서 확인할 수 있다.
Attributes Shape the Embedding Space of Face Recognition Models
MathOptAI.jl: Embed trained machine learning predictors into JuMP models
Inverting Black-Box Face Recognition Systems via Zero-Order Optimization in Eigenface Space
Tailored Architectures for Time Series Forecasting: Evaluating Deep Learning Models on Gaussian Process-Generated Data
토론
이 논문과 연결된 포럼 글이 아직 없습니다.