본 논문은 앙상블 조건 역문제(EIP)라 명명하는 새로운 다변량 통계 문제를 소개한다. EIP의 목표는 순방향 과정(forward process) 하에서 사전분포(prior)의 pushforward에 따라 분포하는 앙상블을 역산하는 것이다. 고에너지 물리학(HEP)에서는 이 문제가 unfolding으로 잘 알려져 있으며, 검출기 효과로 왜곡된 관측으로부터 실제 물리 분포를 재구성하는 것을 목표로 한다. EIP는 전체 파형 역산(FWI)과 알려지지 않은 사전분포를 갖는 역영상(inverse imaging)에서도 등장한다. 우리는 앙상블 역생성 생성 모델(ensemble inverse generative models)이라 부르는 새로운 조건부 생성 모델 클래스를 기반으로 사후 샘pler를 구성하는 비반복적 추론 시점 방법을 제안한다. 사후 모델링에서 이 모델들은 단일 관측 위에 관측 집합에 포함된 앙상블 정보를 추가로 활용한다. 기존 방법과 달리, 제안 방법은 동일한 순방향 모델과 일치하되 넓은 범위의 사전분포에서 기원한 여러 진실-관측 쌍 집합에 걸친 학습을 통해 추론 시점에 순방향 모델을 명시적·반복적으로 사용하지 않는다. 실험적으로 이 학습 절차가 가능도 모델을 암묵적으로 인코딩하여, 어느 정도 보지 못한 사전분포에 대한 직접 사후 추론을 가능하게 함을 보인다. 역영상, HEP, FWI 분야의 여러 합성 및 실제 데이터셋에서 제안 방법을 벤치마크한다. 코드는 https://github.com/ZhengyanHuan/EIP 에서 제공한다.
플로우 매칭(Flow matching)은 노이즈와 데이터 사이의 선형 보간을 따라 조건부 속도를 회귀하도록 신경망을 학습시키며, 네트워크 평가 횟수(NFE)가 샘플링 비용을 결정한다. 직선 보간에는 암묵적인 선택이 내포되어 있다: 샘플이 궤적 전반에 걸쳐 일정한 속도로 이동한다는 것이다. 우리는 이 제약을 완화하여 속도 스케줄 플로우 매칭(VSFM)을 제안한다. VSFM은 $\int_0^1 v\,dt = 1$을 만족하는 임의의 비음수 프로파일 $v:[0,1]\to\mathbb{R}_{\geq 0}$에 대해 조건부 타깃 $x_1 - x_0$을 $v(t)(x_1 - x_0)$으로 대체한다. 우리는 모션 플래닝에서 도출된 6가지 다항식 프로파일을 연구한다. VSFM의 첫 번째 활용은 추론 시점에 있다: 사전학습된 선형 플로우 매칭 모델은 재학습이나 추가 계산 없이 비균일 $\tau$-스케줄에서 ODE를 적분함으로써 임의의 허용 가능한 프로파일 하에서 샘플링될 수 있으며, CIFAR-10에서 FID를 최대 19.8% 낮춘다. 제동 프로파일(braking profile) 하에서 처음부터 학습하면 4 NFE에서 추가로 17.4% 감소를 달성한다. 두 가지 향상 모두 유도된 격자에서 오일러 적분기의 국소 절단 오차로부터 비롯된다.
멤버십 추론 공격(MIA)을 텍스트-투-텍스트, 텍스트-투-이미지, 이미지-투-텍스트 생성 모델 전반에 통합 적용하는 최초의 통합 프레임워크를 제안하며, 생성 모델의 출력 분포가 학습 데이터 분포를 근사한다는 모달리티 독립적 특성을 활용해 공유 임베딩 공간에서 가능도 비율 검정으로 멤버십을 추론한다. 엄격한 블랙박스 환경에서 부분 지식 및 제로 지식 위협 모델 모두를 대상으로 한 실험에서 기존 단일 모달리티 최신 기법들을 능가하는 성능을 입증했다.
확률론적 미분방정식(SDE)과 디퓨전 모델(diffusion model)에 익숙하지 않은 대학원 입문자를 위해, 샘플링 이론부터 현대 스코어 기반 디퓨전 모델, 오차 분석, 추론 시간 제어까지를 증명 중심으로 체계적으로 소개하는 강의 노트이다. Langevin 동역학, DDPM, 이산 디퓨전, 보상 기울이기(reward tilting), 추론 시간 강화학습(inference-time RL)까지 단일한 흐름으로 다루며 핵심 정의와 대표적 추정치를 직접 증명한다.
공통 요인 분석 모델(common factor analytic model)은 Helmholtz 머신 및 Boltzmann 머신과 관련되어 있으며, 선형 오토인코더로 개념화되거나 단일 은닉층 생성 신경망으로 이해될 수 있다. 따라서 우리는 이를 (심층) 생성 모델 아키텍처의 근본적인 특성을 연구하기 위한 최소 모델로 활용할 수 있는 기저 생성 표현 학습기로 간주한다. 우리는 잠재 요인 투영에서의 불확정성이라는 근본적인 문제에 초점을 맞춘다. 이 불확정성은, 잠재 벡터의 내재적 차원이 알려져 있고, 정규성 조건이 충족되며, 회전 불확정성이 해소된 경우에도, 원인적 잠재 소스의 복원에 내재적인 불명확성이 남아 있음을 의미한다: 이들은 불확실하고, 분포적으로 편차가 있으며, 비유일하다. 이는 데이터 표현에 중대한 함의를 가질 수 있지만, 요인 모델에 정통한 실무자와 이론가들에게도 여전히 파악하기 어려운 문제이다. 더욱이, 이 고전적인 심리측정학(Psychometrics) 문제는 심층 생성 모델링을 위한 변분 오토인코더(variational autoencoder) 프레임워크에서의 잠재 변수 붕괴(latent variable collapse)라는 현대적 문제와 복잡하게 연결되어 있다. 여기서 우리는 다양한 관점에서 이 불확정성을 평가하고, 이들이 수학적·개념적으로 어떻게 관련되는지를 보이며, 심리측정학, 통계학, 인공지능(AI) 커뮤니티에 대한 후속 함의를 논의한다. 우리는 특징 차원이 무한대로 증가할 때 모든 측면에서 잠재 요인 결정성(latent factor determinacy)이 성립함을 보인다. 이는 특징 수가 매우 크게 증가하는 표본의 경우에 본질적으로 분포 무관(distribution-free) 추정 접근법으로 이어진다. 이러한 특성들이 스케일에서의 창발적(emergent) 특성임을 고려하여, 우리는 요인 모델이 초고차원 데이터의 표현 학습에 적합하다는 결론을 내린다.
생성 모델을 전통적인 컴퓨팅 시스템에 통합하는 것은 엄청난 기회와 막대한 위험을 동시에 내포하고 있습니다. 많은 초기 도입자가 막대한 비용을 치르며 이러한 위험을 깨달았지만, 전통적인 시스템에 인공지능(AI)을 통합할 때의 위험을 완화하기 위한 기초 프레임워크가 여전히 필요합니다. 이 논문은 확률적 모델의 결정론적 캡슐화를 가능하게 하도록 설계된 AI 혼합 아키텍처의 4가지 구체적인 프리미티브를 정의하여 이 기초를 확립합니다. 또한, 이 분야 엔지니어들에게 경고가 되도록 업계 전반에 걸쳐 널리 나타나는 두 가지 포괄적인 안티 패턴을 정립합니다. 이 프레임워크는 생성 모델 제공자가 차세대 생성 모델 인터페이스를 구축할 수 있는 기반을 제공하는 동시에, 전통적인 시스템에 AI를 성공적으로 통합할 수 있도록 설계되었습니다.
조건부 잠재 변수 모델에서 식별 가능성(identifiability)과 외삽(extrapolation) 보장이 모델별로 분리되어 있던 문제를, 속성이 변조기를 거쳐 잠재 컨셉을 생성하는 컨셉 변조 모델(CMMs)로 통합하고 속성 포텐셜(attribute potentials)을 통해 전이 기반 식별 가능성을 조건부 설정으로 확장한다. 관측 속성에서의 특징 일치가 관측되지 않은 속성까지 이어질 조건을 대수적으로 제시하며, nonlinear ICA, 인과 표현 학습(causal representation learning), 섭동 모델링 등 기존 결과의 공통 증명 구조를 드러내 모델별 강성 논증과 결합해 기존 보장을 회복한다.
현재 심층 학습, 특히 생성 모델의 시대에 매우 큰 생성 모델을 학습시키는 데 막대한 투자가 이루어지고 있습니다. 지금까지 이러한 모델들은 불투명한 내부 메커니즘을 가지고 있어 이해하기 어려운 '블랙박스'로 여겨져 왔으며, 이로 인해 해석 가능성, 신뢰성, 제어에 어려움을 겪어 왔습니다. 당연하게도, 이러한 이해의 부족은 과대광고와 두려움을 동시에 낳았습니다. 이 책은 심층 학습 모델의 실증적 성능에 있어 주요 요인—아마도 가장 중요한 요인일 것인—표현 학습의 관점을 통해 '블랙박스'를 열고 대규모 심층 신경망의 메커니즘을 이해하려는 시도입니다. 이 책의 간략한 개요는 다음과 같습니다. 1장은 전체 텍스트의 기반이 되는 맥락을 요약할 것입니다. 2, 3, 4, 5, 6장은 최적화와 정보 이론을 통해 현대 신경망 아키텍처의 설계 원칙을 설명하며, 기본 원칙이 도입되면 아키텍처 개발 과정(오랫동안 일종의 '연금술'로 묘사되어 온)을 학부 수준의 선형대수학 및 미적분학 연습 문제로 단순화할 것입니다. 7장과 8장은 이러한 원칙을 적용하여 문제를 보다 전형적인 방식으로 해결하는 응용 사례를 논의하며, 설계상 효율적이고 해석 가능하며 제어 가능하면서도 유사한 블랙박스 모델보다 결코 뒤지지 않고 때로는 더 강력한 새로운 방법과 모델을 제시합니다. 9장은 심층 학습의 잠재적 미래 방향, 표현 학습의 역할, 그리고 몇 가지 미해결 문제에 대해 논의할 것입니다.