사전 데이터 적합 네트워크(PFN)는 합성 사전 분포의 베이지안 사후 예측 분포(PPD)를 근사하도록 학습되지만, 근사 품질에 대한 연구 결과는 놀라울 정도로 부족합니다. 경험적 위험 최소화 관점을 취하여, 본 연구는 PFN의 배포 오차를 사전 분포 오차, 컨텍스트 오차, 상각 오차로 분해하고, 현실적인 사전 분포 하에서 기준 PPD와 비교하여 상각 오차를 측정합니다. 실험 결과, PFN은 대체로 목표 PPD를 매우 잘 복원하는 것으로 나타났습니다. 그럼에도 불구하고, 사전 사전학습 분포 하의 희귀한 설정에서는 모델 크기를 스케일링할 때조차 잔여 상각 오차의 일부가 지속됨을 발견했습니다. 이는 독립적으로 사전학습된 PFN 간의 불일치로 나타나며, 추론 시 예측기에 대한 불확실성을 남깁니다. 이에 대한 해결책으로 여러 유형의 베이지안 모델 평균을 연구하였으며, 이를 통해 이러한 불확실성을 일관되게 줄이고 풀사이즈 TabICLv2 모델에 이르기까지 예측을 개선할 수 있음을 확인했습니다.
21세기가 시작된 이후, 점근적 베이즈 추론은 점점 더 복잡하고 대규모인 예측 문제를 다루기 위해 새로운 계산 기법이 통합되면서 꾸준히 발전해 왔다. 최근 딥 신경망과 파운데이션 모델의 성공은 이제 베이즈 추론이 대규모 학습된 예측기를 통해 상각화될 수 있는 통계 모델링의 새로운 패러다임을 만들어냈다. 상각화 추론(amortized inference)에서는 신경망을 학습하기 위해 초기에 상당한 계산이 필요하지만, 이후에는 다양한 작업 전반에 걸쳐 훨씬 낮은 계산 비용으로 근사 사후분포 또는 예측을 생성할 수 있다. 전형적인 베이즈 추론 절차는 각 새로운 데이터셋마다 반복적인 가능도 계산과 몬테카를로 단계로 인해 계산 비용이 높은 반면, 상각화 추론은 배포 시 훨씬 낮은 계산 비용을 제공한다. 상각화 추론의 인기가 높아지고 있음에도 불구하고, 그 통계적 해석과 베이즈 추론 내에서의 위치는 여전히 제대로 탐구되지 않았다. 본 논문에서는 순전파 신경망, Deep Sets, Transformer를 포함한 여러 주요 신경망 아키텍처에 대한 통계적 관점을 제시하고, 이들이 어떻게 자연스럽게 상각화 베이즈 추론을 지원하는지 검토한다. 우리는 이러한 모델이 구조화된 근사와 확률적 추론을 어떻게 수행하여 다양한 배포 시나리오 전반에 걸쳐 통제된 일반화 오류를 산출하는지, 그리고 이러한 성질을 베이즈 계산에 어떻게 활용할 수 있는지를 탐구한다. 시뮬레이션 연구를 통해, 샘플 크기, 노이즈 분포군, 희소성 수준, 다중 모드성이 변하는 조건에서 상각화 추론의 정확도, 견고성, 불확실성 정량화를 평가하고, 그 강점과 한계를 부각한다.
정보 획득을 극대화하는 실험 설계 변수를 능동적으로 최적화하는 매개변수 추정 문제를 위해, JADAI는 정책 네트워크, 이력 요약 네트워크, 확산 모델 기반 추론 네트워크를 종단간(end-to-end)으로 공동 학습하여 베이즈 적응형 설계(BAD)와 시뮬레이션 기반 추론(SBI)을 통합 상각(amortize)하는 프레임워크다. 표준 적응형 설계 벤치마크에서 우수하거나 경쟁력 있는 성능을 달성하며, 각 실험 단계마다 고차원 및 다봉(multimodal) 사후 분포 추정을 밀도 평가 없이 수행한다.
최대 내적 탐색(MIPS)은 머신러닝에서 중요한 서브루틴으로, 주어진 쿼리와 가장 잘 정렬되는 데이터베이스(키) 내의 벡터를 식별해야 합니다. 본 논문에서는 상각 MIPS(amortized MIPS)를 제안합니다. 이는 고정된 키 데이터베이스에 대한 알려진 분포에서 추출된 쿼리에 대해 MIPS를 반복적으로 해결하는 비용을 상각하기 위해, 신경망을 학습시켜 MIPS 해를 직접 예측하는 회귀 기반 접근법입니다. 우리의 핵심 통찰은 MIPS 가치 함수가 키 집합의 지원 함수(support function)라는 점입니다. 이는 잘 연구된 볼록 함수로, 그 그래디언트가 최적의 키를 도출합니다. 이는 두 가지 상호 보완적인 상각 모델을 동기합니다: 지원 함수를 회귀하도록 학습된 입력 볼록 신경망인 SupportNet과 최적의 키를 직접 회귀하는 벡터값 신경망인 KeyNet입니다. SupportNet은 쿼리를 관련 데이터베이스 파티션으로 유도하는 클러스터 라우터로 사용될 수 있으며, KeyNet은 기존 쿼리에 대한 대체 가능한 구성 요소로 사용되어 기성 색인 파이프라인에 직접 입력될 수 있습니다. BEIR 벤치마크에 대한 우리의 실험은, 문서 임베딩의 경우, 학습된 SupportNet과 KeyNet이 FLOPs, 프로브(probe) 수, 또는 실제 경과 시간 중 무엇으로 측정하든 계산 비용을 고려할 때 IVF 일치율을 크게 향상시킴을 보여줍니다. 우리의 코드는 https://github.com/apple/ml-amips에서 확인할 수 있습니다.
계층적 예측 코딩은 다층 생성 모델에서 오류 주도 추론으로서의 지각에 대한 해석 가능한 프레임워크를 제공하는 반면, 희소 코딩은 명시적 희소성 제약을 통해 간결한 잠재 표현을 부과한다. 이 둘의 결합은 계층적 희소 예측 코딩 모델을 산출하며, 매력적인 계산적 및 신경과학적 특성을 갖지만, 실용적 사용은 종종 반복적 잠재 추론의 비용에 의해 제한된다. 이러한 모델에서는 각 입력이 유용한 희소 표현을 얻기 전에 많은 순환적 정제 단계를 필요로 할 수 있으며, 이 부담은 계층이 깊어질수록 더욱 심해진다. 우리는 계층적 희소 에너지를 고정하고 추론 절차를 변화시킴으로써 이 병목을 연구한다. 비교에는 네 가지 방식이 포함된다: ISTA에 기반한 고전적 반복 추론, 가속화된 MFISTA 기준, 계층적 모델에 맞게 조정된 LISTA 스타일 bottom-up 인코더를 사용하는 구조 정보를 활용한 상각화 추론, 그리고 이 빠른 상각화 초기화 뒤에 소수의 보정적 에너지 기반 정제 단계가 이어지는 하이브리드 방법. 이 공유 목표 하에서 우리는 정적 이미지 벤치마크에서 재구성 품질, 희소성, 지연 시간, 안정성을 측정한다. 결과는 얕은 LISTA 스타일 초기화와 짧은 보정적 순환이 순수 상각화를 개선하면서도 긴 반복 추론보다 훨씬 빠르게 유지됨을 보여준다.
노이즈가 있는 비선형 관측으로만 간접 관측되는 확률적 동역학 시스템(SDE)에서 계수 추정과 관측에 따른 사후 갱신을 함께 다루기 위해, pathwise Zakai equation의 score 구조를 이용한 제어 SDE 표현과 변분 추론을 결합한 상각화(amortized) 경로 생성 방법을 제안한다. 다중모드 사후, 혼돈 동역학, 희소 관측을 갖는 비선형 시스템 실험에서 학습된 조건부 경로 생성기가 필터링 주변분포와 궤적 의존 함수량의 불확실성 정량화를 가능하게 함을 보였다.
관측 데이터에서의 인과 발견은 개입(intervention) 없이 유향 구조와 잠재 교란을 회복해야 한다는 요구 사항 때문에 여전히 어려운 과제입니다. 우리는 합성 데이터(synthetic data)로만 학습되며 단일 순전파(forward pass)를 통해 데이터셋을 인과 그래프로 직접 매핑하는 아모티즈드(amortized) 인과 발견 모델인 FoundCause를 제안합니다. 시뮬레이션된 구조적 인과 모델의 대규모 모음에서 학습함으로써, FoundCause는 개별 데이터셋을 넘어 일반화되는 전이 가능한 통계적 패턴을 포착합니다. 해당 아키텍처는 인과 발견을 위한 몇 가지 핵심적인 귀납적 편향(inductive biases)을 통합합니다. 이 모델은 샘플과 변수에 대한 번갈아 가는 어텐션(alternating attention)을 갖는 순열 불변(permutation-invariant) 트랜스포머 인코더를 사용하여 변수 간 의존성과 변수별 분포를 공동으로 모델링합니다. 고전적인 비대칭성 척도에서 파생된 쌍별(pairwise) 통계적 특징은 통계 조건부 어텐션(statistics-conditioned attention)을 통해 주입되어 모델을 알려진 인과 신호로 안내합니다. 분해된 디코더(factorized decoder)는 엣지의 존재와 방향을 분리하며, 삼각형 정제 모듈(triangular refinement module)은 체인(chains)과 콜라이더(colliders)와 같은 고차 인과 모티프에 대한 추론을 가능하게 합니다. 또한, 학습 가능한 잠재 토큰을 기반으로 하는 전용 교란 변수 모듈은 숨겨진 공통 원인을 명시적으로 모델링하며, 모델은 마스킹된 입력 표현을 통해 결측 데이터를 명시적으로 처리합니다. 우리가 아는 한, FoundCause는 잠재 교란을 명시적으로 모델링하는 최초의 아모티즈드(amortized) 인과 발견 접근법입니다. FoundCause는 15개의 실제 데이터셋에서 11개의 고전적인 비아모티즈드(non-amortized) 방법(예: PC, GES, NOTEARS 스타일 최적화)과 4개의 아모티즈드 인과 발견 방법을 능가하며, 단일 순전파(forward pass)로 추론(inference)을 수행하는 동시에 가장 강력한 비아모티즈드 방법 대비 $F_1$ 점수에서 +9.6% 향상, AUROC에서 +1.2% 향상, 구조적 해밍 거리(structural Hamming distance)에서 18.9% 감소를 달성했습니다.