Kernel Conditional Density Operators
원문 초록
We introduce a novel conditional density estimation model termed the conditional density operator (CDO). It naturally captures multivariate, multimodal output densities and shows performance that is competitive with recent neural conditional density models and Gaussian processes. The proposed model is based on a novel approach to the reconstruction of probability densities from their kernel mean embeddings by drawing connections to estimation of Radon-Nikodym derivatives in the reproducing kernel Hilbert space (RKHS). We prove finite sample bounds for the estimation error in a standard density reconstruction scenario, independent of problem dimensionality. Interestingly, when a kernel is used that is also a probability density, the CDO allows us to both evaluate and sample the output density efficiently. We demonstrate the versatility and performance of the proposed model on both synthetic and real-world data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Regularized Variational and Spectral Log-Density-Ratio Estimation in the Gaussian Location Model
Knowledge Cascade: Reverse Knowledge Distillation on Nonparametric Multivariate Functional Estimation
경계 질량을 갖는 비례 결과변수를 위한 검열 변환 모델 및 채무 불이행 시 손실(LGD) 모델링 적용
A Censored Transformed Model for Proportional Outcomes with Boundary Mass and an Application to Loss Given Default Modeling
본 연구는 경계 0과 1에서 확률 질량이 존재할 수 있는 비례 반응변수를 위한 0-1 검열 변환 정규(ZOC-TN) 모델을 제안한다. 이 모델은 검열 가우시안 변수와 내부 구간 (0,1)에 대한 두 매개변수 아핀-로짓(affine-logit) 변환을 결합한다. 우리는 변환 매개변수를 특성화하고, 대표본 특성을 확립하며, 아핀-로짓 명세를 더 넓은 클래스의 내부 분포와 연관 짓는다. 이론적·실험적 결과는 제안 모델이 여러 벤치마크 모델보다 더 넓은 범위의 질적 밀도 형태를 포착할 수 있으면서도, 간결하고 계산 효율적이며 수치적으로 안정적임을 보여준다. 또한 ZOC-TN 모델은 (i) 트리 부스팅 기계학습 프레임워크에서 비선형성과 상호작용을 반영하도록, (ii) 잔차 시공간 변동성을 명시적으로 모델링하도록 확장할 수 있다. 우리는 ZOC-TN 모델을 미국 주택 담보 대출의 대규모 데이터셋에 대한 채무 불이행 시 손실(LGD) 모델링에 적용하고 여러 벤치마크 모델과 비교한다. 시공간 frailty 가우시안 과정을 포함한 트리 부스팅 ZOC-TN 모델이 가장 강한 표본 외 성능을 보였으며, 이는 모기지 손실이 비선형 공변량 효과와 설명되지 않은 시공간 변동에 의해 형성됨을 시사한다.
최소 거리 추정량을 통한 헬링거 거리 기반 밀도 추정: 가우시안 혼합, 로그-오목, 그 외
Density estimation for Hellinger via minimum-distance estimators: mixtures of Gaussians, log-concave, and more
우리는 $n$개의 샘플로부터 확률 밀도를 정확하게 추정하고자 하는 밀도 추정(density estimation) 과제를 연구합니다. 총 변동 거리(total variation distance)에서의 밀도 추정을 위한 교과서적인 방법은 최소 거리 추정량(minimum-distance estimator) 접근법으로, 특정 개념 클래스(소위 야트라코스 클래스(Yatracos class))의 VC 차원(VC dimension)을 경계로 제한함으로써 알고리즘과 분석을 모두 도출합니다. 이 기법은 원래 주로 총 변동 거리에 대해 날카로운 보장을 제공했지만, 본 연구에서는 헬링거 거리(Hellinger distance) 내에서의 학습을 위해 최소 거리 추정량 접근법을 확장합니다. 우리의 주요 관찰은 역 데이터 처리 부등식(reverse data processing inequalities)을 제공하는 최근 결과와 연결함으로써, 헬링거에 대해 유사한 방법론(여기서는 관련 개념 클래스의 VC 차원만 경계로 제한하면 됨)을 만들어낼 수 있다는 것입니다. 이 방법론은 원래 총 변동 거리용으로 설계된 빠른 알고리즘을 수용할 만큼 유연합니다. Acharya et al. (2017)의 접근법을 수정하여, 우리는 단변량 로그-오목 밀도 혼합(univariate mixtures of log-concave densities) 및 가우시안 혼합(mixtures of Gaussians, 임의의 분산 포함)을 포함하는 클래스를 학습하기 위한 거의 최적 샘플 복잡도(near-optimal sample complexity)를 가진 최초의 거의 선형 시간(near-linear time) 알고리즘을 도출합니다.
라플라스 근사와 정규화 흐름을 활용한 심층 학습을 통한 OCO-2 스펙트럼에서의 대기 CO2 상각 확률적 검색
Amortized Probabilistic Retrieval of Atmospheric CO2 from OCO-2 Spectra Using Deep Learning with Laplace Approximations and Normalizing Flows
대기 중 이산화탄소(CO$_2$)의 우주 기반 관측은 전 지구 탄소 수지를 제약한다. NASA의 궤도 탄소 관측위성 2호(OCO-2)는 고해상도 스펙트럼으로부터 CO$_2$의 칼럼 평균 건조 공기 몰분율(XCO$_2$)을 추정하지만, 운용 중인 반演 방법은 계산 비용이 크고 반演된 사후분포에 엄격한 가우시안성 가정을 부과한다. 우리는 상각된 확률적 추론을 통해 이 두 문제를 모두 해결하는 딥러닝 프레임워크를 제시한다. 실제 관측에 대한 참값이 없으므로, 보정된 순방향 모형 오차를 갖는 고충실도 OCO-2 시뮬레이션 앙상블에서 학습하고 평가하며, 동일한 복사휘도에 대해 편향 보정을 적용하지 않은 버전 10 운용 완전 물리 반演과 비교한다. 우리의 아키텍처는 각 스펙트럼 대역을 별도로 인코딩하고, Laplace 근사와 조건부 정규화 흐름을 사용하여 전체 CO$_2$ 칼럼 또는 그 요약량의 사후분포를 추정한다. 일단 학습되면 추론 비용은 관측 한 건당 분 단위가 아니라 밀리초 단위이다. 순방향 모형 불일치를 명시적으로 포함하는 시뮬레이션으로 학습한 우리의 반演은 우리가 고려한 두 데이터 분할 모두에서 XCO$_2$에 대해 운용 반演보다 더 정확하며, 프로파일에서는 경쟁력이 있다. 흐름 모형은 가우시안이 표현할 수 없는 비대칭 사후분포를 표현하며, 이 이득은 규모가 아니라 형태에 기인하고, 예측 밀도에서의 이점은 정확도 이점이 사라진 곳에서도 지속된다. 이러한 결과는 육지 전용 앙상블에서 운용 알고리즘의 한 가지 구성에 대해 확립된 것이다. 보류된 기준 관측과 보지 못한 두 달에서도 XCO$_2$와 밀도의 이점이 지속된다. XCO$_2$의 경우 2월 데이터에서 커버리지가 명목값에 가까우며, 보지 못한 달들에서는 명목값에 미치지 못하지만 운용 반演의 경우보다 훨씬 더 명목값에 가깝다.
에너지 기반 모델을 위한 대조 학습, 중요도 샘플링, 브리지 샘플링의 통합적 관점
A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models
지난 수십 년간 에너지 기반 모델(EBM)은 가능도의 한 구성 요소가 다루기 어려워 명시적으로 평가할 수 없는 확률 모델의 중요한 부류가 되었다. 따라서 EBM의 모수 추정은 기존 추론 방법으로는 어려운 과제이다. 본 연구는 이러한 다양한 방법론적 기여를 하나의 통합된 틀 안에 모은 리뷰 논문으로, EBM의 맥락에서 잡음 대조 추정(NCE), 역 로지스틱 회귀(RLR), Bennett의 수락비(BAR) 방법, 다중 중요도 샘플링(MIS), 브리지 샘플링 간의 연결을 강조한다. 이 중 일부는 특정 조건에서 서로 동등하다. 이러한 통합적 관점은 기존 방법들 간의 관계를 명확히 하고 새로운 추정량의 개발을 가능하게 하며, 통계적 및 계산적 효율성을 개선할 잠재력을 가진다. 더 나아가 본 연구는 NCE의 유연성과 강건성 측면에서의 성공을 설명하는 데 도움을 주는 동시에, 그 성능을 더 개선할 수 있는 상황도 식별한다. 우리의 목표는 명확하고 간결한 유도를 통해 이러한 기여를 공통의 틀 안에 모으고 주요 결과와 그 기저의 아이디어를 더 넓은 독자층이 이해할 수 있도록 하는, 자기완결적이고 접근하기 쉬운 서술을 제공하는 것이다. 기여는 두 가지이다. 첫째, 본 연구는 이 분야에 입문하는 연구자들을 위해 기본 개념과 유도를 소개하는 포괄적인 튜토리얼 역할을 한다. 둘째, 숙련된 실무자들에게 철저한 리뷰를 제공한다. 수치 실험에 사용된 코드는 결과의 재현성을 지원하기 위해 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.