Multi-view Generative Adversarial Networks
원문 초록
Learning over multi-view data is a challenging problem with strong practical applications. Most related studies focus on the classification point of view and assume that all the views are available at any time. We consider an extension of this framework in two directions. First, based on the BiGAN model, the Multi-view BiGAN (MV-BiGAN) is able to perform density estimation from multi-view inputs. Second, it can deal with missing views and is able to update its prediction when additional views are provided. We illustrate these properties on a set of experiments over different datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RUBRIC: 불균형 분류를 위한 사실성-효용 균형 순위화
RUBRIC: Realism--Utility Balanced Ranking for Imbalanced Classification
클래스 불균형은 사기 탐지 및 의료 진단과 같이 소수 클래스 샘플이 희소하지만 정확한 분류에 결정적인 위험 민감 응용 분야에서 근본적인 문제를 야기합니다. 기존 오버샘플링(oversampling) 기법들은 클래스 분포의 균형을 맞추기 위해 합성 샘플을 생성하지만, 결정 경계를 왜곡하거나 인위적 아티팩트를 도입하는 저품질 후보를 대량 생성하여 과적합과 일반화 성능 저하를 초래하는 경우가 많습니다. 본 연구에서는 합성 샘플 선택을 '양보다 질' 최적화 문제로 정형화하는 생성기 무관(generator-agnostic) 필터링 프레임워크인 \textbf{RUBRIC}을 소개합니다. RUBRIC은 사실성-효용 트레이드오프를 활용하여 후보들의 순위를 매깁니다. 사실성은 각 후보가 실제 소수 클래스 샘플과 닮은 정도로부터 신경 밀도비 판별자(neural density-ratio discriminator)를 통해 추정되며, 효용은 오목한 마진 기반 점수 함수 $g_-(t)=-\log(1+e^{-t/τ})$를 통해 결정 경계와의 근접성을 포착합니다. 판별자는 모든 벤치마크에서 동일한 아키텍처와 학습 프로토콜을 사용하며, 각 데이터셋의 실제 소수 클래스 대 합성 풀에 대해 독립적으로 적합됩니다. 본 연구에서는 온건한 정규성 조건 하에서, 제안된 필터링 프레임워크가 분포 변화(distribution shift)를 줄이고 준음성 꼬리(near-negative tail) 기여를 억제함으로써 마진 기반 분류기의 일반화 한계(generalization bound)를 단조롭게 강화함을 보입니다. 표준 공개 불균형 분류 벤치마크에 대한 광범위한 실험을 통해, RUBRIC이 여러 데이터 생성기에 걸쳐 전반적인 판별 능력을 유지하면서 소수 클래스 재현율을 향상시킴을 입증합니다. $λ$ 및 선택 예산 $K$에 대한 민감도 분석은 순위화 품질 중심의 성능 트레이드오프를 더욱 명확히 규명합니다.
확률 측도의 PCA: 희소 및 조밀 표본추출 영역
PCA of probability measures: Sparse and Dense sampling regimes
확률 측도에 대해 PCA를 수행하는 일반적인 접근법은 이를 표준 함수형 PCA 기법을 적용할 수 있는 힐베르트 공간에 임베딩하는 것이다. 하나의 측도의 임베딩을 $m$개의 표본으로부터 추정할 때의 수렴 속도는 잘 알려져 있으나, 여러 측도를 다루는 설정은 기존 문헌에서 다루어지지 않았다. 본 논문에서는 $n$개의 확률 측도가 관측되고 각각이 $m$개의 표본을 통해 관측되는 이중 점근 영역에서 PCA를 연구한다. 우리는 경험적 공분산 연산자와 PCA 초과 위험에 대해 $n^{-1/2} + m^{-\alpha}$ 형태의 수렴 속도를 유도하며, 여기서 $\alpha>0$은 선택한 임베딩에 따라 달라진다. 이는 측도의 개수 $n$과 측도당 표본 수 $m$ 사이의 관계를 규명하며, 수렴 거동에서 희소(작은 $m$)에서 조밀(큰 $m$)로의 전이가 나타남을 보여준다. 더 나아가, 조밀 영역의 속도가 경험적 공분산 오차에 대해 미니맥스 최적임을 증명한다. 수치 실험은 이러한 이론적 속도를 검증하고, 적절한 부표본추출이 계산 비용을 줄이면서도 PCA 정확도를 보존함을 보여준다.
라플라스 근사와 정규화 흐름을 활용한 심층 학습을 통한 OCO-2 스펙트럼에서의 대기 CO2 상각 확률적 검색
Amortized Probabilistic Retrieval of Atmospheric CO2 from OCO-2 Spectra Using Deep Learning with Laplace Approximations and Normalizing Flows
대기 중 이산화탄소(CO$_2$)의 우주 기반 관측은 전 지구 탄소 수지를 제약한다. NASA의 궤도 탄소 관측위성 2호(OCO-2)는 고해상도 스펙트럼으로부터 CO$_2$의 칼럼 평균 건조 공기 몰분율(XCO$_2$)을 추정하지만, 운용 중인 반演 방법은 계산 비용이 크고 반演된 사후분포에 엄격한 가우시안성 가정을 부과한다. 우리는 상각된 확률적 추론을 통해 이 두 문제를 모두 해결하는 딥러닝 프레임워크를 제시한다. 실제 관측에 대한 참값이 없으므로, 보정된 순방향 모형 오차를 갖는 고충실도 OCO-2 시뮬레이션 앙상블에서 학습하고 평가하며, 동일한 복사휘도에 대해 편향 보정을 적용하지 않은 버전 10 운용 완전 물리 반演과 비교한다. 우리의 아키텍처는 각 스펙트럼 대역을 별도로 인코딩하고, Laplace 근사와 조건부 정규화 흐름을 사용하여 전체 CO$_2$ 칼럼 또는 그 요약량의 사후분포를 추정한다. 일단 학습되면 추론 비용은 관측 한 건당 분 단위가 아니라 밀리초 단위이다. 순방향 모형 불일치를 명시적으로 포함하는 시뮬레이션으로 학습한 우리의 반演은 우리가 고려한 두 데이터 분할 모두에서 XCO$_2$에 대해 운용 반演보다 더 정확하며, 프로파일에서는 경쟁력이 있다. 흐름 모형은 가우시안이 표현할 수 없는 비대칭 사후분포를 표현하며, 이 이득은 규모가 아니라 형태에 기인하고, 예측 밀도에서의 이점은 정확도 이점이 사라진 곳에서도 지속된다. 이러한 결과는 육지 전용 앙상블에서 운용 알고리즘의 한 가지 구성에 대해 확립된 것이다. 보류된 기준 관측과 보지 못한 두 달에서도 XCO$_2$와 밀도의 이점이 지속된다. XCO$_2$의 경우 2월 데이터에서 커버리지가 명목값에 가까우며, 보지 못한 달들에서는 명목값에 미치지 못하지만 운용 반演의 경우보다 훨씬 더 명목값에 가깝다.
에너지 기반 모델을 위한 대조 학습, 중요도 샘플링, 브리지 샘플링의 통합적 관점
A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models
지난 수십 년간 에너지 기반 모델(EBM)은 가능도의 한 구성 요소가 다루기 어려워 명시적으로 평가할 수 없는 확률 모델의 중요한 부류가 되었다. 따라서 EBM의 모수 추정은 기존 추론 방법으로는 어려운 과제이다. 본 연구는 이러한 다양한 방법론적 기여를 하나의 통합된 틀 안에 모은 리뷰 논문으로, EBM의 맥락에서 잡음 대조 추정(NCE), 역 로지스틱 회귀(RLR), Bennett의 수락비(BAR) 방법, 다중 중요도 샘플링(MIS), 브리지 샘플링 간의 연결을 강조한다. 이 중 일부는 특정 조건에서 서로 동등하다. 이러한 통합적 관점은 기존 방법들 간의 관계를 명확히 하고 새로운 추정량의 개발을 가능하게 하며, 통계적 및 계산적 효율성을 개선할 잠재력을 가진다. 더 나아가 본 연구는 NCE의 유연성과 강건성 측면에서의 성공을 설명하는 데 도움을 주는 동시에, 그 성능을 더 개선할 수 있는 상황도 식별한다. 우리의 목표는 명확하고 간결한 유도를 통해 이러한 기여를 공통의 틀 안에 모으고 주요 결과와 그 기저의 아이디어를 더 넓은 독자층이 이해할 수 있도록 하는, 자기완결적이고 접근하기 쉬운 서술을 제공하는 것이다. 기여는 두 가지이다. 첫째, 본 연구는 이 분야에 입문하는 연구자들을 위해 기본 개념과 유도를 소개하는 포괄적인 튜토리얼 역할을 한다. 둘째, 숙련된 실무자들에게 철저한 리뷰를 제공한다. 수치 실험에 사용된 코드는 결과의 재현성을 지원하기 위해 공개되어 있다.
입력 볼록 신경망 학습을 위한 리프트
A lift for input-convex neural net training
입력 볼록 신경망은 밀도 모델과 수송 사상의 볼록 포텐셜을 매개변수화하며, 그 볼록성을 위해서는 계층 간 가중치가 비음수여야 한다. 투영 경사 하강법은 매 단계 후 투영을 수행하여 이를 강제하는데, 미니배치 잡음 때문에 경계를 무한히 반복해서 넘나들게 되어 투영이 식별하지 못하는 활성 집합이 발생한다. 미분 가능한 대안인 직접 소프트플러스는 소프트플러스 양수화 사상을 통해 자유 잠재 가중치를 최적화한다. 해당 잠재 가중치가 0보다 훨씬 작은 곳에서는 사상의 도함수가 지수적으로 작아 기울기와 그 잡음을 모두 축소시킨다. 이 영역을 어깨(shoulder)라 부르며, 여기에 도달한 가중치는 거의 움직이지 않고 지수적으로 긴 시간 동안 머무른다. 본 연구는 자유 잠재 가중치를 학습 가능한 슬랙과, 학습 배치의 순열 불변 요약을 입력받는 하이퍼네트워크의 출력의 합으로 대체하는 리프트(lift)를 제안한다. 그러면 잠재 가중치가 기울기를 구성하는 바로 그 배치에 따라 변하므로 둘이 결합된다. 이러한 결합이 갱신의 분산에 1차로 한 항을 더함을 보이고, 슬랙, 배치 의존성, 공유 배치가 각각 이를 위해 필요함을 보인다. 결합이 손실 곡률과 양의 방향으로 정렬되는 경우, 어깨에 놓인 가중치는 전조건화 확률적 경사 하강법에서도 직접 소프트플러스보다 리프트에서 손실의 장벽을 더 빨리 넘는다. 여러 응용에서 리프트를 기존 두 방법과 비교한다. 직접 소프트플러스의 제약 가중치가 어깨에 도달하는 경우, 리프트는 직접 소프트플러스보다 목표를 더 가깝게 적합하며 같은 재구성 수준에 약 세 배 빨리 도달한다. 거의 어떤 가중치도 어깨에 도달하지 않는 경우에는 방법들이 서로 일치한다.
보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?
When are bosonic Gaussian states classical to learn?
물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.