PyTorchKR Papers

최신 논문

총 221편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.02190v3stat.ML

확률 측도의 PCA: 희소 및 조밀 표본추출 영역

PCA of probability measures: Sparse and Dense sampling regimes

확률 측도에 대해 PCA를 수행하는 일반적인 접근법은 이를 표준 함수형 PCA 기법을 적용할 수 있는 힐베르트 공간에 임베딩하는 것이다. 하나의 측도의 임베딩을 $m$개의 표본으로부터 추정할 때의 수렴 속도는 잘 알려져 있으나, 여러 측도를 다루는 설정은 기존 문헌에서 다루어지지 않았다. 본 논문에서는 $n$개의 확률 측도가 관측되고 각각이 $m$개의 표본을 통해 관측되는 이중 점근 영역에서 PCA를 연구한다. 우리는 경험적 공분산 연산자와 PCA 초과 위험에 대해 $n^{-1/2} + m^{-\alpha}$ 형태의 수렴 속도를 유도하며, 여기서 $\alpha>0$은 선택한 임베딩에 따라 달라진다. 이는 측도의 개수 $n$과 측도당 표본 수 $m$ 사이의 관계를 규명하며, 수렴 거동에서 희소(작은 $m$)에서 조밀(큰 $m$)로의 전이가 나타남을 보여준다. 더 나아가, 조밀 영역의 속도가 경험적 공분산 오차에 대해 미니맥스 최적임을 증명한다. 수치 실험은 이러한 이론적 속도를 검증하고, 적절한 부표본추출이 계산 비용을 줄이면서도 PCA 정확도를 보존함을 보여준다.

arXiv:2606.17413v3cs.LG

라플라스 근사와 정규화 흐름을 활용한 심층 학습을 통한 OCO-2 스펙트럼에서의 대기 CO2 상각 확률적 검색

Amortized Probabilistic Retrieval of Atmospheric CO2 from OCO-2 Spectra Using Deep Learning with Laplace Approximations and Normalizing Flows

대기 중 이산화탄소(CO$_2$)의 우주 기반 관측은 전 지구 탄소 수지를 제약한다. NASA의 궤도 탄소 관측위성 2호(OCO-2)는 고해상도 스펙트럼으로부터 CO$_2$의 칼럼 평균 건조 공기 몰분율(XCO$_2$)을 추정하지만, 운용 중인 반演 방법은 계산 비용이 크고 반演된 사후분포에 엄격한 가우시안성 가정을 부과한다. 우리는 상각된 확률적 추론을 통해 이 두 문제를 모두 해결하는 딥러닝 프레임워크를 제시한다. 실제 관측에 대한 참값이 없으므로, 보정된 순방향 모형 오차를 갖는 고충실도 OCO-2 시뮬레이션 앙상블에서 학습하고 평가하며, 동일한 복사휘도에 대해 편향 보정을 적용하지 않은 버전 10 운용 완전 물리 반演과 비교한다. 우리의 아키텍처는 각 스펙트럼 대역을 별도로 인코딩하고, Laplace 근사와 조건부 정규화 흐름을 사용하여 전체 CO$_2$ 칼럼 또는 그 요약량의 사후분포를 추정한다. 일단 학습되면 추론 비용은 관측 한 건당 분 단위가 아니라 밀리초 단위이다. 순방향 모형 불일치를 명시적으로 포함하는 시뮬레이션으로 학습한 우리의 반演은 우리가 고려한 두 데이터 분할 모두에서 XCO$_2$에 대해 운용 반演보다 더 정확하며, 프로파일에서는 경쟁력이 있다. 흐름 모형은 가우시안이 표현할 수 없는 비대칭 사후분포를 표현하며, 이 이득은 규모가 아니라 형태에 기인하고, 예측 밀도에서의 이점은 정확도 이점이 사라진 곳에서도 지속된다. 이러한 결과는 육지 전용 앙상블에서 운용 알고리즘의 한 가지 구성에 대해 확립된 것이다. 보류된 기준 관측과 보지 못한 두 달에서도 XCO$_2$와 밀도의 이점이 지속된다. XCO$_2$의 경우 2월 데이터에서 커버리지가 명목값에 가까우며, 보지 못한 달들에서는 명목값에 미치지 못하지만 운용 반演의 경우보다 훨씬 더 명목값에 가깝다.

arXiv:2604.08116v3cs.CE

에너지 기반 모델을 위한 대조 학습, 중요도 샘플링, 브리지 샘플링의 통합적 관점

A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models

지난 수십 년간 에너지 기반 모델(EBM)은 가능도의 한 구성 요소가 다루기 어려워 명시적으로 평가할 수 없는 확률 모델의 중요한 부류가 되었다. 따라서 EBM의 모수 추정은 기존 추론 방법으로는 어려운 과제이다. 본 연구는 이러한 다양한 방법론적 기여를 하나의 통합된 틀 안에 모은 리뷰 논문으로, EBM의 맥락에서 잡음 대조 추정(NCE), 역 로지스틱 회귀(RLR), Bennett의 수락비(BAR) 방법, 다중 중요도 샘플링(MIS), 브리지 샘플링 간의 연결을 강조한다. 이 중 일부는 특정 조건에서 서로 동등하다. 이러한 통합적 관점은 기존 방법들 간의 관계를 명확히 하고 새로운 추정량의 개발을 가능하게 하며, 통계적 및 계산적 효율성을 개선할 잠재력을 가진다. 더 나아가 본 연구는 NCE의 유연성과 강건성 측면에서의 성공을 설명하는 데 도움을 주는 동시에, 그 성능을 더 개선할 수 있는 상황도 식별한다. 우리의 목표는 명확하고 간결한 유도를 통해 이러한 기여를 공통의 틀 안에 모으고 주요 결과와 그 기저의 아이디어를 더 넓은 독자층이 이해할 수 있도록 하는, 자기완결적이고 접근하기 쉬운 서술을 제공하는 것이다. 기여는 두 가지이다. 첫째, 본 연구는 이 분야에 입문하는 연구자들을 위해 기본 개념과 유도를 소개하는 포괄적인 튜토리얼 역할을 한다. 둘째, 숙련된 실무자들에게 철저한 리뷰를 제공한다. 수치 실험에 사용된 코드는 결과의 재현성을 지원하기 위해 공개되어 있다.

arXiv:2609.26705v2quant-ph

보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?

When are bosonic Gaussian states classical to learn?

물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.

arXiv:2605.24274v3cs.LG

입력 볼록 신경망 학습을 위한 리프트

A lift for input-convex neural net training

입력 볼록 신경망은 밀도 모델과 수송 사상의 볼록 포텐셜을 매개변수화하며, 그 볼록성을 위해서는 계층 간 가중치가 비음수여야 한다. 투영 경사 하강법은 매 단계 후 투영을 수행하여 이를 강제하는데, 미니배치 잡음 때문에 경계를 무한히 반복해서 넘나들게 되어 투영이 식별하지 못하는 활성 집합이 발생한다. 미분 가능한 대안인 직접 소프트플러스는 소프트플러스 양수화 사상을 통해 자유 잠재 가중치를 최적화한다. 해당 잠재 가중치가 0보다 훨씬 작은 곳에서는 사상의 도함수가 지수적으로 작아 기울기와 그 잡음을 모두 축소시킨다. 이 영역을 어깨(shoulder)라 부르며, 여기에 도달한 가중치는 거의 움직이지 않고 지수적으로 긴 시간 동안 머무른다. 본 연구는 자유 잠재 가중치를 학습 가능한 슬랙과, 학습 배치의 순열 불변 요약을 입력받는 하이퍼네트워크의 출력의 합으로 대체하는 리프트(lift)를 제안한다. 그러면 잠재 가중치가 기울기를 구성하는 바로 그 배치에 따라 변하므로 둘이 결합된다. 이러한 결합이 갱신의 분산에 1차로 한 항을 더함을 보이고, 슬랙, 배치 의존성, 공유 배치가 각각 이를 위해 필요함을 보인다. 결합이 손실 곡률과 양의 방향으로 정렬되는 경우, 어깨에 놓인 가중치는 전조건화 확률적 경사 하강법에서도 직접 소프트플러스보다 리프트에서 손실의 장벽을 더 빨리 넘는다. 여러 응용에서 리프트를 기존 두 방법과 비교한다. 직접 소프트플러스의 제약 가중치가 어깨에 도달하는 경우, 리프트는 직접 소프트플러스보다 목표를 더 가깝게 적합하며 같은 재구성 수준에 약 세 배 빨리 도달한다. 거의 어떤 가중치도 어깨에 도달하지 않는 경우에는 방법들이 서로 일치한다.

arXiv:2607.06089v2math.ST

타원형 마할라노비스 판별 분석을 위한 폐형식 분수 방사형 링크

Closed-form fractional radial links for elliptical Mahalanobis discriminant analysis

우리는 두 클래스가 공유된 반경 생성자 $g$를 갖는 타원형 분포일 때의 이진 분류를 연구한다. 이때 로그 우도비는 두 제곱 마할라노비스 반경의 가법 함수이며, 반경 링크는 $\varphi=\log g$이다. 가우시안 클래스에서는 $\varphi$가 아핀이며 규칙은 이차 판별분석(QDA)으로 환원되고, 그렇지 않으면 베이즈 링크는 항등이 아니다. 이 링크를 스플라인 평활기로 적합하는 대신, 우리는 반경의 클래스 내 분포로부터 그 족을 유도하고 유한 분수 거듭제곱 사영을 추정한다. 반경 분포로부터 링크가 식별 가능하며, 플러그인 추정량이 유한 적률 조건에서 $\sqrt{n}$-일치성과 점근 정규성을 가지고, 유도된 분류기가 반복된 시브(sieve) 극한에서 점근적으로 베이즈 최적임을 증명한다. $d\ge2$이고 비중첩 클래스 모수인 경우, 항등 링크는 아핀(가우시안) 생성자에서만 충분하다. 이 브리지, GAM 소속, 그리고 이 이분법의 아핀 방향은 Lean 4에서 검증되었다. 우리는 Ghosh et al. (2025)의 전역 마할라노비스-GAM을 동일한 입력 예산으로 mgcv REML 스플라인을 사용해 재구현하여 비교한다. 두 UCI 벤치마크에서 유도된 링크는 적합된 GAM과 대등하다. 세 자산군의 금융 시계열 여섯 개에서, 시간 의존성을 존중하는 검증을 사용하면 적합된 GAM보다 유의하게 나쁜 경우가 없으며, CAD/USD에서는 더 낫고 나머지 다섯 개에서는 대등하다. 꼬리가 가장 두꺼운 세 시계열(원유 $[+0.023,+0.069]$, S&P 500 $[+0.039,+0.125]$, JPY/USD $[+0.009,+0.047]$)에서는 QDA를 능가하고 나머지에서는 대등하다. 닫힌 형태의 기준값을 갖는 속도 시뮬레이션은 $\sqrt{n}$ 속도를 재현하며, 공분산 이질성 하에서 QDA의 위험 하한과 유도된 링크의 소멸하는 초과 위험을 대비하여 보여 준다. 따라서 유도된 링크는 평활 모수 선택 없이도 조정된 GAM에 필적하며, 생성자가 가우시안에서 벗어나는 경우 QDA를 개선한다.

arXiv:2606.06179v3stat.ML

확산 모델은 그래디언트만 관측한다: 스코어 매칭 오류에 대한 기하학적 관점

Diffusion Models Observe Only Gradients: A Geometric Perspective on Score Matching Errors

스코어 기반 확산 모델은 일반적으로 $L^2$ 스코어 매칭 오차를 최소화하여 학습되며, 표준적인 이론적 분석은 이 양에 의존하여 학습된 분포와 목표 분포 사이의 샘플링 불일치를 유계화한다. 최근 연구는 스코어가 기울기 성분과 솔레노이드 성분으로 직교 분해되며, 정확한 샘플링에서는 기울기 부분만 중요함을 보였다. 우리는 이 분해를 학습된 모델의 스코어 오차에 적용하고 그 정량적 귀결을 연구한다. 오차의 기울기 성분만이 주변 Fokker-Planck 동역학에 들어가므로, 모델은 목표를 완벽히 맞추면서도 임의로 큰 $L^2$ 스코어 오차를 가질 수 있다. 이 관찰에서 출발하여 세 가지 결과를 제시한다. 첫째, 오차의 관측 가능한 기울기 성분에만 의존하는 Kullback-Leibler 발산의 상계를 유도한다. 이는 일반적인 스코어 네트워크에 대한 표준 Girsanov 상계를 더 타이트하게 하며, 그 상계의 느슨함이 주변 공간이 아닌 경로 공간 동역학을 다루는 데 따른 대가임을 밝힌다. 둘째, $L^2$ 스코어 오차의 어떠한 비자명한 함수도 학습된 분포와 목표 분포 사이의 어떠한 발산에 대해서도 균일하게 하한이 될 수 없음을 증명한다. 셋째, 이중 Sobolev 항등식을 통해 노이즈 제거 스코어 매칭 잔차로부터 계산할 수 있는 기울기 성분의 추정량을 제시하며, 이는 경험적으로 전체 $L^2$ 오차보다 샘플 품질과 훨씬 더 잘 상관된다.

arXiv:2606.29110v2cs.LG

확장 가능한 가능도 흐름 맵을 통한 소수 단계 볼츠만 생성기

Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps

흐름 기반 생성 모델에서 가능도(likelihood) 추정 시 발생하는 높은 분산 문제를 해결하기 위해, 허친슨 추정기(Hutchinson's trace estimator) 없이 벡터화된 형태로 학습 가능한 가능도 증류(distillation) 목적 함수 SCALLOP을 제안한다. SCALLOP은 F2D2 대비 학습 분산을 최대 100배 줄이고 수렴 속도를 높이며, 분자 과학의 볼츠만 생성기(Boltzmann generator) 및 이미지 도메인에서 최신 기준선 대비 최대 10배의 추론 속도 향상을 달성한다.

arXiv:2609.27976v2stat.ML

연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계

Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity

Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.

arXiv:2607.20585v2quant-ph

밀도 행렬 임베딩 프레임워크 내 양자 선택 구성 상호작용을 위한 기계학습 기반 컴팩트 부분공간 생성

Machine-Learned Compact Subspace Generation for Quantum Selected Configuration Interaction within Density Matrix Embedding Framework

양자 선택 배치 상호작용(QSCI)의 확장인 샘플 기반 양자 대각화(SQD)는 분자 바닥 상태 에너지를 위한 유망한 하이브리드 양자-고전 패러다임이다. QSCI는 변분 최적화를 양자 샘플링으로 대체함으로써 불모의 고원(barren plateau)을 피하고 상관된 파동함수를 직접 재구성한다. 그러나 기존의 배치 복원은 물리적으로 가장 관련 있는 배치를 겨냥하지 않고 주로 대칭성 제약만을 부과하여, 과도하게 큰 부분공간과 비용이 큰 고전적 대각화를 초래하는 경우가 많다. 우리는 제한 볼츠만 머신(RBM)에 기반한 조밀한 부분공간 생성 프로토콜인 QSCI-RBM을 도입하고 이를 밀도 행렬 임베딩 이론(DMET)에 통합한다. RBM은 하드웨어 샘플로부터 지배적인 행렬식의 분포를 학습하여 확률이 높은 배치를 생성한다. 샘플링은 CH$_5$NO에는 IBM Heron R1(\texttt{ibm\_torino}), C$_2$H$_4$에는 R2(\texttt{ibm\_fez}), 더 큰 H$_2$O 벤치마크와 단백질-리간드 시스템에는 R3(\texttt{ibm\_boston})에서 수행되었다. 활성 공간 크기가 증가하는 이들 벤치마크에서 검증한 후, 열 개의 DMET 불순물로 분할된 SARS-CoV-2 주 단백질분해효소(M\textsuperscript{pro})에 결합한 억제제 Carmofur를 시뮬레이션한다. DMET-QSCI-RBM과 DMET-SQD 기준선 모두 네 번의 $\mu$ 반복 이내에 화학 퍼텐셜 자기일관성에 도달한다. 수렴된 화학 퍼텐셜에서 DMET-QSCI-RBM은 대칭성을 보존하는 배치 공간의 평균 $0.22\%$만 사용하면서 DMET-FCI와 $0.05\,\mathrm{mHa}$ 이내로 일치하는 반면, DMET-SQD는 $33.0\%$에서 $0.55\,\mathrm{mHa}$로, 약 153배의 부분공간 감소로 이어진다. 따라서 RBM 보조 확장은 동등하거나 더 나은 정확도에서 훨씬 더 조밀한 하드웨어 유래 행렬식 공간을 제공하며, 실제 하드웨어에서 생물학적 시스템의 확장 가능한 양자 임베딩을 위한 고전적 부담을 줄인다.

arXiv:2605.07746v3stat.ML

계수 데이터를 위한 플로우 매칭

Flow Matching for Count Data

고차원 계수(count) 데이터는 단일세포 RNA 시퀀싱(single-cell RNA sequencing) 및 신경 스파이크 트레인(neural spike trains)과 같은 응용에서 나타나며, 연속적인 배치 또는 시점에 걸친 분포 간 매핑은 데이터 분석의 핵심 구성 요소를 이룬다. 이미지, 동영상, 텍스트에 대한 확산(diffusion) 및 플로우 기반 심층 생성 모델의 최근 성공은 이러한 아이디어를 계수 값 설정으로 확장할 동기를 주지만, 기존 방법의 다수는 각 계수를 범주형 상태로 취급하거나 계수를 연속 공간으로 변환하는데, 계수 범위가 클 때 이 둘 모두 자연스럽거나 효율적이지 않다. 우리는 국소 단위 점프를 갖는 연속 시간 출생-사망(birth-death) 과정에 기반한 계수 데이터용 플로우 매칭 프레임워크인 count-FM을 제안한다. count-FM은 조건부 전이율의 시뮬레이션 없는(simulation-free) 학습을 통해 계수 공간에서 주변 전이를 효율적으로 학습하여, 임의의 계수 분포를 따르는 소스 및 타깃 모집단 간 수송(transport)을 가능하게 한다. 시뮬레이션에서 count-FM 변형들은 훨씬 적은 파라미터를 사용하면서도 강한 샘플 품질을 달성한다. 또한 우리는 무조건 생성, 수송, 조건부 생성을 위해 count-FM을 scRNA-seq 및 신경 스파이크 트레인 데이터에 적용한다. 이러한 과제 전반에 걸쳐 count-FM은 향상된 샘플 품질, 더 큰 모델링 효율, 해석 가능한 수송 경로를 제공한다.

arXiv:2607.03487v2cs.LG

상호 정보량 추정을 위한 다양하고 포괄적인 벤치마크를 향하여

Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation

상호정보량 추정은 기계학습과 통계학의 핵심 문제이지만, 기존 벤치마크는 대개 단순화된 저차원 분포에서 추정기를 평가하므로 복잡하고 현실적인 데이터에서의 성능은 대체로 탐구되지 않았다. 우리는 기존 벤치마크를 특수한 경우로 포괄하는 통합 코퓰러 이론적 관점에 기반한 종합 벤치마킹 프레임워크로 이 간극을 해소한다. 이 프레임워크 안에서 두 가지 상보적인 테스트 계열을 제안한다. 하나는 합성 변환과 플로 기반 변환을 사용하여 정답 상호정보량, 차원, 주변분포 복잡도를 체계적으로 변화시키는 코퓰러 우선 계열이고, 다른 하나는 실제 이미지 데이터를 통제된 의존 구조와 결합하여 고전적인 동일 클래스 짝짓기 패러다임을 확장한 주변분포 우선 계열이다. 이 모음을 사용하여 비모수, 변분, 생성의 세 가지 추정기 부류를 폭넓게 평가한다. 통념과 달리 결과는 보편적인 승자가 없음을 보여주며, 각 범주는 특정 설정에서 다른 모든 추정기를 체계적으로 능가할 수 있다. 이러한 사례를 분석하여 근본적인 추정 장벽을 규명하고, 이러한 특정 한계를 더 효과적으로 시험하는 새로운 테스트를 제안한다. 오픈소스 코드는 https://github.com/VanessB/mutinfo 에서 공유한다.

arXiv:2610.02260v2cs.AI

MintFlow: 제약 조건 기반 플로우 매칭을 위한 최소 궤적 개입

MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching

플로우 매칭(Flow matching) 모델은 생성 모델링에서 뛰어난 성능을 보이며, 수많은 다운스트림 응용 분야에서는 생성된 샘플이 관측된 측정값이나 물리 법칙과 같은 규정된 제약 조건을 만족하도록 요구합니다. 그러나 기존의 제약 조건 기반 샘플러는 흔히 상충 관계(trade-off)에 직면합니다. 즉, 제약 조건을 강제하면 사전학습된 데이터 분포로부터 샘플이 크게 벗어날 수 있습니다. 이러한 상충 관계를 해결하기 위해, 본 논문에서는 사전학습된 플로우 궤적에 대한 최소한의 개입으로 제약 조건 강제를 공식화하는 학습 불필요(training-free) 제약 조건 기반 샘플링 프레임워크인 MintFlow를 제안합니다. MintFlow는 사전학습된 플로우 필드 하에서 이후의 상태 변화가 목표 제약 조건을 만족하도록 중간 플로우 상태의 최소 섭동(perturbation)을 탐색합니다. 사전학습된 플로우 필드를 변경하지 않고 유지하면서 플로우 상태를 최소한으로 섭동시킴으로써, MintFlow는 사전학습된 분포로부터의 불필요한 이탈을 최소화하면서 제약 조건을 강제합니다. 또한 수반 공식화(adjoint formulation)를 통해 이 섭동에 대한 닫힌 형식 표현(closed-form expression)을 도출하여 비용이 많이 드는 반복적 최적화를 배제합니다. 나아가 MintFlow는 필요한 섭동 크기와 잔여 플로우에 의한 증폭 사이의 균형을 맞추기 위해 개입 시점을 적응적으로 선택합니다. 생성형 비전 및 물리 시스템 모델링의 다양한 태스크 전반에 걸쳐, MintFlow는 경쟁력 있는 수준으로 제약 조건을 만족하는 동시에 최신 제약 조건 기반 기법들보다 사전학습된 생성 분포를 훨씬 더 잘 보존합니다.

arXiv:2610.15892v1stat.ML

다중 매니폴드 클러스터링을 위한 미니맥스 비율과 개선된 스펙트럴 수렴

Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering

본 연구는 매니폴드들이 서로 교차할 수 있는 다중 매니폴드 혼합 분포(multi-manifold mixture distribution)로부터 독립적으로 추출된 $n$개의 데이터 점을 이용하여, 텐서화된(tensorized) 밀도 가중(density-weighted) 라플라스-벨트라미(Laplace-Beltrami) 연산자의 고유쌍(eigenpair) 추정 문제를 다룬다. $d$를 매니폴드 구성 요소들 중 가장 큰 고유 차원(intrinsic dimension)으로, $s\geq2$를 샘플링 밀도의 평활성(smoothness)으로 정의한다. 단순(simple)하고 자명하지 않은(nontrivial) 고유쌍에 대해, 텐서화된 라플라스-벨트라미 연산자의 고유값과 고유함수를 근사하는 미니맥스 비율(minimax rate) $n^{-s/(d+2s)}$를 수립하고, 지지 매니폴드(supporting manifold)가 알려져 있을 때 커널 밀도 추정(kernel density estimation)에 기반한 연속체 플러그인(plug-in) 추정량이 동일한 비율을 달성함을 보인다. 더 나아가 매니폴드에 구애받지 않는(manifold-agnostic) 그래프 라플라시안(graph Laplacian) 추정량을 분석하여, 그 고유쌍이 로그 인자(logarithmic factor)를 제외하고 비율 $n^{-1/(2.5d-1)}$로 텐서화된 라플라스-벨트라미 연산자의 고유쌍에 수렴함을 증명하며, 이는 다중 매니폴드 학습(multi-manifold learning)에 대해 기존에 알려진 스펙트럴 수렴 비율을 개선한 것이다. 합성 다중 매니폴드 데이터에 대한 수치 실험은 본 정리들이 보장하는 비율을 뒷받침한다. 이러한 결과들은 다중 매니폴드 스펙트럴 추정의 정보 이론적 난이도를 규명하며, 오라클(oracle) 구성 요소 정보 없이 학습할 때 발생하는 추가적인 비용을 정량화한다.

arXiv:2610.13851v1stat.ML

완전 이산 조건부 확산 모델에 대한 유한 표본 보장

Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models

본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.

arXiv:2610.13557v1cs.LG

AIS 데이터를 활용한 트랜스포머 모델 기반 확률적 선박 궤적 예측

Probabilistic Ship Trajectory Forecasting using Transformer Models on AIS Data

선박 궤적 예측은 해상 항해 시 필수적인 작업입니다. 이는 인간 항해사와 무인 수상정(autonomous surface vessel) 모두에 적용됩니다. 궤적 예측을 통해 충돌 회피와 같은 서브루틴이 상황을 파악하고 제때 적절히 대응할 수 있습니다. 본 논문에서는 협수로에서 수상정의 궤적 예측을 위한 트랜스포머(Transformer) 및 퍼포머(Performer) 모델을 연구합니다. 널리 활용되는 선박 자동 식별 장치(AIS)의 위치 데이터를 사용하여 후보 모델들을 학습(training)하고 평가(evaluation)합니다. 각 에이전트(agent) 주변 국소 영역에서 다른 선박들이 어떻게 이동했는지에 대한 과거 정보는 위치 히트맵을 통해 전달됩니다. 이 히트맵은 커널 밀도 추정(KDE)을 사용하여 생성되며, 트랜스포머 모델에 입력되기 전에 합성곱 신경망(CNN)으로 인코딩됩니다. 시의적절한 충돌 회피에 결정적인 모델 인식 예측 구간(prediction interval)을 효율적으로 도출하기 위해 모델은 분위수 손실(quantile loss)로 학습됩니다. 제안된 모델 구조는 이전 연구보다 크게 뛰어난 성능을 보이는 것으로 나타났으며, 국소 히트맵을 포함함으로써 이전 위치 정보만으로는 알 수 없는 선박의 움직임을 예측할 수 있게 됩니다.

arXiv:2610.13397v1stat.ML

모델 프리 베이지안 클러스터링 및 다봉 사후분포 요약

Model-free Bayesian Clustering and Multimodal Posterior Summarisation

본 논문에서는 예측 베이지안(predictive Bayesian) 관점에서 클러스터링에 대한 마팅게일 사후분포(martingale posterior)를 구성하는 모델 프리(model-free) 노이즈 인식 베이지안 클러스터링 프레임워크를 개발합니다. 이 방법은 명시적인 가능도(likelihood)-사전분포 모델 명시, 비용이 큰 MCMC 샘플링, 모드 탐색적 변분 근사를 피하는 동시에 불규칙한 클러스터 형태를 수용하고 사후분포 표본의 병렬 생성을 가능하게 합니다. 고차원 노이즈 인식 클러스터링에 대한 사후분포를 해석하기 위해 와서스테인(Wasserstein) 유형의 요약 방법을 도입합니다. 새로운 노이즈 인식 손실(loss)을 활용하여 대규모 사후분포 표본 집합을 소수의 가중치 기반 대표 집합으로 압축함으로써 서로 다른 클러스터 구조와 노이즈 할당을 포착합니다. 또한 밀도 수준의 불확실성을 주변화(marginalize)하여 특정 선택에 의존하지 않도록 합니다. 제안된 손실의 이론적 성질과 수준 주변화 사후분포 근사에 대한 보장을 규명합니다. 실험 결과는 클러스터링 및 노이즈 불확실성을 포착하는 데 있어 본 프레임워크의 효과성을 입증합니다.

arXiv:2610.10875v1cs.LG

Barron 최적 수송 I: 생성 모델링

Barron Optimal Transport I: Generative Modeling

생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.

arXiv:2610.10807v1cs.LG

정규화되지 않은 분포를 위한 기호 밀도 추정기

Symbolic Density Estimators for Unnormalized Distributions

관측된 표본으로부터 확률 밀도 함수(PDF)의 기호적(symbolic) 또는 해석적(analytical) 형태를 추정하는 것은 통계 및 계산 모델링의 근본적인 과제입니다. 이 과정은 기저 현상을 특징짓는 해석 가능하고 일반화 가능한 관계를 도출하는 데 매우 중요합니다. 전통적으로 이러한 추정은 도메인 전문성과 분야별 사전 지식에 크게 의존해 왔으며, 전문가들은 경험적 증거와 이론적 이해를 바탕으로 적절한 함수 형태나 매개변수 집합(parametric families)을 선택합니다. 그 후 이러한 형태의 계수는 일반적으로 매개변수 추정을 통해 결정됩니다. 본 논문에서는 상호작용의 범위 및 미리 정의된 기본 함수 집합과 같은 도메인 특화 사전 지식을 활용하여, 관측된 표본으로부터 정규화되지 않은 분포의 기호 표현식을 추정하는 프레임워크를 개발합니다. 본 연구는 딥 생성 모델(deep generative models)을 기호 회귀(SR)와 통합하고, 대규모 분포 인수분해와 같은 귀납적 편향(inductive bias)을 결합하여 문제를 다루기 쉬운 수준으로 유지합니다. 본 논문에서 살펴보는 딥 생성 모델에는 가능도 기반 모델(즉, 흐름 모델)과 점수 기반 모델이 포함됩니다. 실험을 통해 제안된 프레임워크가 다변량 토이 분포뿐만 아니라 계산 물리학의 격자계(즉, XY 모델 및 $φ^4$ 이론)에 대한 밀도 함수를 추정하는 데 효과적임을 보여줍니다. $φ^4$ 이론의 재규격화 문제에 적용했을 때, 제안된 프레임워크는 표본으로부터 직접 서로 다른 스케일에서의 해밀토니안 함수에 대한 간결한 기호 근사를 추정하여, 비섭동적(nonperturbative) 환경에서 전통적인 섭동론적 또는 해석적 접근법으로는 도출하기 어려울 수 있는 표현식을 산출합니다.

arXiv:2610.10396v2cs.CV

가우시안 밀도 스플래팅 네트워크

Gaussian Density Splatting Network

본 논문에서는 새로운 군중 계수(crowd counting) 접근 방식인 가우시안 밀도 스플래팅 네트워크(Gaussian Density Splatting Network, GDSNet)를 제안합니다. 기존의 격자 기반 밀도 맵에 의존하여 공간 해상도에 민감한 방법들과 달리, GDSNet은 군중을 연속적인 2D 가우시안 프리미티브(Gaussian primitives)의 중첩으로 표현합니다. 제안하는 접근 방식은 두 가지 핵심 기여를 기반으로 구축되었습니다. 첫째, 가우시안 파라미터 예측을 구조화하기 위해 제어점(control-point) 기반 피팅 메커니즘을 도입합니다. 제어점 세트는 국소 영역을 정의하도록 적응형으로 할당되며, 각 프리미티브의 파라미터를 회귀하기 위해 해당 영역에서 특징을 풀링합니다. 둘째, 각 프리미티브를 기하학적 파라미터와 스칼라 밀도 질량(density mass)으로 매개변수화하여 미분 가능한 가우시안 스플래팅 프레임워크를 계수 태스크에 맞게 조정합니다. 이러한 정식화를 통해 미분 가능하게 렌더링된 밀도 맵의 공간 매칭을 거쳐 네트워크를 엔드투엔드로 학습(training)할 수 있으며, 국소 밀도 지도(supervision)와 전역 계수 최적화(optimization)를 자연스럽게 모두 제공합니다. 4개의 표준 벤치마크(benchmark)에 대한 광범위한 평가(evaluation)에서 GDSNet은 기존 최고 수준(state-of-the-art)의 성능을 일관되게 능가함을 보여줍니다. 코드는 https://github.com/infinite0522/GDSNet-Gaussian-Density-Splatting-Network 에서 확인할 수 있습니다.