PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.21158v1stat.CO

상호 정보량을 통한 시뮬레이션 기반 추론의 요약 충분성

Summary Sufficiency in Simulation-Based Inference via Mutual Information

시뮬레이션 기반 추론(SBI)은 우도를 다루기 어렵지만 모델로부터 데이터를 시뮬레이션할 수 있을 때 사후분포 추정을 가능하게 한다. 고차원 또는 가변 길이 데이터의 경우 SBI 방법은 일반적으로 사후분포 추정의 조건 입력으로 저차원 요약 통계량에 의존하므로, 그 충분성이 정확한 추론에 매우 중요하다. 상호 정보량(MI)은 요약이 얼마나 많은 매개변수 정보를 보존하는지를 정량화하여 충분성을 정보 이론적으로 자연스럽게 특성화한다. 그러나 이러한 MI 양은 우도 없는 설정에서 일반적으로 다루기 어렵다. Sui 등(2026)은 학습된 신경 사후분포로부터 Barber–Agakov(BA) 하한을 이용해 MI를 추정하며, 피셔 정보 상한은 논의하되 계산하지는 않는다. 이로 인해 추정이 모호해지는데, 작은 하한은 불충분한 요약을 의미할 수도 있고 부정확한 밀도 추정기를 의미할 수도 있기 때문이다. 우리는 BA 간극을 추정하고 두 한계 사이의 차이가 실제로 무엇을 측정했는지 드러내는 다루기 쉬운 진단 방법으로 이 한계를 해결한다. 그 결과로 얻은 충분성 지표를 관측값 중심의 제한된 데이터 공간으로 확장하여, 목표 사후분포를 보존하면서 시뮬레이션이 데이터의 근방에 집중하도록 하고 요약 간 유효한 충분성 비교를 가능하게 한다. 가변 길이 지진 카탈로그에 대해 학습된 요약 통계량과 수작업 요약 통계량을 비교함으로써, 시간적 전염병형 여진 열(ETAS) 모델에서 이 진단 도구의 사용을 보여준다.

arXiv:2611.21391v1math.ST

비모수 도구 커널 회귀: 일반 연결 조건 하에서의 올바르게 지정된 경우와 잘못 지정된 경우

Nonparametric Instrumental Kernel Regression: The Well- and Misspecified Setting Under General Link Conditions

결과가 분리 가능한 힐베르트 공간 $\mathbb{Y}$의 값을 가지는 경우(예: 곡선, 밀도, 또는 분포의 커널 평균 임베딩)의 비모수 도구변수 회귀를 연구한다. 구조 함수는 비적정 연산자 방정식의 해이며, 그 조건부 기댓값 연산자는 단사일 필요가 없고 해가 가설 공간에 속할 필요도 없다. 커널 도구변수 회귀를 $\mathbb{Y}$ 값 결과로 확장하고 두 단계 모두에서 스펙트럼 정칙화를 허용하는 2단계 커널 추정량을 분석하며, 여기에는 2단계에서의 랜드웨버 반복과 쇼월터 방법이 포함된다. 2단계가 커널 적분 연산자의 역에 의해 생성되는 힐베르트 척도에서의 정칙화 방법임을 보인다. 이러한 관점은 추정량이 수렴하는 해를 규명해 준다. 올바르게 지정된 경우에는 재생 커널 힐베르트 공간에서의 최소 노름 해이고, 잘못 지정된 경우에는 올바르게 지정된 설정에 대응하는 사영 연산자의 연속 확장의 치역에 속하는 유일한 해이다. 일반 지표 함수로 표현되는 소스 조건과 연결 조건 하에서, 식별 여부와 관계없이, 올바르게 지정된 설정과 잘못 지정된 설정 모두에서, 1단계 오차에 대해 높은 확률로 성립하는 보간 노름 척도의 비점근적 경계를 도출한다. 다항식 연결 조건에서는 스칼라 커널 도구 회귀의 수렴률을 회복하고 이를 가설 공간 밖의 목표로 확장하며, 지수 연결 조건에서는 심하게 비적정인 영역에서 로그 수렴률을 얻는다.

arXiv:2611.21305v1math.PR

도브루신 수축과 가속 해밀토니안 몬테카를로를 통한 고확률 균일 혼합

High-probability Uniform Mixing via Dobrushin Contraction and Accelerated Hamiltonian Monte Carlo

해밀토니안 몬테카를로는 고안되어 널리 사용되기 시작한 이래, 조건수와 차원에 대한 의존성 모두에서 확산 기반 방법보다 평형으로의 수렴을 가속할 수 있다는 점에서 주목받아 왔다. 본 연구에서는 지속적 균일 난수를 갖는 임계 감쇠 Metropolis 보정 운동학적 랑주뱅 방법에 대해 이 두 측면의 가속을 동시에 입증한다. 보다 정확히는, $m$-강볼록, $L$-기울기 립시츠, $L_H$-프로베니우스 헤시안 립시츠 퍼텐셜을 갖는 목표 측도 $\mu(dx)\propto e^{-U(x)}dx$에 대해, 이 방법이 로그 인자를 제외하고 $\mathcal O\bigl((\kappa^{1/2}+L_H^{1/2}m^{-3/4})\,d^{1/4}\bigr)$번의 기울기 평가로 전변동 거리에서 $\varepsilon$ 정확도까지 혼합됨을 보인다. 이는 평형 확률이 높은 영역 안의 시작점에 대해 균일하게, 그리고 웜 스타트에서도 성립한다. 증명은 가속의 각 측면을 따로 보인 Bou-Rabee 및 Chen 등의 선행 연구의 아이디어를 새로운 커플링 기법에 통합한다. 일반 마르코프 연쇄를 위한 이 새로운 커플링 기법은 느린 전역 혼합 속에서 빠른 국소 평형화를 포착하려던 기존 틀을 확장한다. 구체적으로, Hopf의 극대 에르고딕 정리에서 따르는 약-$(1,1)$ 극대 부등식을 통해 평형에 대한 고확률 영역에서의 안정성 메커니즘을 규명한다. 이로써 빠른 국소 혼합이 자연스럽게 나타나는 영역으로의 국소화가 간단해지며, 도브루신 수축, 바serstein 수축, 국소 해리스 정리를 통한 폭넓은 국소 틀에 매끄럽게 부합한다. 본 논문에서는 도브루신 형식화를 전개한다.

arXiv:2611.21254v1math.ST

차원 무관 스펙트럼 법칙과 스펙트럼 필터의 위험

Dimension-free spectral laws and the risk of spectral filters

표본 공분산의 스펙트럼 특성은 고차원 데이터를 다루는 현대 기계학습의 핵심이다. 랜덤 행렬 이론(RMT)은 강력한 도구를 제공하지만, 대부분의 고전적 결과는 $d/n$이 유한한 극한으로 수렴하는 비례 점근을 가정한다. 함수형 데이터 분석과 커널 방법에서는 고정된 무한 차원 힐베르트 공간이 관측값에 더 자연스러운 설정인 경우가 많으며, 이는 비례 점근의 범위를 벗어난다. 이에 따라 대각합 클래스 모집단 공분산 $\Sigma$를 갖는 힐베르트 공간 $\mathcal{H}$의 i.i.d. 관측값 $\boldsymbol{x}_1, \dots, \boldsymbol{x}_n$에 대한 차원 무관 스펙트럼 이론이 필요하다. Cheng과 Montanari(2024)의 차원 무관 릿지 회귀 분석을 토대로, 명시적인 비점근 오차 한계를 갖는 두 가지 결정론적 등가물을 수립한다. 첫째는 표본 그람 행렬의 경험적 스펙트럼 법칙 $\widehat{\mu}_n$을 결정론적 법칙 $\mu_n$으로 근사한다. 둘째는 선형 회귀에서 해석적 스펙트럼 필터의 조건부 예측 위험을 특성화한다. 이 설정에서 예측 위험에 대한 기존의 정밀한 근사는 릿지 회귀와 밀접한 문제에 집중되어 있었다. 본 분석은 벌크 스케일에서 더 넓은 필터 클래스를 다루며, 확인하기 쉬운 명시적 스펙트럼 안정성 조건을 제시한다. 이 이론을 거듭제곱 및 임계 스펙트럼 법칙에 적용하고 비례 영역을 복원한다. 예측에 대해서는 (음의) 릿지 추정량, 반복 릿지, 경사 흐름을 연구한다. 수학적으로는 확률적 보간의 아이디어를 바탕으로 스펙트럼 매개변수를 보간하는 결정론적 역방향 경로를 구성한다. 그 결과 얻은 리졸번트 및 혼합 리졸번트 대각합에 대한 한계는 벌크 내부에서 스펙트럼 법칙의 메조스코픽 근사를 제공하며, 코시 공식을 통해 해석적 스펙트럼 필터의 예측 분산과 제곱 편향에 대한 결정론적 등가물을 제공한다.

arXiv:2611.21542v1math.ST

장기 커버리지 강제의 비용: 온라인 컨포멀 예측에서의 상전이

The cost of enforcing long-run coverage: a phase transition in online conformal prediction

매 시점마다 새로운 특징 벡터가 주어지고, 해당 응답을 포함할 가능성이 높은 예측 구간 또는 예측 집합을 제공해야 하는 온라인 예측 설정을 考える. 이 설정에서 데이터 포인트가 i.i.d.(또는 더 일반적으로 교환 가능)이면, 컨포멀 예측은 임의의 학습된 모델의 출력 주위에 유효한 예측 집합을 구성하는 메커니즘을 제공하여 각 시점 $t$에서 $\geq 1-\alpha$의 커버리지 확률을 보장한다. 그러나 실제로는 분포 드리프트, 변화점 등의 문제로 i.i.d. 가정이 위반될 수 있다. 이러한 적대적 설정에서도 온라인 컨포멀 예측 방법은 장기 경험적 커버리지에 대한 보장을 제공할 수 있다. 하지만 이 두 가지 목표 사이에는 상충 관계가 있다. 적대적 설정에 대비하여 장기 경험적 커버리지에 엄격한 제약을 강제하면, i.i.d. 설정에서 순간적인 학습 조건부 커버리지가 불안정하게 진동할 수 있다. 본 연구에서는 i.i.d. 설정에서는 순간적 학습 조건부 커버리지의 누적 오차를 최소화하면서 적대적 설정에서는 장기 경험적 커버리지 보장도 제공하는, 두 세계의 장점을 모두 갖춘 알고리즘을 추구한다. 구체적으로, 어떤 $\beta\in[0,1]$에 대해 장기 경험적 커버리지가 목표 수준 $1-\alpha$에서 최대 $\mathcal{O}(T^{-\beta})$만큼만 벗어나도록 요구하는 조건을 생각한다. 우리는 이 조건들의 족이 상전이로 기술될 수 있음을 증명한다. $\beta\in[0,\frac{1}{2}]$인 경우, 적대적 설정에서 이러한 제약을 만족하면서도 데이터가 실제로 i.i.d.일 때 분할 컨포멀 예측과 동일한 순간 커버리지 성능을 제공하는 알고리즘을 구성할 수 있다. 반면 $\beta\in(\frac{1}{2},1]$인 경우 이러한 조건은 비용을 수반하며 두 세계의 장점을 모두 갖춘 동작을 달성하지 못한다.

arXiv:2611.21509v1stat.ME

거의 통제됨: 가중 컨포멀 p-값에 대한 Benjamini-Hochberg의 FDR

Almost Controlled: The FDR of Benjamini-Hochberg on Weighted Conformal p-Values

가중 컨포멀 p-값은 컨포멀 추론을 공변량 이동이 있는 경우로 일반화한다. 이를 활용하는 한 가지 방법은 Benjamini-Hochberg(BH) 절차에 입력하여 선택할 검정 단위를 결정하거나 이상치를 탐지하는 것이다. 그러나 가중 컨포멀 p-값은 양의 종속성을 갖지 않을 수 있으므로, BH가 유한 표본에서도 거짓 발견율(FDR)을 여전히 통제하는지 알고자 한다. 실험에 따르면 통제하는 것처럼 보이지만, 우리는 그렇지 않음을 증명한다. FDR이 목표 수준 $q$를 초과하는 두 개의 반례를 정확한 유리수 산술로 검증하여 제시한다. 또한 FDR과 $q$의 차이가 얼마나 클 수 있는지도 규명한다. 보정 점이 $n$개, 검정 단위가 $m$개, 가중치 비가 $B$일 때, 상대 초과분 $\mathrm{FDR}/q-1$은 $n$, $m$, $B$, $q$의 함수로 유계이며, $Bm/(nq)$가 작을 때 그 크기는 $\sqrt{Bm/(nq)}$ 차수이다. 이 유계는 $B\le n$인 모든 구성과 모든 $n$에 대해 성립한다. 이 차수는 여러 비영(non-null) 검정 단위가 공통 임계값을 공유할 때 도달될 수 있다. 푸아송 극한 모형에서 그 구성의 초과분은 $B/n\to0$ 후 $m\to\infty$일 때 1차 근사로 $c(q)\sqrt{Bm/(nq)}$이다. 이러한 구조를 갖는 일부 고정 분포에서는 $n$이 커짐에 따라 초과분이 $n^{-1/2}$ 정도로만 감소한다. 모든 검정 단위가 귀무인 경우 고정된 $m$에서 초과분은 $O(B/n)$이며, 특정 구성에서는 $m$에 선형적으로 증가한다. 실무자가 FDR이 얼마나 클 수 있는지 판단하는 데 도움을 주기 위해, $n$, $m$, $q$, $B$에만 의존하는 이 유계를 유한 표본 통제가 증명된 낮춰진 BH 수준으로 전환하고, 우리가 찾을 수 있었던 모든 최악의 경우를 포괄하지만 보장은 제공하지 않는 훨씬 덜 보수적인 경험칙을 제시한다.

arXiv:2611.20420v1stat.ME

변수 선택 이전의 비상관화: 좌변환과 우변환 및 그 상충 관계

Decorrelation Before Variable Selection: Left and Right Transforms and Their Trade-Off

비상관화에는 두 가지 형태가 있다. 좌변환은 계수를 유지하고 잡음을 변화시키며, 우변환은 잡음을 유지하고 계수를 변화시킨다. 콜레스키 백색화만으로는 참 변수가 앞에 올 때 잡음 변수가 비활성 상태로 유지되며, 계수와 잡음을 모두 보존하는 비상관화는 정보를 잃는다.

arXiv:2611.18542v1stat.ML

타원 샘플링: 가우시안 및 그 너머를 위한 최적 보간 스케줄

Elliptic Sampling: Optimal Interpolant Schedules for Gaussians and Beyond

확률적 보간체에 기반한 생성 모델링은 초기 분포와 목표 분포를 잇는 보간 스케줄, 그리고 그로부터 얻어지는 확률 흐름 ODE의 효율적인 이산화라는 두 가지 핵심 선택을 지정해야 한다. 본 연구는 (복소화된) ODE 궤적의 해석성에 기반한 스케줄/이산화 공동 설계의 새로운 프레임워크를 도입하며, 해석성은 좋은 수치적 거동을 보장한다. 이 정식화는 등각 사상을 통해 정확히 풀 수 있으며, 야코비 타원 함수로 매개변수화되는 분산 보존 타원 스케줄의 자연스러운 족을 제공한다. 타원 스케줄을 맞춤형 이산화와 결합하여, 졸로타레프의 최적 유리 함수 근사와 밀접하게 연관된 새로운 샘플링 알고리즘 Zoloflow를 얻는다. 중요하게도 타원 스케줄과 Zoloflow는 모두 목표 분포의 조건수 $\kappa$를 명시적으로 반영하며, $\kappa \rightarrow 1$의 극한에서 고전적인 삼각 스케줄로 환원된다. 가우시안 목표에 대해 Zoloflow는 모든 무지향(oblivious) 스코어 스팬 알고리즘 중에서 미니맥스 최적성을 달성하며, $\Theta(\log\kappa\,\log(\sqrt d/\varepsilon))$회의 (정확한) 스코어 질의로 총변동 오차 $\varepsilon$을 얻는다. 로그 오목 경우에 대해 타원 스케줄은 단지 $\widetilde{O}(\sqrt{d} \, \mathrm{polylog}(\kappa, 1/\varepsilon))$회의 스코어 평가만으로 최대 $\varepsilon$의 2-바serstein 오차로 샘플링할 수 있게 한다. 이러한 이론적 결과를 보완하기 위해, 합성 벤치마크와 기존 이미지 생성 데이터셋에서 대안 스케줄 제안들과의 상세한 비교를 포함하여, 일반적인(로그 오목이 아닌) 목표 분포에 대해 타원 스케줄을 실험적으로 평가한다.

arXiv:2611.18538v1cs.IT

유한한 지능이 무한한 세계에서 작동하는 이유: 수학적 이론

Why Finite Intelligence Works in an Infinite World: A Mathematical Theory

정보 시스템은 무엇을 질문받을지 알기 전에 학습해야 하는 경우가 많다. 질문들이 임의로 흩어진 무관한 사실을 요구하지 않고 집단적 구조를 공유한다면, 유한한 표현은 무한한 환경을 완전히 기록하지 않고도 성공할 수 있다. 본 논문은 이 현상을 미래 과제 정보, 즉 가용한 증거에 대하여 결정 가치를 보존하는 데 필요한 최소 유지 정보로 정식화한다. 결합 결정-후회 상태는 허용된 모든 과제에 대한 행동 간 사후 비교를 기록한다. 컴팩트성 가정 하에서 유지된 모든 표현은 이 상태에 기반한 보정된 대체물을 허용하며, 이는 정보를 늘리지 않고 모든 과제의 후회를 보존한다. 그 결과인 정보-후회 곡선은 운용적 부호화율과 같다. 두 가지 정확한 경계가 유한 보존을 좌우한다. 행동 수가 고정된 경우의 약-별 폐포, 그리고 모든 유한 행동 메뉴가 허용될 때의 소스-증거 법칙의 특이 질량이다. 집단적 구조는 개별 질문의 난이도를 넘어서는 정보 요구량을 결정한다. 동일한 소스 법칙, 쌍별 과제 거리, 개별 과제 율을 가진 족들도 서로 다른 고해상도 지수를 가질 수 있다. 공분산이 동일한 좌표 족과 패리티 족은 서로 다른 정확한 율-왜곡 곡선을 가지며, 최적 패리티 유지는 날카로운 푸리에 엔트로피 부등식으로 특성화된다. 균형 잡힌 중첩 과제 족에 대해서는 세분화 크기와 가중 도달 범위가 가법 상수 이내로 율을 결정하며, 명시적 감쇠 조건 하에서 접두 부호화로 달성된다. 비선형 학습 및 계산적 분리는 보존을 효율적 발견 및 사용과 구분한다. 제안된 수학적 이론은 어떤 공유된 결정 요구가 유한한 정보를 무한히 많은 가능한 목적에 대해 유용하게 유지하게 하는지를 규명한다.

arXiv:2611.18511v1cs.LG

거의 같은 분포 사이 발산의 수치적 문제에 관하여

On numerical issues of divergences between nearly equal distributions

Barron et al. (2026)은 최근 softmax와 soft cross-entropy 손실에서 수치적 문제를 확인하였다. 본 논문은 범주형 분포 간의 표준 발산 연산에도 유사한 문제가 존재함을 보인다. 여기에는 순방향 및 역방향 쿨백-라이블러(KL) 발산, 일반화된 옌센-섀넌 발산(JSD), 몬테카를로 KL 추정치, 엔트로피가 포함된다. 분포가 거의 같을 때 반올림과 상쇄 문제가 순방향 계산과 기울기 계산에 영향을 미친다. 이러한 문제는 지식 증류, 강화학습, 근접 방법처럼 발산을 최적화 목적 함수에 사용하는 설정에 영향을 줄 수 있다. 본 논문은 수치적으로 안정한 재구성을 제안하고, 각 설정에 대한 구현 예시를 속성 기반 테스트로 검증하여 제공한다.

arXiv:2611.18480v1stat.ML

Bregman geometry in regular exponential families: dual representations and relative smoothness

Regular exponential-family distributions are ubiquitous in statistics due to their appealing and convenient properties. Notably, they can be expressed in terms of Bregman divergences, revealing fundamental connections between statistics, convex analysis, and information geometry. However, this geometric structure has not been systematically exploited to characterize these distributions with respect to their expectation parametrization. Building on a projective characterization, we establish a general construction of equivalent dual Bregman representations, together with normalization and uniqueness results. These representations express log-densities as ordinary Bregman divergences in dual coordinate systems, providing geometric characterizations of the parameter space. So-called $\beta$- and $\alpha$-scaled dual representations emerge as particular instances of this framework. We further derive dual Bregman representations of conjugate priors and establish that they preserve conjugacy. Applications to classical distributions illustrate the geometric structures underlying seemingly different statistical models. Moreover, we show that these representations provide natural reference geometries for establishing relative smoothness of the primal Bregman representation of the distribution, with explicit bounds that are sharp in the scalar and separable settings. An illustrative application to the Poisson distribution sheds new light on several works in the literature, providing complementary geometric justifications for reference geometries while deriving existing algorithms.

arXiv:2611.18469v1stat.ML

디노이징 스코어 매칭을 이용한 대조적 잠재 표현 학습

Contrastive latent representation learning with denoising score matching

대조적 표현 학습 방법은 동일한 데이터 표본의 서로 다른 뷰를 끌어당기는 동시에 다른 표본의 뷰와는 멀어지게 하는 방식으로 작동한다. 핵심적인 난제는 척력의 추정이며, 이는 일반적으로 큰 배치 크기를 필요로 하고 분산이 클 수 있으며 차원의 저주에 취약하다. 우리는 이 척력 항을 추정하는 새로운 방법을 제공하는 대조적 표현 학습 방법인 ScoreCLR을 소개한다. 우리는 표본의 두 잠재 뷰 사이의 상호정보량을 최대화하여 표현을 학습하는 프레임워크를 고려한다. 인코더 파라미터에 대한 섀넌 엔트로피의 기울기를 유도함으로써, 잠재 표현의 스코어를 포함하는 등가 목적함수를 얻는다. 이어서 디노이징 스코어 매칭 기법을 사용해, 인코더와 함께 공동 학습되는 경량 네트워크로 이 스코어를 추정한다. 또한 서로 다른 잡음 수준과 잠재 표현에 대한 가우시안 사전분포를 이용한 정규화 기법을 제안한다. ScoreCLR은 대조적 방법의 명시적 부정 표본 배치를 비용이 배치 크기에 대해 제곱이 아닌 선형인 학습된 척력으로 대체한다. CIFAR-10과 ImageNet-100에서 공통 레시피 아래 SimCLR와 비교해 선형 프로브 정확도의 손실을 최소화하면서 이를 달성하며, 동시에 가우시안 사전분포에 더 가까운, 더 높은 유효 랭크의 프로젝터 출력을 만들어 낸다.

arXiv:2611.18466v1stat.ML

반복적 메이저라이제이션을 이용한 다차원 척도법 기반 노드 위치 추정

Node Localization by Multidimensional Scaling with Iterative Majorization

노드 위치 추정은 다른 노드로부터 수집된 데이터를 바탕으로 노드의 위치를 추정하는 것을 목표로 한다. 데이터 특성에 따라 위치를 추정하는 데 서로 다른 절차가 사용된다. 본 논문에서는 다양한 데이터 특성을 포괄하여 노드 위치를 추정하는, 반복적 메이저라이제이션에 기반한 포괄적인 다차원 척도법 알고리즘을 소개한다. 암묵적으로 정규화된 손실 함수는 절대 거리를 제공하며, 앵커가 주어지면 절대 노드 위치를 제공한다. 이 알고리즘은 메이저라이제이션 함수의 최소화를 위해 새로운 수렴 좌표 하강 절차를 사용하여 앵커를 자연스럽게 다룰 수 있게 한다. 데이터의 최적 변환은 유클리드 거리 이외의 데이터도 매끄럽게 허용한다. 비대칭 데이터나 3원(three-way) 데이터를 만들어 내는 다중 출처의 데이터 역시 동일한 광범위한 프레임워크에 들어맞는다.

arXiv:2611.18455v1stat.ML

입자 궤적으로부터 상호작용 커널을 학습하기 위한 메시 프리 약형식 회귀

Mesh-Free Weak-Form Regression for Learning Interaction Kernels from Particle Trajectories

우리는 잡음이 있는 입자 궤적으로부터 상호작용 커널을 학습하기 위한 메시 프리 약형식 회귀를 제안한다. 본 방법은 매끄러운 시험 함수를 사용하여 잡음 데이터의 미분을 피하고, 경험적 입자 평균을 사용하여 밀도 재구성과 공간 격자를 피한다. 이어서 후보 함수들의 희소 결합을 적합하며, 모든 쌍에 대한 제곱 비용을 피하기 위해 표집된 입자 쌍에서 상호작용 항을 평가한다. 평균장 극한으로부터 식별 가능성을 전이함으로써, 격자 해상도나 밀도 추정 항 없이 유한 입자, 시간 이산화, 관측 잡음, 쌍 표집 오차를 분리하는 고확률 계수 오차 한계를 증명한다. 우리는 1차원(1D) 뉴턴 반발, 2차원 포식자-피식자, 10차원 거리 국소화 실험을 평가한다. 수치 결과는 이론적 계수 오차 한계와 일치하는 경향을 보인다. LASSO, Ridge, OLS를 사용한 약형식과 순방향 차분 형식의 비교에서, 세 가지 기준 실험 모두에서 약형식 LASSO가 가장 작은 계수 오차와 드리프트 오차를 보인다.

arXiv:2611.18394v1stat.ML

생성 모델링에서의 립시츠 제약 판별기: 점근적 거동과 지지집합 불일치

Lipschitz-Constrained Discriminators in Generative Modeling: Asymptotic Behavior and Support Mismatch

본 연구는 두 확률분포 $Q$와 $P$의 $L-$립시츠 정규화 KL 발산에 연계된 최적 판별기의 점근적 거동을 연구한다. 이 발산은 매개변수 $L>0$에 의해 재조정된 Wasserstein$-1$ 거리와 KL 발산 사이를 보간한다. 매개변수 $L$은 립시츠 제약의 역할을 하며 정규화 매개변수로 간주된다. $L$ 값이 작으면 기하를 더 잘 반영하는 판별기가 강제되고, $L$이 증가하면 기하적 정규화가 점진적으로 완화된다. 이러한 발산이 $L\to\infty$일 때 KL 발산으로 수렴한다는 것은 알려진 결과이다 [3]. 본 논문에서는 $L\to\infty$일 때 최적 판별기의 점근적 거동을 서로 다른 경우로 나누어 규명한다. 첫째, $Q\ll P$이고 라돈-니코딤 도함수 $\frac{dQ}{dP}$가 위로 유계이며 0으로부터 떨어져 있는 경우이다. 둘째, $Q$와 $P$가 $Q\ll P$를 만족하는 이산분포인 경우이다. 마지막으로, $Q$와 $P$가 절대연속이 아닌 이산분포인 경우이다. 이 결과는 적대적 생성 모델과 같이 판별기를 포함하는 학습 전략의 동기를 제공한다. 실제로 데이터 분포는 흔히 이산 경험 측도로 표현되며, 특히 학습 초기 단계에서 모델 분포는 경험적 데이터 분포와 거의 또는 전혀 겹치지 않을 수 있다.

arXiv:2611.18367v1cs.LG

DECODE: 통제된 순차적 의사결정 평가를 위한 분해 가능한 환경

DECODE: Decomposable Environments for COntrolled Sequential-Decision Evaluation

순차적 의사결정 시스템이 최적에 미치지 못할 때, 그 점수는 어떤 수정이 의사결정을 개선할지 알려 주지 않는다. DECODE는 계획과 이용 가능한 정보에 대한 통제된 실험을 통해 이러한 수정을 검증하는 벤치마크이다. 소비자 신용 추심 생성기는 알려진 동역학 행렬을 공유하고 기억 매개변수와 과정 잡음을 달리하는 다섯 가지 부분 관측 환경을 제공한다. 실험은 풀이기의 나머지 부분을 고정한 채 선택된 입력이나 계획 규칙을 변경한다. 각 비교는 풀이기의 상태 입력, 반응 입력, 계획 기간을 명시한다. 은닉 상태를 이용한 6개월 계획과 1개월 계획 간의 큰 격차를 기준으로 선택된 결정론적 기본 환경에서, 계획을 1개월에서 6개월로 늘리면 두 그래디언트 부스팅 풀이기의 점수가 은닉 상태와 차입자 특성으로 계산한 정확한 최적값의 15 내지 17 퍼센트포인트만큼 증가한다. 이 기간에서도 상환 반응을 로그로 적합한 최고 등급 풀이기는 그 최적값보다 15.6포인트 낮은 상태로 남는다. 명시된 개입 순서에서 상태 입력에 대한 세 가지 변경과 탐색 중 그 평가는 점수를 6.3포인트 낮추고, 이후 적합된 상환 모델을 은닉 차입자 특성으로 평가한 참 반응으로 교체하면 15.6포인트 상승하여 그중 9포인트가 순회복된다. 중간 효과는 상환 모델과 변경 순서에 조건부이므로 격차를 개별 원인에 유일하게 배분하지는 않는다. 이러한 한계 내에서 DECODE는 알려진 동역학과 명시적 정보 조건 아래 지정된 개입을 통해 풀이기 성능에 관한 가설을 검증 가능하게 한다.

arXiv:2611.18238v1cs.LG

작은 것이 죽은 것은 아니다: e-means를 위한 거리 인식 클러스터 부활

Small Is Not Dead: Distance-Aware Cluster Revival for e-means

e-means(Bessa et al., 2026)는 FAISS 라이브러리에 포함된 최근의 미니배치 k-means 알고리즘으로, 대규모 임베딩 데이터셋에서 Lloyd 알고리즘의 오차에 약 한 자릿수 더 빠르게 도달한다. 이 알고리즘은 다섯 개의 미니배치마다 누적 점 개수가 평균의 10분의 1 미만인 모든 클러스터를 제거하고 그 중심을 재사용하여 큰 클러스터를 분할한다. 저자들의 절제 실험에서, 죽은 클러스터 부활(dead-cluster revival)이라 불리는 이 메커니즘을 제거하면 이동 평균 갱신에 추가된 다른 어떤 구성 요소를 제거할 때보다 오차가 더 크게 증가한다. 그러나 이 규칙은 클러스터 크기만 고려하므로, 중복되어 작은 클러스터와 드물고 고립된 점 집단을 포괄하여 작은 클러스터를 구별하지 못하며, 이러한 집단이 있는 데이터에서는 제거 비용이 큰 중심을 반복적으로 제거한다. 본 연구는 중심 간 거리에 기반한 두 번째 조건을 추가한다. 즉, 작은 클러스터는 그 중심이 평균 제곱 오차의 이동 추정치에 비해 다른 중심에 가까울 때만 제거된다. 중심이 해당 점들의 평균과 같을 때, 이 제곱 거리는 그 중심을 제거함으로써 발생하는 클러스터 점당 평균 제곱 오차 증가량의 상한이다. 이 조건은 다섯 개의 미니배치마다 작은 클러스터에 대해 최근접 중심 탐색을 한 번 수행하는 비용이 들며 측정 가능한 실행 시간 증가가 없다. e-means 논문의 임베딩 벤치마크에서는 제거를 한 번도 막지 않으므로 결과가 FAISS와 동일하다. 개발 중 사용하지 않은, 작은 고립 집단이 있는 데이터셋에서는 개수 기반 부활 대비 두 에폭 후 테스트 오차를 대략 10%에서 80%까지 줄이며 k-means++ 초기화의 이점을 유지한다. 그 밖의 평가 데이터셋에서는 부활을 켠 경우와 끈 경우 중 더 나은 쪽의 약 1% 이내에 머문다. 또한 분석이 예측하는 두 가지 실패 양상도 보고한다. 이는 CPU 개념 증명이며 GPU 구현은 향후 과제로 남긴다.

arXiv:2611.18180v1stat.ML

LaMe: 고차원 시스템을 위한 결합 잠재 매개 프레임워크

LaMe: a Joint Latent Mediation Framework for High-Dimensional Systems

매개 분석은 노출이 중간 변수를 통해 결과에 어떻게 영향을 미치는지를 이해하고자 한다. 그러나 점점 더 풍부한 데이터셋이 이용 가능해지면서, 수백에서 수천 개에 이르는 잠재적 매개변수로 인해 이러한 시스템은 모델링하기 어렵고 해석하기도 어렵다. 잠재 변수 접근법은 이러한 고차원 환경을 수용하는 자연스러운 방법이다. 그러나 기존의 잠재 매개 방법은 과대 모수화, 편향된 추론 또는 제한적인 확장성을 포함한 한계를 가진다. 본 연구는 고차원 노출-매개변수-결과 시스템을 소수의 잠재 변수로 요약하는 결합 선형-가우시안 프레임워크인 LaMe를 개발한다. 관측된 측정값이 잠재 매개변수를 완전히 포착한다는 명시적 가정 아래에서 자연 직접 효과와 간접 효과를 식별하고, 잠재 표현이 관측된 교차 공분산 구조를 효과적으로 제약하는 조건을 규명한다. 시뮬레이션에서는 다양한 어려운 설정에 걸쳐 관측된 연관 모수, 자연 효과, 그리고 잠재 매개 경로와 연관된 관측 특징의 복원을 평가한다. 네 가지 실제 응용에서는 바이오마커 및 단백질체 측정의 1차원 표현을 포함하여 간결한 잠재 표현으로도 경쟁력 있는 예측 성능을 보인다. 이러한 결과를 종합하면, LaMe는 명시적인 구조적 가정과 측정 가정 아래에서 다변량 매개 시스템을 추정하고 요약하는 실용적인 프레임워크임을 확인할 수 있다.

arXiv:2611.18164v1stat.ML

잠재 공간에서의 검출과 분류: 고차원 분석 및 검증

Detection and Classification in Latent Spaces: High-Dimensional Analysis and Validation

파운데이션 모델은 적절히 설계된 통계적 결정 규칙이 효과적이면서도 해석적으로 다루기 쉬운 고차원 잠재 표현을 생성한다. 본 연구는 잠재 차원과 학습 표본 크기가 비례하여 증가하는 고차원 영역에서 이러한 검출기를 연구한다. 선형 및 이차 통계량에 대해 네이만-피어슨 패러다임 아래에서 오경보 및 미검출 성능의 명시적인 큰 편차 특성을 도출하고, 이진 분석이 다중 클래스 분류로 어떻게 확장되는지를 보인다. 그 결과로 얻은 오류 확률과 해당 감쇠율은 형상 모수에 대해 이중 하강, 일부 영역에서는 다중 하강을 포함하는 비단조적 의존성을 나타낸다. 최신 파운데이션 모델을 사용한 시각, 텍스트, 오디오 데이터셋에 대한 실험에서 이론적 예측과 실제 성능이 매우 잘 일치함을 확인한다. 특히 제안된 프레임워크를 통해 규정된 오경보 수준을 설정하고 그에 해당하는 미검출 확률을 정확하게 예측할 수 있다. 전반적으로 본 결과는 다양한 모달리티에서 경쟁력 있는 실증 성능을 갖춘, 이론적으로 뒷받침되고 해석 가능한 프레임워크를 제공한다.

arXiv:2611.18095v1stat.ML

상관 척도가 변하는 커널 릿지 회귀의 학습점 일관성

Training-point consistency of kernel ridge regression with varying correlation scales

커널 릿지 회귀에서 척도 매개변수는 데이터의 상관 구조를 모델링하는 데 핵심적인 역할을 한다. 현대의 응용에서는 표본 추출 밀도와 근본적인 상관 범위가 동시에 변하는 경우가 많아 고정 척도 가정은 매우 제한적이다. 그러나 변하는 척도 매개변수 아래에서 점근 이론을 확립하는 것은 근본적으로 어렵다. 이러한 공백을 해결하기 위해 본 논문은 변하는 척도 매개변수 아래의 커널 릿지 회귀에 대한 통합 이론 틀을 개발한다. 우리는 곱 지수 커널을 갖는 균일 텐서 격자에서 학습점 위험의 일관성이 유효 국소 표본 크기가 무한대로 발산하는 것과 필요충분조건임을 보인다. 이 엄밀한 기준은 임의의 결정론적 척도 수열에 따른 모든 영역을 포괄하며, 장거리, 고정 척도, 단거리 영역을 매끄럽게 통합한다. 나아가 이러한 일관성을 보장하는, 신호에 독립적인 결정론적 정규화 페널티의 명시적 구성을 제시한다. 수치 실험은 세 영역 모두에서 이 기준과 해당 페널티를 보여 준다.