PyTorchKR Papers

최신 논문

총 3,947편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.19850v1stat.ML

Q 학습의 가우스 근사에 대한 정밀한 수렴률

Sharp Gaussian Approximation for Q-Learning

가우스 근사는 강화학습에서 온라인 통계적 추론의 기반을 제공한다. 본 연구는 폴리악-루퍼트 평균화를 적용한 비동기 Q 학습에서 바서슈타인 거리로 측정한 가우스 근사의 정밀한 비점근 수렴률을 확립한다. 반복 횟수를 $n$이라 하면, 상한 $\widetilde{O}(n^{-1/4})$과 로그 인자를 제외하면 이 상한과 일치하는 하한을 증명한다. 벨만 연산자의 비선형성 때문에 Q 학습은 선형 확률 근사보다 분석하기 어렵다. 비동기 갱신에서는 마르코프 잡음으로 인해 분석이 더 복잡해진다. 본 연구는 벨만 연산자의 비선형성, 마르코프 잡음, 유한 표본의 공분산 차이에서 비롯하는 오차를 각각 분리한다. 특히 벨만 연산자가 선형이어도 마르코프 잡음은 피할 수 없는 편향을 일으킨다. 이 편향과 공분산 차이 사이의 절충이 수렴률을 결정한다. 동기 설정으로 분석을 확장해 정밀한 수렴률 $\widetilde{O}(n^{-1/2})$도 확립한다.

arXiv:2611.19783v1stat.ML

조건부 자산 가격 결정 트랜스포머

Conditional Asset Pricing Transformer

본 논문은 어텐션으로 기업 사이의 비선형 상호작용을 포착해 초과 수익률을 예측하는 조건부 자산 가격 결정 트랜스포머(CAP-T)를 제안한다. 첫 단계에서 트랜스포머로 조건부 기대 수익률을 추정하고, 그 잔차에 커널 가중 주성분 분석을 적용해 국소 요인 적재 공간을 추정한다. 조건부 평균을 이 공간에 사영하면 요인 위험 보상과 조건부 가격 괴리를 분리할 수 있다. 두 번째 단계에서는 각 성분을 별도의 트랜스포머로 학습한 뒤 두 예측값을 결합해 수익률을 예측한다. 제안 프레임워크는 수익률을 조건부 가격 괴리, 요인 위험 보상, 평균을 뺀 요인 성분, 예측할 수 없는 혁신 성분으로 분해한다. 근사 및 일반화 오차의 경계를 확립하고, 첫 단계의 예측 오차가 국소 요인 추정과 성분 학습을 거치며 어떻게 전파되는지 규명한다. 이를 통해 조건부 가격 괴리, 요인 적재값, 요인 위험 프리미엄에 대한 통계적 보장을 제시한다. 마지막으로 시뮬레이션과 실증 연구에서 제안 방법이 예측과 해석에 도움이 됨을 보인다.

arXiv:2611.19772v1stat.ML

온라인 커널 회귀를 위한 폭이 최적에 가까운 순차 신뢰구간

Tight Sequential Confidence Intervals for Online Kernel Regression

본 연구는 커널에 대한 최악의 경우를 기준으로 재생 커널 힐베르트 공간(RKHS) 원소의 온라인 신뢰구간에 대한 정밀한 최소최대 폭을 규명한다. 이는 Vakili 등의 2021년 미해결 문제를 처음 제시한 이산 시간 형태로 해결한다. 학습기는 적응적으로 선택한 점에서 $y_i=f(x_i)+\epsilon_i$를 관측한다. 이때 $\|f\|_{\mathcal H_k}\le B$이고 잡음은 독립·동일 분포의 $R$-부분 가우스 잡음이다. 학습기는 구간 $|f(x)-\mu_n(x)|\le\rho_n(\delta)\sigma_n(x)$를 보고한다. 여기서 $\mu_n$과 $\sigma_n$은 정규화 매개변수 $\lambda$를 갖는 대리 가우스 과정 모델의 사후 평균과 표준편차다. 고정 커널의 최소최대 신뢰구간 폭을 $\rho_n^*(\delta)$라 하자. 선형 커널과 주기적 소볼레프 커널의 합을 사용하면, 충분히 큰 모든 $n$과 모든 $\delta\in(0,1/4]$에 대해 $\rho_n^*(\delta)\asymp B+(R/\lambda)\sqrt{\gamma_n+\log(1/\delta)}$임을 보인다. 여기서 $\gamma_n$은 최대 정보 이득이며 $n$에 대해 다항식으로 증가한다. Lattimore(2023)에 기반해 고정된 2차원 영역에서 적응적 실험 설계를 구성한다. 가우스 잡음 아래에서 이 설계를 사용하면, 미리 정한 점의 정규화 오차가 일정한 확률로 $\Omega(B+(R/\lambda)\sqrt{\gamma_n})$이다. 따라서 커널과 온라인 설계에 대한 최악의 경우 신뢰구간 폭이 다항 로그 규모라는 추측은 성립하지 않는다.

arXiv:2611.19753v1stat.ML

수치 풀이기가 정의한 물리 제약 다양체 위에서 자기회귀 신경 연산자 학습하기

Learning Autoregressive Neural Operators on Solver-Defined Physical Constraint Manifolds

자기회귀 신경 연산자는 학습한 전이를 반복 합성해 시간 의존 편미분방정식(PDE)의 풀이기를 근사한다. 그러나 이렇게 얻은 상태가 수치 문제의 이산 제약을 계속 충족한다는 보장은 없다. 본 연구는 각 속도 상태가 수치 풀이기의 비압축성 조건과 지정된 경곗값을 모두 만족해야 하는 비압축성 유동에서 이 문제를 연구한다. 자기회귀 연산자 학습을 수치 풀이기가 정의하는 아핀 가능 집합 사이의 사상으로 정식화한다. 이 전이 원리를 사영 잔차로 구현한 PCM-NO를 제안한다. 신경망 백본은 상태 증가량의 후보를 예측하고, 고정된 접공간 사영이 허용되는 성분을 추출하며, 거리 척도에 따른 리트랙션이 갱신된 상태를 지정된 가능 집합에 되돌린다. 아핀 제약 문제를 정확히 풀면 전이 결과가 가능 집합 안에 머문다. 또한 아핀 항등식으로 허용 갱신량의 매개변수화와 상태 수준의 닫힘을 구분할 수 있다. 근사적으로 풀 때는 접공간만 사용하는 잔차에 대해 누적 오차의 상한을 구할 수 있다. 매 단계에서 리트랙션을 적용하면 제약 위반의 크기가 현재 풀이 단계에서 달성한 잔차 수준으로 돌아간다. 주기적 나비에-스토크스 유동과 덮개 구동 공동 유동 실험에서 PCM-NO는 긴 자기회귀 롤아웃과 매개변수, 경곗값, 해상도가 바뀌는 조건에서 수치 풀이기 수준의 제약을 더 잘 보존했다. 분포 내 평가와 가혹한 조건의 평가 모두에서 롤아웃 오차가 더 낮았고 유동에 특화된 진단 지표도 더 좋았다.

arXiv:2611.19710v1stat.ML

인과적 사전 데이터 적합 신경망을 위한 사실적·반사실적 결과의 공동 학습

Joint Learning of Factual and Counterfactual Worlds for Causal Prior-data Fitted Networks

처치 효과의 추정은 여러 과학 분야의 핵심 과제이며, 다른 조건이었을 때 어떤 결과가 나왔을지 반사실적으로 추론해야 한다. 하지만 현실에서는 각 단위가 실제로 놓인 조건에서의 결과만 관측할 수 있다. 따라서 실제 데이터로 학습하는 모델은 같은 단위의 사실적 결과와 반사실적 결과를 함께 학습할 수 없다. 두 조건의 결과를 모두 생성할 수 있는 합성 환경에서만 이를 다룰 수 있다. 최근 사전 데이터 적합 신경망(PFN)에 관한 연구는 합성 데이터로만 사전학습한 모델도 현실의 예측 문제로 전이할 수 있음을 보여 줬다. 이 방식은 인과 효과 추정에도 적용됐다. 그런데 기존 인과적 PFN은 전적으로 합성 데이터를 사용하면서도 현실의 제약을 학습 목적 함수에 그대로 적용한다. 각 단위에 대해 한 조건의 결과만 학습한다. 이 때문에 두 조건 사이의 의존 관계가 사라진다. 처치 효과의 밀도는 기본적으로 두 결과가 독립이라는 가정에 의존하지만 실제로는 이 가정이 성립하기 어렵다. 본 연구는 인과적 PFN이 각 단위의 사실적 결과와 반사실적 결과의 결합 분포를 학습하는 공동 학습 방식을 제안한다. 결합 분포에서 반응과 개별 처치 효과의 밀도를 모두 얻는다. 추론 시에는 단위 간 최적 수송을 적용해 평균 처치 효과의 밀도를 근사한다. 따라서 두 조건 사이의 의존 관계를 고려하면서 세 밀도를 함께 제공하는 첫 인과적 PFN 접근법이다. 기존 인과적 PFN에 공동 학습과 최적 수송을 적용하고, 다양한 인과 상황을 다루는 반합성, 합성, 실제 벤치마크에서 평가했다. 공동 학습 모델은 대부분의 설정에서 기준선보다 점추정과 불확실성 정량화 성능을 유의하게 개선했다. 이는 인과적 PFN에 공동 학습이 더 적합한 학습 방식임을 시사한다.

arXiv:2611.19702v1stat.ML

하키스틱 발산을 기준으로 한 이산 분포의 최소최대 추정

Minimax Estimation of Discrete Distributions under Hockey-stick Divergence

본 연구는 독립 표본에서 하키스틱 발산을 기준으로 이산 분포를 추정하는 문제를 처음 다룬다. 가능한 값의 개수, 표본 수, 발산의 매개변수에 따른 최소최대 기대 손실의 비점근 상한과 하한을 제시한다. 상수를 더하는 추정량으로 상한을 달성하고, 베이즈 위험 논증으로 하한을 도출한다. 상한과 하한 모두 문제의 매개변수에 따라 다항식 영역과 지수 영역 사이의 전이가 나타남을 보여 준다.

arXiv:2611.19653v1stat.ML

잡음 제거 오토인코더의 기하학적 이해와 이미지 잡음 제거 응용

A Geometric Understanding of Denoising Autoencoder with Applications to Image Denoising

잡음 제거 오토인코더는 잡음이 섞인 관측에서 깨끗한 데이터를 복원하는 데 높은 실험 성능을 보였다. 그러나 그 바탕이 되는 통계적 성질은 충분히 연구되지 않았다. 본 논문은 다양체 가설 아래에서 잡음 제거 오토인코더를 연구한다. 깨끗한 데이터는 고차원 주변 공간에 매장된 저차원 매끄러운 다양체 위에 있고, 관측값에는 등방성 가우스 잡음이 더해진다고 가정한다. 단일 다양체, 쌍마다 서로 떨어진 다양체들의 유한 합집합, 서로 교차하는 다양체들의 유한 합집합이라는 세 기하학적 조건에서 일반화 보장을 확립한다. 국소 좌표계 표현, 단위 분할, 신경망 근사로 기대 제곱 복원 오차의 상한을 도출한다. 단일 다양체와 서로 떨어진 다양체의 합집합에서는 오차가 세 항으로 이루어진다. 표본 크기에 따라 달라지는 $n^{-2/(d+2)}\log^4 n$ 차수의 통계 항, 접선 방향 잡음으로 생기는 $d\sigma^2/D$ 차수의 잔차 항, 다양체 사영이 실패할 때 발생하는 지수적으로 작은 꼬리 항이다. 여기서 $D$는 데이터를 담는 주변 공간의 차원, $d$는 깨끗한 데이터 다양체의 내재 차원, $\sigma^2$는 잡음 크기 제곱의 기댓값이다. 다양체가 교차하는 경우에는 교차점 근방의 확률 질량에 따라 결정되는 추가 모호성 항을 확인한다. 합성 다양체와 실제 이미지 데이터셋을 사용한 수치 실험은 예측한 표본 크기 스케일링 법칙을 뒷받침하고, 다양체의 교차점 근처에서 복원이 더 모호해짐을 보여 준다.

arXiv:2611.19566v1cs.LG

벨만 잔차의 상하한 설정: 할인 보상 및 평균 보상 강화학습의 표본 복잡도 규명

Bellman Residual Bracketing: Resolving the Sample Complexity of Discounted and Average-Reward RL

본 연구는 생성 모델을 사용할 수 있는 강화학습(RL)에서 경험적 계획법인 플러그인 접근의 표본 복잡도를 조사한다. 할인 플러그인 방법은 표본 $O(SA (1-\gamma)^{-3} \varepsilon^{-2} \log(SA/\delta))$개로 $\varepsilon$-최적 정책을 찾는다. 여기서 $S, A, \gamma, \delta$는 각각 상태 집합의 크기, 행동 집합의 크기, 할인 계수, 실패 확률이다. 평균 보상 설정에서는 할인 플러그인과 직접 플러그인(비할인 방식)의 표본 복잡도가 각각 $O(SAH\varepsilon^{-2}\log(SA/\delta))$와 $O(SAD\varepsilon^{-2}\log(SA/\delta))$임을 보인다. $H$는 최적 편향 함수의 범위에 대한 상한이고 $D$는 지름이다. 이 결과와 비적응 생성 모델의 하한을 결합하면, 할인 강화학습과 평균 보상 강화학습의 최소최대 표본 복잡도를 상수 배율 차이까지 규명한다. 평균 보상 설정에서는 편향 함수의 범위를 기준으로 한 계열과 지름을 기준으로 한 계열이 모두 해당한다. 주요 기술적 기여는 벨만 잔차를 상한과 하한으로 제한하는 새로운 기법이다. 이 기법은 흡수 상태가 있는 마르코프 의사결정 과정(MDP)에 기반한 기존 확률 집중 분석의 효율을 높인다.

arXiv:2611.19557v1stat.ML

Steering Bayesian Inference and Decisions through Data Poisoning

Adversarial machine learning has revealed that statistical models can be manipulated through poisoned data, and Bayesian inference is no exception. Earlier work has shown that subtle poisoning attacks can drive the posterior toward a distribution of the attacker's choosing. Such posterior attraction attacks require a fully specified target posterior; however, attackers typically care about only a few posterior quantities or, more consequentially, about a downstream decision. Herein, we study how an attacker can alter Bayesian inference and decisions by deleting or replicating a few observations, chosen to minimize the maximum mean discrepancy between the resulting posterior and a target distribution. A suitable kernel lets the attacker steer selected posterior moments without specifying the rest of the target. Because Bayes actions depend on the posterior only through expected utilities, which are themselves posterior moments, the same approach can target a decision directly. We construct the attacks with a gradient-based heuristic that requires only posterior samples, and analyze its convergence. Experiments with regression and hierarchical models compare moment-based and full-posterior attacks, and illustrate how deleting a handful of observations can flip a Bayesian decision.

arXiv:2611.19523v1stat.ML

합성 함수 사전 구조의 기하학적 안정성과 표본 복잡도

Geometric Stability and Sample Complexity for Compositional Function Priors

본 연구는 지도학습에서 함수 합성 구조가 어떤 조건에서 차원 축소로 이어지는지 조사한다. 학습을 함수 공간의 사전 구조를 사용하는 경험적 위험 최소화로 정식화한다. 정규화 범함수가 근사 성능과 거리 공간 엔트로피 측면에서 유리한 함수의 부분집합을 선택한다. 모델은 $f(x)=g(Ax+\Delta h(x))$ 형태의 합성 함수다. 여기서 $A\in\mathbb{R}^{k\times d}$는 선형 기저 사상, $\Delta h$는 비선형 보정, $g$는 바깥 함수다. 즉, $f$는 비선형 보정을 제외하면 선형인 입력의 $k$차원 표현에 작용하는 임의의 매끄러운 함수다. 덮개 수에 대한 경계를 증명해 이 함수 계열의 통계 복잡도가 내재 차원에 따른 영역과 주변 공간의 $d$차원 비모수 수렴률 사이를 오간다는 것을 보인다. 내재 차원 영역에서 선형 사상의 $kd$개 원소에는 모수적 수렴률이 적용되고, 표현 차원 $k$에만 비모수적 수렴률이 적용된다. 두 영역 사이의 변화는 보정 크기 $\varepsilon=\|\Delta h\|$가 결정한다. 이어 $\varepsilon$을 데이터의 기하 구조와 연결한다. 데이터가 $k$차원 다양체를 둘러싼 좁은 관 안에 있고 회귀 목표가 입력에서 다양체 위의 최근접점에만 의존한다면, 국소적으로 목표를 정확히 $g(Ax+\Delta h(x))$로 분해할 수 있다. 이때 $A$는 접공간 좌표 사상이며, 보정의 소볼레프 노름은 해당 국소화 스케일의 곡률에 선형으로 비례한다. 아틀라스 전반에 걸쳐 국소 모델을 이어 붙이면, 유한한 국소 모델 망에서 최소제곱 추정량의 유한 표본 초과 위험 경계를 얻는다. 이 경계에서 주변 차원의 효과를 나타내는 항은 곡률이 0에 가까워질 때 사라진다. 1차원 모형 문제에서는 역방향 결과도 증명한다. 곡률이 있는 데이터에서는 모든 아핀 합성 예측기의 오차에 하한이 생기며, 이를 피하려면 보정 예산이 곡률에 맞춰 커져야 한다. 곡률을 반영한 대응 모델 계열은 내재 차원의 수렴률을 달성한다. 따라서 보정 크기 $\varepsilon$은 곡률과 통계 복잡도를 연결하는 유효 차원 매개변수다.

arXiv:2611.19515v1eess.SP

이중 적층 지능형 메타표면을 이용한 무선 의미 정렬

Over-the-Air Semantic Alignment via Dual Stacked Intelligent Metasurfaces

의미 통신은 과제 중심의 정보 교환을 가능하게 한다. 그러나 송신기와 수신기가 서로 다른 머신러닝 모델을 사용하면 잠재 공간이 어긋난다. 기존 의미 정렬 방법은 디지털 처리에 의존해 계산 비용과 지연이 늘어난다. 본 논문은 의미 정렬을 전적으로 파동 영역에서 수행하는 이중 적층 지능형 메타표면(dual-SIM) 아키텍처를 제안한다. 링크 양 끝의 프로그래밍 가능한 메타표면과 무선 채널을 함께 활용해 서로 다른 잠재 공간 사이의 종단 간 선형 변환을 구현한다. 위상만 조절하는 다층 SIM으로 지도학습 기반 선형 정렬기와 제로샷 파르세발 프레임 등화기를 모두 근사할 수 있음을 보인다. 채널 등화와 채널의 유리한 특성 활용을 고려해 단일 SIM, 분리 설계한 비대칭 및 대칭 이중 SIM, 공동 최적화한 이중 SIM을 조사한다. 공동 설계에는 1차 정지점으로의 수렴을 보장하는 교대 사영 그래디언트 알고리즘을 개발했다. 또한 그래디언트 기반 반복을 층으로 펼친 심층 신경망을 도입해, 채널이 변할 때 SIM을 재구성하는 계산 비용을 줄인다. 서로 다른 비전 트랜스포머 인코더를 사용한 수치 실험에서 중간부터 높은 신호 대 잡음비까지 의미 정렬이 정확했다. 채널 규모가 작은 설정에서는 공동 최적화한 이중 SIM과 분리 설계한 대칭 이중 SIM의 정확도가 가장 높았다. 적층 깊이가 얕을 때는 공동 설계가 가장 좋았으며, 깊이를 같게 맞추면 단일 SIM 대비 이점이 작아졌다.

arXiv:2611.19471v1stat.ME

랜덤 포리스트 해석: 대리 모델과 규칙 추출 방법 비교

Interpreting Random Forests: Comparing Surrogate Models and Rule Extraction Methods

랜덤 포리스트(RF)는 예측 성능이 높은 경우가 많지만 앙상블 구조를 해석하기는 어려울 수 있다. 대리 모델과 규칙 추출 방법으로 해석 가능한 근사를 얻을 수 있으나, 연구 질문에 맞는 방법을 고를 근거는 아직 부족하다. 회귀 및 분류를 위한 시뮬레이션 설정 11개와 벤치마크 데이터셋 67개에서 RF 해석 방법 12종을 비교했다. 예측 위주의 참조 모델로는 의사결정 트리를 사용했다. RF와의 예측 유사도 및 구조 유사도, 모델 복잡도, 예측 성능, 실행 시간을 평가했다. 시뮬레이션에서는 실제로 영향을 주는 변수와 잡음 변수를 구분할 수 있어 설명 가능성도 평가했다. 모든 목적에서 가장 우수한 방법은 없었다. 회귀에서는 SLIM이 예측 유사도나 테스트 데이터 성능에서 전반적으로 가장 높은 결과를 보였다. 성능이 비슷한 경우 선형 모델이 선형 효과를 더 간단하게 전역적으로 해석할 수 있게 했다. 분류에서는 inTrees가 전체 벤치마크에서 가장 우수했으며 CTree와 OC-CART도 유용한 대안이었다. ART는 일관되게 가장 간결한 표현을 만들었다. 회귀에서 NH와 SIRUS는 구조 유사도가 높았다. 분류 시뮬레이션에서는 MRT가 RF의 변수 사용을 가장 비슷하게 재현했다. 예측 위주 순위에서 높은 방법이 구조를 가장 잘 설명하지는 않을 수 있음을 보여 준다. 일부 접근법은 결과 변수 유형의 제약, 실행 시간 제한, 방법별 실패로 결과를 얻지 못한 경우가 있었다. 방법을 고를 때 성능과 함께 이 제약도 고려해야 한다. 따라서 결과 변수 유형, 예상 데이터 구조, 해석 목적에 따라 방법을 선택해야 한다. 예측 유사도만으로 RF를 설명하기는 어려우므로 구조 유사도와 모델 복잡도를 함께 살펴야 한다.

arXiv:2611.19451v1cs.LG

학습 데이터 기여도 분석의 효율적이고 정확한 인과 검증

Efficient and Accurate Causal Validation of Training Data Attribution

학습 데이터 기여도(TDA) 방법을 인과적으로 검증하려면 원래 학습 세트의 서로 다른 부분집합 다수에서 모델을 다시 학습해야 하므로 비용이 크다. 예를 들어 TDA 평가의 표준 지표가 된 선형 데이터 모델링 점수(LDS)는 TDA 예측과 다시 학습한 모델의 기대 출력 사이의 상관을 측정한다. 본 논문은 세 가지 축에서 LDS 추정에 드는 연산량을 줄인다. 표본으로 뽑는 학습 부분집합 수, 부분집합당 재학습 시드 수, 기여도 앙상블의 모델 수다. 각 요인은 LDS 추정에서 서로 다른 편향을 일으킨다. 이런 편향을 없애면 같은 LDS 추정 정확도에 필요한 재학습 횟수가 크게 줄어든다. ResNet-9와 CIFAR-10에서는 유한한 부분집합 수에 따른 편향을 보정해, 부분집합 $4$개만으로 상대 RMSE $3.2\%$를 달성했다. 부분집합 300개의 참조 결과를 기준으로 보면, 부분집합 $32$개를 사용한 방식은 부분집합 $96$개에 일반 스피어먼 상관을 적용한 방식과 같은 정확도를 냈다. ResNet-9/CIFAR-10, BERT/QNLI, GPT-2/WikiText-2에서는 학습 잡음의 분산을 추정함으로써, 표준 시드 다섯 개의 LDS를 같은 정확도로 재현하는 데 필요한 재학습 횟수를 $2$~$5\times$ 줄였다.

arXiv:2611.19382v1stat.ML

희소 연결 신경망의 일반화 경계

Generalization Bounds for Neural Networks with Sparse Connectivity

실험적 증거에 따르면 대규모 신경망은 모든 매개변수를 효과적으로 쓰는 경우가 드물고, 학습한 해에는 뚜렷한 희소성이 나타난다. 이 현상은 널리 관측됐지만 희소성이 통계적 성능에 미치는 영향은 기존 일반화 이론으로 일부만 설명할 수 있다. 본 논문은 층별 가중치 행렬이 $\ell_p$ 준노름($0<p\leq 1$) 제약을 받는 심층 신경망의 비점근 일반화 격차 경계를 도출한다. 이 분석은 고전적인 노름 기반 일반화 보장과 매개변수 개수에 따른 경계 사이를 잇는 새로운 결과를 제시한다. 준노름 차수 $p$가 0으로 접근하는 극단적 희소성의 극한에서는 경계가 활성 매개변수, 즉 값이 0이 아닌 매개변수의 개수에 대한 제곱근 의존성으로 전환된다. 그 결과 기존 매개변수 개수 기반 접근보다 경계가 더 엄밀해진다. 실험에서는 과매개변수화 영역에서 제안한 경계가 처음 선택한 아키텍처에 덜 의존했으며, 자연 데이터로 학습할 때 생기는 희소성의 일반화 이점을 효과적으로 포착했다.

arXiv:2611.19204v1math.ST

처치 기간이 우측 검열된 경우의 평균 용량-반응 함수 학습

Learning the Average Dose-Response Function with a Right-Censored Treatment

본 논문은 처치 기간이 우측 검열되고 검열된 관측 단위의 결과값이 누락됐을 때 평균 용량-반응 함수를 추정하고 추론하는 문제를 다룬다. 검열 기록이 제공하는 기간의 하한을 사용해, 보강한 국소 추정 방정식으로 새로운 다중 강건 추정량을 구성한다. 적절한 정칙성 조건에서 결과 회귀, 처치 밀도, 검열 생존 함수 가운데 어느 두 가지라도 일치 추정되면 이 추정량은 일치성을 유지한다. 보조 함수 추정에 적절한 조건을 두고 교차 적합 프레임워크에서 수렴률과 점근 분포를 확립한다. 국소 평활화 편향은 신뢰구간의 포함률을 왜곡할 수 있다. 이를 해결하기 위해 평활화 정도를 일부러 줄이지 않아도 점근적으로 타당한 점별 추론을 할 수 있는 편향 보정 추정량을 개발한다. 추가로 균일 조건이 성립하면 가우스 승수 부트스트랩으로 동시 신뢰대를 구성한다. 시뮬레이션에서는 추정 정확도, 점별 및 균일 추론의 타당성, 보조 모델을 잘못 지정했을 때의 강건성을 평가한다. NHANES에 맞춰 보정한 반합성 데이터 연구로, 용량-반응 함수가 알려진 설정에서 제안 방법을 예시한다.

arXiv:2611.19163v1math.OC

평균장 토큰 조향

Mean-field Token Steering

트랜스포머 층을 깊게 쌓은 모델에서 확률적으로 토큰을 조향하는 것을 단위 구면 위 상호작용 입자계에 대한 평균장 제어 문제로 다룬다. 입자 사이의 상호작용은 어텐션 메커니즘에서 나온다. 평균장 극한에서 토큰 집단은 제어된 적분-편미분 방정식에 따라 변한다. 피드백 제어는 보정 벡터장으로 작용해 표현 공간에서 토큰 집단을 목표 배치로 유도한다. 층 깊이를 정규화한 값으로 해석하는 고정 시간 구간 안에 목표를 달성하는 데 필요한 최소 노력 제어를 도출한다. 제어된 토큰 집단의 동역학은 구면의 기하 구조에 맞춘 평균장 슈뢰딩거 브리지로 이해할 수 있음을 보인다. 이를 바탕으로 서로 일관된 토큰 분포의 변화를 계산하도록 동적 싱크혼 재귀를 일반화하는 새로운 방법을 제안한다. 수치 실험에서 제안 방법이 토큰 집단을 목표 배치로 정확히 조향함을 확인했다.

arXiv:2611.19062v1math.ST

베팅을 이용한 로그 최적 이표본 검정

Log-optimal two-sample testing by betting

각 표준 보렐 관측 공간에 대해 어느 시점에나 유효한 단일 이표본 검정 절차를 구성한다. 이 절차는 미지의 확률분포 쌍마다, 그리고 두 표본 크기가 모두 발산하면서 그 비율이 0이나 무한대를 포함한 어떤 값으로 수렴하든 점근적으로 로그 최적이다. 독립적이고 크기가 같은 표본 쌍의 경우 보유 자산 로그의 최적 증가율은 $2\JS(P,Q)$다. 여기서 $\JS$는 옌센–섀넌 발산이다. 표본 크기가 서로 다르면 가중 옌센–섀넌 정보량을 얻으며, 단일 표본 극한은 $\log W(n_1,n_2)/n_2\to\KL(Q\|P)$이며 조건은 $n_1/n_2\to\infty$이다. 유한 분할을 세분화하는 방법과 가측 특성 커널을 사용한 로그 손실 학습으로 보편적인 구성을 얻을 수 있다. 핵심 기여는 구성의 일반성과 고전적인 일괄 검정의 효율 개념 사이의 연관성에 있다. 구현에서는 분류기를 지속적으로 미세조정할 수 있다. 이를 유한 알파벳, 가우스 데이터, 손글씨 숫자에서 시연했다.

arXiv:2611.19059v1stat.ML

SGD의 적응형 변형에 관한 고차원 극한 정리 I: 탄도 극한

High-dimensional limit theorems for adaptive variants of SGD I: Ballistic limits

확률적 경사하강법(SGD)의 적응형 모멘텀 변형에 대해 고차원에서의 유효 동역학을 도출한다. 이 동역학은 마르코프 과정으로 주어진다. 핵심은 지수 이동 평균과 전처리 조건화 때문에 알고리즘에 생기는 비마르코프성을 평균화 방법으로 다룰 수 있다는 점이다. 이 접근법은 적응적 모멘텀 추정(ADAM), 뉴턴–슐츠 방법으로 직교화한 모멘텀(MUON)과 그 변형을 비롯한 다양한 알고리즘에 적용할 수 있다. 텐서 주성분 분석(PCA), 가우스 투영 모델, 교사–학생 신경망, 실무에서 널리 쓰이는 MUON과 ADAM의 혼합 방식으로 XOR 문제를 학습시킨 다층 신경망 등 다양한 학습 과제에도 적용할 수 있다. 이 기법으로 알고리즘 간 성능을 정밀하게 정량 비교할 수 있음을 보여 준다. 예를 들어 학습 초기에는 온라인 SGD가 ADAM보다 일반화 성능이 높지만, 학습 곡선이 교차한 뒤에는 ADAM이 앞서는 현상을 관찰했다. 또한 안정성 경계 현상의 한 형태를 증명했다. 특히 안정성 경계를 정밀하게 특징짓는 무한대 라플라시안의 유사체를 도입한다.

arXiv:2611.19027v1cs.LG

HeteroWear: Sensor-Aware Self-Supervised Learning for Heterogeneous Wearable Activity Recognition

Self-supervised learning for wearable sensing is usually confined to a single dataset or device family, leaving open whether representations transfer across heterogeneous sensor configurations and whether gains come from pretraining rather than architecture or richer sensor input. We present HeteroWear, a sensor-aware self-supervised framework pretrained on an eight-dataset wearable corpus (173 subjects, 358,261 windows) spanning inertial and physiological signals across body locations, devices, and sampling rates. HeteroWear separates within-sensor temporal modeling from cross-sensor relational modeling using sensor-context embeddings, temporal and cross-sensor Transformers, and latent cross-attention fusion. Training combines structured sensor dropout, cross-configuration consistency, and per-axis masked sensor modeling; missing sensors are omitted rather than reconstructed. Under leave-one-dataset-out pretraining and subject-disjoint evaluation on PAMAP2, WISDM, HHAR, HARTH, and UCI-HAR, HeteroWear improves mean macro-F1 from 0.688 to 0.724 over the identical architecture trained from scratch, with the largest gain on HHAR (0.823 versus 0.741), and achieves the highest macro-F1 on four of five benchmarks relative to single-accelerometer supervised baselines. Held-out-device evaluation yields a mean +0.066 macro-F1 improvement. Under 50% test-time channel removal, HeteroWear retains 73.8% of full-channel performance versus 64.1% for the same architecture trained from scratch without sensor dropout. Ablations show that structured sensor dropout primarily drives robustness, while cross-configuration consistency and sensor-context encoding contribute to transfer.

arXiv:2611.19011v1stat.ML

Taking Band-Limited Maximum Likelihood to High Dimensions: Linear Memory, the Parametric Rate, and a Self-Tuning Cut-off

Band-limited maximum likelihood (BLML) estimates a density as the square of a band-limited function. The estimate is non-negative, and when the square root of the true density is band-limited its error falls at the parametric rate $n^{-1}$. Its algorithm bins the data, which is fast only in one or two dimensions: from three on every point has its own bin, the kernel system is dense, and memory grows as $n^2$, 40 GB at $10^5$ points. Whether the rate survives in higher dimension, where kernel estimators slow down, had not been tested. We study dense data, densities that fill their space, not data near a low-dimensional manifold. We show that the binned equations are the stationarity condition of a strictly convex objective and minimise it by block coordinate descent without forming the kernel matrix: memory is linear in $n$, a sweep costs $O(n^2 d)$ and a fit takes about ten, and one A100 GPU fits $10^6$ points in eight dimensions in about ten minutes. On band-limited truths the error then decays as $n^{-1}$ in every dimension we tested, up to eight, while the slopes of kernel estimators flatten from -0.67 to -0.28, and it is 2 to 18 times lower than a neural spline flow's. A streaming fit learns the cut-off, BLML's only tuning parameter, from analytic gradients of the held-out likelihood, for about the cost of one more fit. On real data BLML is the strongest nonparametric estimator we tested: it leads kernel and nearest-neighbour estimators on electricity prices by 0.27 to 0.47 nats per hour, and a tuned kernel estimator on the full POWER and GAS benchmarks by 0.39 and 1.58 nats per point, placing it between early and recent normalizing flows. It loses on densities with a kink.