PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.20995v1stat.CO

CONGA: 구조화된 베이즈 추론을 위해 가우스 올다발 기하를 컴파일하기

CONGA: Compiling Gaussian Fiber Geometry for Structured Bayesian Inference

구조화된 베이즈 모델에서는 작은 매개변수 집합이 주어졌을 때 큰 잠재 블록이 가우스 분포를 따르는 경우가 많다. 그러나 범용 추론 방법은 워밍업 중 이 기하를 다시 학습한다. 본 연구는 이 구조를 이용해 사후분포 추론을 위한 수송 사상을 구성하는 방법을 조사한다. 조건부 평균과 정밀도 행렬은 정확한 아핀 사상을 결정한다. 여기에는 표준정규 블록을 나머지 비가우스 핵심 부분에서 분리하는 대칭 브레니에 사상과 삼각 크노테–로젠블라트 사상이 포함된다. 그러면 KL 목적함수와 상대 피셔 목적함수는 핵심 부분만의 목적함수로 줄어든다. 본 연구는 가우스 블록 후보를 식별하고 구조와 연산 비용에 따라 시간, 스펙트럼 또는 희소 구현을 고르는 컴파일러 CONGA를 소개한다. 주변화하려면 모델로부터 항등 관계를 확립해야 한다. 수치적 근거만 있으면 목표 분포를 보존하는 변수 변환만 허용된다. 검사에 실패한 모델은 그대로 둔다. 스톡–왓슨 인플레이션 모델에서 CONGA를 사용하면 NUTS의 초당 최소 유효 표본 크기(ESS)가 12.5배 높아졌다. 원래 목표 분포에서는 실패한 수렴도 회복했다. 같은 모델에 WALNUTS를 적용한 경우와, 6,760차원 전력 부하 모델을 핵심 좌표 34개로 줄여 NUTS를 적용한 경우가 여기에 해당한다. 그래프를 인덱스로 사용하는 확률장 실험에서는 그래프 채색과 행렬 채움이 사상 선택에 어떤 영향을 주는지 보였다. 원래 목표 분포를 유지하는 편이 나은 사례도 있었다. 코드는 https://github.com/vicgalle/conga 에서 제공한다.

arXiv:2611.20972v1stat.ME

FARCH: 보정된 예측 대역을 위한 함수형 ARCH 모델

FARCH: A Functional ARCH Model for Calibrated Prediction Bands

곡선을 예측할 때는 곡선을 요약하는 몇 개의 스칼라 값과 달리 불확실성 자체를 함수로 다뤄야 한다. 본 연구는 조건부 이분산성을 갖는 함수형 비선형 자기회귀 모델 FARCH를 제안한다. 다음 곡선의 조건부 평균과 조건부 변동성을 비모수 방식으로 함께 예측한다. 곡선 사이의 웨이블릿 준거리에 기반한 커널 가중 방식을 곡선 자체에 먼저 적용한 뒤 제곱 잔차에도 동일하게 적용한다. 두 추정량을 바탕으로 예측 대역을 두 가지 방식으로 구성한다. 점별 대역은 시나리오의 시점별 주변 분위수로 구한다. 상한 노름 기반 균일 대역은 개별 시점에 그치지 않고 예측 경로 전체를 고려하는 의사결정에 맞춰 보정한다. 1996~2009년 프랑스 전국의 30분 단위 전력 수요를 하루 전에 예측하는 과제에서, 조건부 분산을 명시적으로 모델링하지 않는 기존 예측구간 구성법 네 가지와 동일한 절차로 비교했다. FARCH의 균일 대역은 80%, 90%, 95% 수준 모두에서 명목 목표치와 통계적으로 구분되지 않는 점별 포함률을 보였다. 곡선 전체의 포함률은 90.1%로, 가장 성능이 높은 비교 방법의 70.8%보다 유의하게 높았지만 구간은 더 넓었다. 반면 점별 대역의 포함률은 분산을 명시적으로 모델링했는지와 무관하게 목표보다 낮았다. 신뢰할 수 있는 예측 대역을 얻으려면 상태 의존적 변동성과 동시 보정을 각각 고려해 결합해야 한다는 결과다.

arXiv:2611.20951v1math.NA

선형 편미분방정식에 대한 무작위 특징 기법의 수렴 분석

A Convergence Analysis of the Random Feature Method for Linear PDEs

무작위 특징 기법(RFM)은 높은 정확도와 연산 효율로 편미분방정식(PDE)을 푸는 머신러닝 접근법 가운데 두각을 나타낸다. 그러나 RFM의 이론적 토대는 아직 충분히 밝혀지지 않았다. 본 논문은 커널 방법의 틀에서 RFM을 두 가지 측면으로 분석한다. 첫째는 유한 개 무작위 특징으로 근사하는 문제를 소볼레프 노름과 PDE 잔차 준노름에서 다루는 것이다. 둘째는 잡음이 없는 유한 개 배치점 관측값으로 유도된 재생 커널 힐베르트 공간(RKHS)에서 추정하는 것이다. 두 문제를 커널 릿지 회귀(KRR)와 연결하고, 각각의 가정 아래 대응하는 적분 연산자의 고윳값으로 상한과 하한을 구한다. 근사와 추정의 하한을 결합해 무작위 특징 수와 배치점 관측값 수가 동시에 제한될 때의 하한을 확립한다. 활성화 함수의 매끄러움이 고윳값에 미치는 영향도 정량화했다. 유한 차수에서 매끄러운 활성화 함수에는 대수적 상한을, 해석적 활성화 함수에는 늘어난 지수함수 형태의 상한을 얻었다.

arXiv:2611.20660v1cs.LG

그래프 표현 학습을 활용한 혼합유 구간 길이 예측 개선

Enhancing Mixed Oil Length Prediction through Graph Representation Learning

정제 석유 제품을 송유관으로 운송하면 제품이 섞이는 혼합유 구간이 불가피하게 생겨 송유관 운영에 상당한 경제적 부담이 된다. 따라서 혼합유 구간의 길이를 정확하게 예측하는 것이 중요하다. 기존 방법은 머신러닝과 심층 학습 알고리즘을 결합해 비교적 정확하게 예측했다. 그러나 실제 혼합유 표본 사이에 남는 통계적 의존성을 무시해 정확도가 떨어진다. 본 연구는 이런 문제를 해결하기 위해 표본 의존성을 반영한 그래프 표현 학습 모델 SDI-GRL을 제안한다. 표본과 송유관 특징을 그래프의 노드로 표현하고, 의존 관계가 있는 표본을 공통 특징을 통해 연결한다. 메시지 전달로 관련 표본 사이에 정보를 전파하므로 기존 연구에서 고려하지 않은 통계적 의존성을 포착할 수 있다. 혼합유 데이터셋 사례 연구에서 SDI-GRL은 기존 최고 방법보다 성능이 높았으며, 제곱근 평균 제곱 오차(RMSE)와 평균 절대 오차(MAE)를 모두 10% 넘게 줄였다.

arXiv:2611.20567v1cs.LG

서로 겹치는 비선형 관측에서 범함숫값을 보정해 예측하기

Calibrated Functional Prediction from Overlapping Nonlinear Observations

본 연구는 공통 은닉 표 상태의 스칼라 관측값에서 비선형 감사 범함숫값을 예측하는 문제를 다룬다. 슈어 유리 연산자의 경우 국소 가우스 투영을 통해, 서로 겹치는 과제, 반복되는 행 식별자, 행 사이의 의존성을 반영할 수 있는 공통 희소 커널을 얻는다. 공유 상태의 잔차 표본은 양의 준정부호 특징 표현을 통해 해당 커널을 확장한다. 양의 행렬 적분과 표본값을 포함하는 구간은 원래 입력을 실제로 저장한 혼합 예측값과 연결한다. 보정에서의 역할을 정렬한 결과에 대한 교란 경계로, 유한 후보군 전체의 핀볼 손실 위험을 보증한다. 독립적인 전체 손실 기준으로 릿지, 점수 스케일, 잔차 가중치를 선택하고, 과제 순위 보정으로 상한을 구한다. 데이터셋마다 두 과제 크기에서 새 참조 문맥 20개를 평가했다. 벤치마크 모집단 10개에 걸쳐 400개 조건이었다. 데이터셋별 전체 손실 비율의 평균은 2차 커널 대비 0.9977, 조건을 맞춘 전체 몬테카를로 수축 대비 0.9961, 공개 구성 174개의 사후 최솟값 대비 0.9911이었다. 마지막 비율의 대응 참조 부트스트랩 구간은 [0.9898, 0.9927]이다. 계수 허용오차 $10^{-7}$에서 프로필 40개를 평가했을 때, 감마 구적법의 초기 실행 시간은 강화한 Arb/Petras 적분 대비 기하평균으로 0.0646배였다.

arXiv:2611.20411v1stat.ML

순서형 응답이 정렬되지 않은 고차원 전이학습

High-dimensional transfer learning with unaligned ordinal responses

본 연구는 도메인마다 회귀계수, 누적 연결 함수, 임계값이 달라도 적용할 수 있는, 순서형 응답이 정렬되지 않은 고차원 전이학습을 조사한다. 소스와 타깃의 가능도를 합친 뒤 타깃 보정값을 추정하는 표본 분할 알고리즘과 전체 타깃 알고리즘을 개발했다. 적절한 조건에서 두 알고리즘은 매개변수 추정 및 초과 위험에서 미니맥스 최적 수렴률을 달성한다. 시뮬레이션에서는 유한 표본의 추정 및 예측에서 전체 타깃 알고리즘이 표본 분할 알고리즘보다 우수했다. 의료 데이터셋 적용 사례에서는 다섯 범주의 소스 데이터에서 이진 병원 사망 여부를 예측하는 데 정보를 전이했다. 전체 타깃 알고리즘이 타깃만 사용하는 기준선 및 소스와 타깃을 단순히 합치는 기준선보다 예측 성능이 높았다.

arXiv:2611.20387v1stat.ML

밴딧 피드백을 활용한 일반화된 예측 집합

Generalized Prediction Set with Bandit Feedback

불확실성이 크고 예측 오류의 영향이 큰 환경에서 집합값 예측은 각 테스트 사례에 대해 가능한 레이블을 여러 개 제시함으로써 오류의 잠재적 위험을 줄이는 신중하고 강건한 방법이다. 그러나 밴딧 피드백을 받는 온라인 학습 같은 환경에서 이 접근법을 분포 외(OOD) 탐지와 결합하는 연구는 드물다. 밴딧 피드백은 정답 레이블을 직접 알려 주는 대신 선택한 팔 또는 행동이 맞았는지만 학습기에 알려 준다. 따라서 잘못된 행동을 선택하면 실제 클래스 레이블을 알 수 없다. 본 연구는 이 문제를 해결하기 위해 클래스의 정답 레이블을 추정하여 밴딧 피드백 환경에서 집합값 예측과 OOD 탐지를 함께 수행하는 BanditGPS를 제안한다. BanditGPS는 크기가 작고 유용한 정보를 담은 예측 집합을 생성하고, OOD 탐지 성능을 높이며, 모든 정상 클래스의 재현율이 미리 정한 요구 조건을 충족하도록 제어한다. 이 접근법의 손실 함수는 OOD 탐지 성능을 높이는 목표와 예측 집합의 크기를 줄이는 목표 사이의 균형을 조절한다. 이론적으로 후회의 수렴률이 $\tilde{\mathcal{O}}(T^{-1/2})$임을 증명한다. 실험 결과, BanditGPS는 재현율을 효과적으로 제어했으며 OOD 탐지와 유용한 정보를 담은 예측에서 유망한 성능을 보였다.

arXiv:2611.20325v1stat.ML

예측 모델의 정합성 측정

Measuring Coherence in Predictive Models

능동 학습과 같은 여러 순차적 의사결정 절차는 모델의 현재 예측이 새 데이터를 반영한 뒤 내놓을 것으로 기대하는 예측과 일치한다고 암묵적으로 가정한다. 본 연구는 이 성질을 정합성이라고 부른다. 실제로 사용하는 모델 대부분은 정확한 조건화를 통해 갱신하지 않으므로 정합성이 보장되지 않고, 이로 인해 더 나쁜 결정을 내릴 수 있다. 그러나 정합성이 얼마나 어긋나는지 측정하거나 언제 영향을 미치는지 판단하는 일반적인 방법은 아직 없다. 본 연구는 정합성 위반을 측정하고 의사결정에 영향을 미치는 조건을 규명하는 도구를 개발한다. 먼저 최대 평균 불일치(MMD)에 기반한 정합성 위반 비율을 제안한다. 이 지표는 갱신 절차 자체의 예측과 갱신 결과만으로 해당 절차가 정합성에서 얼마나 벗어나는지 측정한다. 또한 임의의 시점에 중단해도 유효한 정합성 검정을 제안한다. 베이즈 실험 설계에서 정합적인 모델에는 동등한 데이터 획득 목적 함수들이 본 연구에서 살펴본 모든 근사 모델에서는 서로 다른 데이터를 선택했다. 정합성 위반 비율은 정합성 위반이 이 목적 함수들을 얼마나 왜곡하는지 반영한다. 본 연구는 결정을 바꾸는 정합성 위반만 포착하는 행동 정합성도 제안한다. 다만 그로 인해 서로 다른 결정을 내릴 때의 비용은 주로 예측 정확도에 따라 달라진다. 순차적 의사결정은 모델의 예측과 갱신 방식 모두에 의존한다. 따라서 정확도와 마찬가지로 정합성도 당연하게 가정하기보다 확인해야 한다.

arXiv:2611.20275v1stat.ML

다양체 인덱스 모델: 증명 가능한 방식으로 통계적·계산적 차원의 저주를 효율적으로 피하기

The Manifold-Index Model: provably and efficiently avoiding the statistical and computational curse of dimensionality

본 연구는 $\mathbb{R}^D$ 안에서 미지의 $m$차원 다양체 $\mathcal{M}$ 주변의 관형 영역을 채우는 설명 변수를 사용해 벡터값 회귀를 연구한다. 다양체 인덱스 모델의 평균 반응은 $F=f\circ\Pi_{\mathcal{M}}$이다. 여기서 $\Pi_{\mathcal{M}}$은 $\mathcal{M}$ 위의 최근접점으로의 사영이며, $f:\mathcal{M}\to\mathbb{R}^p$는 단사일 필요가 없는 연결 함수다. 다중 스케일 비등방성 국소 회귀(MANOR)는 반응이 유사한 설명 변수에 다중 스케일 주성분 분석(PCA)을 적용해 접평면을 추정한다. 이어 국소 기울기의 외적을 모아 추정치를 개선한다. 이때 근방의 접선 방향 폭은 줄이되 법선 방향의 섬유는 온전히 유지한다. 연결 함수의 미분이 립시츠 연속이고 반응의 잡음이 유계라고 가정한다. $p\ge m$이고 본 연구의 기하학적 조건과 표본 추출 조건이 성립하면, 독립 관측값 $n$개에서 평균 접공간 오차는 로그 인자를 제외하고 $n^{-2/(m+4)}$ 차수이며, 적분 제곱 예측 오차는 $m$차원 비모수 수렴률인 $n^{-4/(m+4)}$을 달성한다. 내재 차원, 모델과 스케일의 매개변수, 그리고 다양체 부피를 다양체의 도달 반경(reach)의 $m$제곱으로 나눈 비율을 고정한 스케일링 조건에서는 필요한 표본 크기가 $D+p$에 대해 다항식으로 증가하며, 계산량은 $n$, $D$, $p$에 대해 다항식으로 증가한다. 비단조 연결 함수를 갖는 곡선과 벡터값 반응을 갖는 곡면에서 수치 실험을 수행해 관측된 수렴률을 이론적 경계와 비교한다. 랑주뱅 동역학 예제에서는 근사 다양체 인덱스 모델에 따른 도달 확률 예측을 시험한다.

arXiv:2611.20253v1stat.ML

잠재 블록 모델을 변분 오토인코더에 통합한 요인 분리 표현 학습

Integrating Latent Block Models into Variational Autoencoders for Disentangled Representation Learning

관측값과 잠재 차원을 공동으로 군집화하기 위해 잠재 블록 모델(LBM)을 변분 오토인코더(VAE)에 통합하는 새로운 프레임워크 LBM-VAE를 제안한다. LBM-VAE는 군집화뿐 아니라 블록 구조의 잠재 표현을 제공해 변동 요인이 분리된 표현을 자연스럽게 학습할 수 있게 한다. 기존 방식은 개별 변동 요인을 하나의 잠재 차원에 대응시키는 반면, 제안 방식은 변동 요인을 여러 잠재 차원의 그룹에 걸쳐 부호화할 수 있다. 실험에서 LBM-VAE는 유망한 군집화 성능을 보였으며, 요인 분리 표현 학습에서도 경쟁력 있는 결과를 얻었다. 이는 공동 군집화와 변분 추론을 결합해 구조적이고 해석 가능한 잠재 표현을 학습할 수 있음을 보여 준다.

arXiv:2611.20087v1cs.LG

학습 순서가 망각을 설명하는가? 이전 데이터 없이 파국적 망각을 조기에 감지하는 리 괄호

Does Learning Order Explain Forgetting? The Lie Bracket as an Early-Warning Signal for Catastrophic Forgetting Without Old Data

과제 A, B 순으로 학습한 신경망의 최종 가중치는 B, A 순으로 학습한 신경망과 다르다. 이 차이의 주도항은 두 과제의 그래디언트 장 사이의 리 괄호가 결정한다. Dherin(2023)은 리 괄호가 0이 아닐 때 파국적 망각과 연관될 수 있다고 추측했다. 본 연구는 이 추측을 실험으로 검증한다. Split MNIST, Split Fashion-MNIST, Split CIFAR-10에서 A에 대한 망각 정도는 두 학습 순서 사이에서 A의 손실이 달라지는 정도와 거의 정확히 일치했다(스피어먼 순위 상관계수 ρ = 0.96~1.00). 이어 A의 데이터를 전혀 사용하지 않고 B를 학습하는 초기에 리 괄호로 이 망각을 예측할 수 있는지 살펴본다. A의 학습을 마칠 때 저장한 작은 요약값, 즉 A의 그래디언트와 헤시안의 상위 20개 고윳값·고유벡터 쌍만 사용한다. 이전 과제를 충분히 학습했고 망각이 느릴 때(과제 증분 학습), 저장된 정보에서 계산한 리 괄호는 망각의 순위를 ρ = 0.70~0.81로 예측했다. 탄력적 가중치 통합(EWC) 페널티는 0.33~0.58이었으며, 리 괄호는 A를 원래 데이터로 다시 평가하는 방식과 비슷하거나 더 높은 성능을 보였다. 망각이 빠르면(도메인 증분 학습) 저장해 둔 요약값이 현재 상태를 더 이상 잘 반영하지 못하며, EWC 페널티의 성능이 같거나 더 높았다. 이전 과제의 학습이 불충분하면 리 괄호는 전혀 효과가 없었다. 이 경우 A에 대한 잔여 그래디언트가 한 자릿수 차수만큼 커져 1차 기울기로 인한 성능 저하를 무시할 수 없었기 때문이다. 따라서 리 괄호는 조건이 맞을 때 서서히 진행되는 망각을 조기에 감지하는 데 유용하다.

arXiv:2611.20052v1math.ST

공변량 이동에서의 가중 컨포멀 예측: 과정의 극한, 추정 가중치, 효율성

Weighted conformal prediction under covariate shift: process limits, estimated weights and efficiency

가중 분할 컨포멀 예측은 가능도비 $v=dQ_X/dP_X$로 보정 점수에 가중치를 다시 부여해 공변량 이동에 대응한다. 학습 데이터에 조건부인 포함률은 자기 정규화 가중 경험분포함수 $\hat F_m$의 범함수다. 본 연구는 과정 $\sqrt m(\hat F_m-F_Q)$를 분석한다. 점수가 퇴화하지 않을 때, 이 과정이 $\ell^\infty$에서 가우스 과정 $W(G(t))-F_Q(t)W(K^2)$로 수렴할 필요충분조건은 $\chi^2(Q\|P)<\infty$이다. 여기서 $G(t)=\mathbb{E}_Q[v\mathbf{1}\{S\le t\}]$이고 $K^2=1+\chi^2(Q\|P)$이며, $\sup v$는 수렴에 영향을 주지 않는다. 이 극한으로 여러 수준의 포함률에 대한 결합 분포, 일치성을 갖는 부트스트랩, 수준 전체에서 균등하게 점근적으로 정확한 팽창 보정, 베리-에세엔 유형 수렴률을 얻는다. 가능도비를 추정하는 경우에는 보정용 공변량을 추정에 사용해도 균등 전개가 성립한다. 추정 오차는 공분산 항을 통해 나타나며, 이 항은 참된 비를 아는 오라클보다 분산을 낮출 수 있다. 관측값 쌍을 재표본 추출하는 부트스트랩은 이 효과를 재현한다. 가능도비가 알려졌을 때 가중 컨포멀 임계값이 준모수적으로 효율적일 필요충분조건은 테스트 분포에서 이 비와 포함 여부를 나타내는 지표의 상관관계가 0인 것이다. 이 조건을 만족하지 않을 때에는 명시적인 효율성 보정을 제시한다. $\chi^2(Q\|P)=\infty$이고, 비의 꼬리가 지수 $p\in(1,2)$인 정규 변동을 보이며 꼬리 끝에서 점수와 분리되면, 유한 차원 극한은 $p$-안정 분포를 따른다. 수렴률은 천천히 변하는 인자를 제외하면 $m^{1-1/p}$이다.

arXiv:2611.19882v1math.ST

이산화한 그래디언트 흐름을 이용한 가우스 위치 혼합의 비모수 최대 가능도 추정 보장 알고리즘

Certified Algorithms for Gaussian Location Mixture NPMLEs via Discretized Gradient Flows

본 연구는 피셔-라오 그래디언트 흐름으로 임의 차원 $d\ge 1$에서 가우스 위치 혼합의 근사 비모수 최대 가능도 추정량(NPMLE)을 계산하는 문제를 다룬다. 흐름의 엔트로피 근접 이산화에 기반해 오차를 보장하는 알고리즘을 제시한다. 충분히 작은 $\varepsilon > 0$이 주어지면, 알고리즘은 정확한 유한 차원 표현을 가지며 $\hat L_n-L_n(f_{\tilde\mu})\le\varepsilon$을 만족하는 절대 연속 혼합 측도 $\tilde\mu$를 반환한다. NPMLE의 지지점 수를 $m$이라 하면, $n>2(d+1)(m+1)^2$를 만족하는 거의 모든 데이터셋 $X_1,\cdots, X_n \in \mathbb{R}^d$에 대해 알고리즘의 실행 시간은 $O(n\varepsilon^{-1}\log^{d+2}(1/\varepsilon))$이다. 도출 과정에서 연속 시간 피셔-라오 흐름의 적정성과 수렴 성질도 규명한다. 특히 관측값의 볼록 껍질을 포함하는 공 위의 균등 확률 측도에서 흐름을 시작하면 $\hat L_n-L_n(f_{\mu_t})=O(\log t/t)$임을 보인다. 또한 위와 같은 $n$ 조건을 만족하는 거의 모든 데이터셋에서 최적 점수의 전역 최댓값을 달성하는 점들의 집합은 NPMLE의 지지집합과 같다. 이 점들에서 최적 점수의 헤시안은 비퇴화한다. 이는 Polyanskiy와 Sellke(2025)의 결과를 고차원으로 확장한다.

arXiv:2611.19850v1stat.ML

Q 학습의 가우스 근사에 대한 정밀한 수렴률

Sharp Gaussian Approximation for Q-Learning

가우스 근사는 강화학습에서 온라인 통계적 추론의 기반을 제공한다. 본 연구는 폴리악-루퍼트 평균화를 적용한 비동기 Q 학습에서 바서슈타인 거리로 측정한 가우스 근사의 정밀한 비점근 수렴률을 확립한다. 반복 횟수를 $n$이라 하면, 상한 $\widetilde{O}(n^{-1/4})$과 로그 인자를 제외하면 이 상한과 일치하는 하한을 증명한다. 벨만 연산자의 비선형성 때문에 Q 학습은 선형 확률 근사보다 분석하기 어렵다. 비동기 갱신에서는 마르코프 잡음으로 인해 분석이 더 복잡해진다. 본 연구는 벨만 연산자의 비선형성, 마르코프 잡음, 유한 표본의 공분산 차이에서 비롯하는 오차를 각각 분리한다. 특히 벨만 연산자가 선형이어도 마르코프 잡음은 피할 수 없는 편향을 일으킨다. 이 편향과 공분산 차이 사이의 절충이 수렴률을 결정한다. 동기 설정으로 분석을 확장해 정밀한 수렴률 $\widetilde{O}(n^{-1/2})$도 확립한다.

arXiv:2611.19783v1stat.ML

조건부 자산 가격 결정 트랜스포머

Conditional Asset Pricing Transformer

본 논문은 어텐션으로 기업 사이의 비선형 상호작용을 포착해 초과 수익률을 예측하는 조건부 자산 가격 결정 트랜스포머(CAP-T)를 제안한다. 첫 단계에서 트랜스포머로 조건부 기대 수익률을 추정하고, 그 잔차에 커널 가중 주성분 분석을 적용해 국소 요인 적재 공간을 추정한다. 조건부 평균을 이 공간에 사영하면 요인 위험 보상과 조건부 가격 괴리를 분리할 수 있다. 두 번째 단계에서는 각 성분을 별도의 트랜스포머로 학습한 뒤 두 예측값을 결합해 수익률을 예측한다. 제안 프레임워크는 수익률을 조건부 가격 괴리, 요인 위험 보상, 평균을 뺀 요인 성분, 예측할 수 없는 혁신 성분으로 분해한다. 근사 및 일반화 오차의 경계를 확립하고, 첫 단계의 예측 오차가 국소 요인 추정과 성분 학습을 거치며 어떻게 전파되는지 규명한다. 이를 통해 조건부 가격 괴리, 요인 적재값, 요인 위험 프리미엄에 대한 통계적 보장을 제시한다. 마지막으로 시뮬레이션과 실증 연구에서 제안 방법이 예측과 해석에 도움이 됨을 보인다.

arXiv:2611.19772v1stat.ML

온라인 커널 회귀를 위한 폭이 최적에 가까운 순차 신뢰구간

Tight Sequential Confidence Intervals for Online Kernel Regression

본 연구는 커널에 대한 최악의 경우를 기준으로 재생 커널 힐베르트 공간(RKHS) 원소의 온라인 신뢰구간에 대한 정밀한 최소최대 폭을 규명한다. 이는 Vakili 등의 2021년 미해결 문제를 처음 제시한 이산 시간 형태로 해결한다. 학습기는 적응적으로 선택한 점에서 $y_i=f(x_i)+\epsilon_i$를 관측한다. 이때 $\|f\|_{\mathcal H_k}\le B$이고 잡음은 독립·동일 분포의 $R$-부분 가우스 잡음이다. 학습기는 구간 $|f(x)-\mu_n(x)|\le\rho_n(\delta)\sigma_n(x)$를 보고한다. 여기서 $\mu_n$과 $\sigma_n$은 정규화 매개변수 $\lambda$를 갖는 대리 가우스 과정 모델의 사후 평균과 표준편차다. 고정 커널의 최소최대 신뢰구간 폭을 $\rho_n^*(\delta)$라 하자. 선형 커널과 주기적 소볼레프 커널의 합을 사용하면, 충분히 큰 모든 $n$과 모든 $\delta\in(0,1/4]$에 대해 $\rho_n^*(\delta)\asymp B+(R/\lambda)\sqrt{\gamma_n+\log(1/\delta)}$임을 보인다. 여기서 $\gamma_n$은 최대 정보 이득이며 $n$에 대해 다항식으로 증가한다. Lattimore(2023)에 기반해 고정된 2차원 영역에서 적응적 실험 설계를 구성한다. 가우스 잡음 아래에서 이 설계를 사용하면, 미리 정한 점의 정규화 오차가 일정한 확률로 $\Omega(B+(R/\lambda)\sqrt{\gamma_n})$이다. 따라서 커널과 온라인 설계에 대한 최악의 경우 신뢰구간 폭이 다항 로그 규모라는 추측은 성립하지 않는다.

arXiv:2611.19753v1stat.ML

수치 풀이기가 정의한 물리 제약 다양체 위에서 자기회귀 신경 연산자 학습하기

Learning Autoregressive Neural Operators on Solver-Defined Physical Constraint Manifolds

자기회귀 신경 연산자는 학습한 전이를 반복 합성해 시간 의존 편미분방정식(PDE)의 풀이기를 근사한다. 그러나 이렇게 얻은 상태가 수치 문제의 이산 제약을 계속 충족한다는 보장은 없다. 본 연구는 각 속도 상태가 수치 풀이기의 비압축성 조건과 지정된 경곗값을 모두 만족해야 하는 비압축성 유동에서 이 문제를 연구한다. 자기회귀 연산자 학습을 수치 풀이기가 정의하는 아핀 가능 집합 사이의 사상으로 정식화한다. 이 전이 원리를 사영 잔차로 구현한 PCM-NO를 제안한다. 신경망 백본은 상태 증가량의 후보를 예측하고, 고정된 접공간 사영이 허용되는 성분을 추출하며, 거리 척도에 따른 리트랙션이 갱신된 상태를 지정된 가능 집합에 되돌린다. 아핀 제약 문제를 정확히 풀면 전이 결과가 가능 집합 안에 머문다. 또한 아핀 항등식으로 허용 갱신량의 매개변수화와 상태 수준의 닫힘을 구분할 수 있다. 근사적으로 풀 때는 접공간만 사용하는 잔차에 대해 누적 오차의 상한을 구할 수 있다. 매 단계에서 리트랙션을 적용하면 제약 위반의 크기가 현재 풀이 단계에서 달성한 잔차 수준으로 돌아간다. 주기적 나비에-스토크스 유동과 덮개 구동 공동 유동 실험에서 PCM-NO는 긴 자기회귀 롤아웃과 매개변수, 경곗값, 해상도가 바뀌는 조건에서 수치 풀이기 수준의 제약을 더 잘 보존했다. 분포 내 평가와 가혹한 조건의 평가 모두에서 롤아웃 오차가 더 낮았고 유동에 특화된 진단 지표도 더 좋았다.

arXiv:2611.19710v1stat.ML

인과적 사전 데이터 적합 신경망을 위한 사실적·반사실적 결과의 공동 학습

Joint Learning of Factual and Counterfactual Worlds for Causal Prior-data Fitted Networks

처치 효과의 추정은 여러 과학 분야의 핵심 과제이며, 다른 조건이었을 때 어떤 결과가 나왔을지 반사실적으로 추론해야 한다. 하지만 현실에서는 각 단위가 실제로 놓인 조건에서의 결과만 관측할 수 있다. 따라서 실제 데이터로 학습하는 모델은 같은 단위의 사실적 결과와 반사실적 결과를 함께 학습할 수 없다. 두 조건의 결과를 모두 생성할 수 있는 합성 환경에서만 이를 다룰 수 있다. 최근 사전 데이터 적합 신경망(PFN)에 관한 연구는 합성 데이터로만 사전학습한 모델도 현실의 예측 문제로 전이할 수 있음을 보여 줬다. 이 방식은 인과 효과 추정에도 적용됐다. 그런데 기존 인과적 PFN은 전적으로 합성 데이터를 사용하면서도 현실의 제약을 학습 목적 함수에 그대로 적용한다. 각 단위에 대해 한 조건의 결과만 학습한다. 이 때문에 두 조건 사이의 의존 관계가 사라진다. 처치 효과의 밀도는 기본적으로 두 결과가 독립이라는 가정에 의존하지만 실제로는 이 가정이 성립하기 어렵다. 본 연구는 인과적 PFN이 각 단위의 사실적 결과와 반사실적 결과의 결합 분포를 학습하는 공동 학습 방식을 제안한다. 결합 분포에서 반응과 개별 처치 효과의 밀도를 모두 얻는다. 추론 시에는 단위 간 최적 수송을 적용해 평균 처치 효과의 밀도를 근사한다. 따라서 두 조건 사이의 의존 관계를 고려하면서 세 밀도를 함께 제공하는 첫 인과적 PFN 접근법이다. 기존 인과적 PFN에 공동 학습과 최적 수송을 적용하고, 다양한 인과 상황을 다루는 반합성, 합성, 실제 벤치마크에서 평가했다. 공동 학습 모델은 대부분의 설정에서 기준선보다 점추정과 불확실성 정량화 성능을 유의하게 개선했다. 이는 인과적 PFN에 공동 학습이 더 적합한 학습 방식임을 시사한다.

arXiv:2611.19702v1stat.ML

하키스틱 발산을 기준으로 한 이산 분포의 최소최대 추정

Minimax Estimation of Discrete Distributions under Hockey-stick Divergence

본 연구는 독립 표본에서 하키스틱 발산을 기준으로 이산 분포를 추정하는 문제를 처음 다룬다. 가능한 값의 개수, 표본 수, 발산의 매개변수에 따른 최소최대 기대 손실의 비점근 상한과 하한을 제시한다. 상수를 더하는 추정량으로 상한을 달성하고, 베이즈 위험 논증으로 하한을 도출한다. 상한과 하한 모두 문제의 매개변수에 따라 다항식 영역과 지수 영역 사이의 전이가 나타남을 보여 준다.

arXiv:2611.19653v1stat.ML

잡음 제거 오토인코더의 기하학적 이해와 이미지 잡음 제거 응용

A Geometric Understanding of Denoising Autoencoder with Applications to Image Denoising

잡음 제거 오토인코더는 잡음이 섞인 관측에서 깨끗한 데이터를 복원하는 데 높은 실험 성능을 보였다. 그러나 그 바탕이 되는 통계적 성질은 충분히 연구되지 않았다. 본 논문은 다양체 가설 아래에서 잡음 제거 오토인코더를 연구한다. 깨끗한 데이터는 고차원 주변 공간에 매장된 저차원 매끄러운 다양체 위에 있고, 관측값에는 등방성 가우스 잡음이 더해진다고 가정한다. 단일 다양체, 쌍마다 서로 떨어진 다양체들의 유한 합집합, 서로 교차하는 다양체들의 유한 합집합이라는 세 기하학적 조건에서 일반화 보장을 확립한다. 국소 좌표계 표현, 단위 분할, 신경망 근사로 기대 제곱 복원 오차의 상한을 도출한다. 단일 다양체와 서로 떨어진 다양체의 합집합에서는 오차가 세 항으로 이루어진다. 표본 크기에 따라 달라지는 $n^{-2/(d+2)}\log^4 n$ 차수의 통계 항, 접선 방향 잡음으로 생기는 $d\sigma^2/D$ 차수의 잔차 항, 다양체 사영이 실패할 때 발생하는 지수적으로 작은 꼬리 항이다. 여기서 $D$는 데이터를 담는 주변 공간의 차원, $d$는 깨끗한 데이터 다양체의 내재 차원, $\sigma^2$는 잡음 크기 제곱의 기댓값이다. 다양체가 교차하는 경우에는 교차점 근방의 확률 질량에 따라 결정되는 추가 모호성 항을 확인한다. 합성 다양체와 실제 이미지 데이터셋을 사용한 수치 실험은 예측한 표본 크기 스케일링 법칙을 뒷받침하고, 다양체의 교차점 근처에서 복원이 더 모호해짐을 보여 준다.