PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2603.13662v2stat.ME

대규모 인과추론에서 커널 기반 추정량을 위한 빠른 불확실성 정량화

Fast Uncertainty Quantification for Kernel-Based Estimators in Large-Scale Causal Inference

커널 방법은 인과추론에서 처치 효과 추정, 정책 평가, 정책 학습 등의 과제에 널리 사용된다. 부트스트랩은 적용 범위가 넓어 불확실성 정량화의 표준 도구이다. 국가 인구동태통계시스템(NVSS)의 2023년 미국 출생 데이터처럼, 등록된 출생 3,605,081건(코호트 제한 후 분석 표본은 2,980,739건)을 포함하는 대규모 데이터셋이 점점 많아지면서 이러한 방법의 계산 요구량이 크게 증가한다. 커널 방법은 표본 크기에 따라 확장성이 낮은 것으로 알려져 있으며, 부트스트랩이 요구하는 반복적인 재적합으로 인해 이 한계는 더욱 심화된다. 그 결과 커널 기반 추정량에 대한 부트스트랩 기반 추론은 대규모 환경에서 계산적으로 불가능해질 수 있다. 본 논문에서는 Kosko 등(2023)의 인과 Bag of Little Bootstraps(cBLB) 알고리즘을 커널 방법으로 확장하여 이러한 문제를 해결한다. 제안한 접근법은 부표본추출과 재표본추출을 결합하여 계산 확장성을 달성하면서도 1차 불확실성 정량화와 점근적으로 올바른 포함 확률을 유지한다. 세 가지 대표적 구현, 즉 커널화된 증강 결과가중 학습, 커널 기반 미니맥스 가중, 커널 서포트 벡터 머신을 이용한 이중 기계학습에 대해 방법을 평가한다. 시뮬레이션에서 제안한 방법이 계산 비용의 일부만으로 명목 포함 확률을 갖는 신뢰구간을 산출함을 보인다. 또한 NVSS 데이터셋을 사용하여 흡연량과 무관한 흡연 여부가 출생 체중에 미치는 효과와 최적 처치 체제를 추정하는 실제 응용에서 그 유용성을 입증하며, 이 규모에서 표준 부트스트랩은 계산적으로 엄청나게 비싸 사실상 불가능하다.

arXiv:2602.16265v3stat.ML

Wasserstein 및 Gromov-Wasserstein 최적 수송 계획의 희소성, 극단 구조, 단조성에 관하여

On sparsity, extremal structure, and monotonicity properties of Wasserstein and Gromov-Wasserstein optimal transport plans

본 노트는 표준 선형 최적 수송(OT) 틀과 비교하여 Gromov-Wasserstein(GW) 거리의 몇 가지 핵심 성질을 자기 완결적으로 개관한다. 구체적으로 다음 질문을 탐구한다. GW 최적 수송 계획은 희소한가? 어떤 조건에서 순열 위에 지지되는 최적 계획이 존재하는가? 최적 계획은 일종의 순환 단조성을 만족하는가? 특히 조건부 음/양 정부호(CND/CPD) 성질을 제시하고, 이 성질이 성립할 때 희소하며 순열 위에 지지되는 GW 최적 계획이 존재함을 보인다. 마지막 절에서는 CND 또는 CPD 가정을 제거했을 때 어떤 순열도 최적이 아닌 예도 제시한다.

arXiv:2602.12683v3cs.LG

근접 연산자 관점에서 본 플로 매칭

Flow Matching from Viewpoint of Proximal Operators

본 논문은 목표 분포의 지지집합이 저차원 다양체인 다양체 가설 하에서 최적 수송 조건부 플로 매칭(OT-CFM)의 동역학을 논의한다. 먼저 OT에 대한 확장된 브레니어 포텐셜을 이용하여 벡터장의 정확한 근접 표현을 유도한다. 이 벡터장은 디노이저로 표현될 수 있으며, 디노이저는 해당 포텐셜 함수와 연관된 근접 연산자로 제시된다. 벡터장의 이러한 명시적 근접 형태를 바탕으로, 동역학의 리아푸노프 지수를 이용하여 초기점에 대한 섭동에 대한 다양체 안정성을 분석한다. 볼록 해석의 도구로 국소적 거동을 분석함으로써, 다양체에 대한 법선 방향의 섭동에 대해서는 동역학이 선형적으로 수축하고 접선 방향의 섭동은 보존됨을 보이며, 이는 섭동에 대한 다양체 구조의 안정성을 함의한다. 모집단 OT에 관한 이론적 논의를 뒷받침하기 위해, 정칙성 및 안정성 가정 하에서 신경망 학습을 사용하는 미니배치 OT-CFM이 모집단 OT-CFM으로 수렴함을 또한 증명하며, 이때 수렴률 지수는 데이터 다양체의 내재 차원에 의해 결정된다. 합성 데이터, MNIST, CIFAR-10에 대한 실험은 예측된 기하학적 거동을 뒷받침한다.

arXiv:2602.01953v2cs.LG

매개변수화된 조건부 분포를 갖는 심층 다변량 모델

Deep Multivariate Models with Parametric Conditionals

본 논문은 이질적인 확률변수 집합에 대한 심층 다변량 모델을 다룬다. 컴퓨터 비전의 맥락에서 이러한 집합은 예를 들어 이미지, 분할, 이미지 속성, 잠재 변수로 구성될 수 있다. 이러한 모델을 개발할 때 기존 연구의 대부분은 응용 과제에서 출발하여 선택한 과제의 요구에 맞게 모델 구성 요소와 그 의존성을 설계한다. 이는 결과 모델을 다른 하위 과제에 적용할 수 있는 범위를 제한한다는 단점이 있다. 이에 반해 본 논문은 각 변수 그룹이 나머지 변수에 조건화된 조건부 확률분포를 통해 결합 확률분포를 표현할 것을 제안한다. 이러한 모델은 사실상 가능한 모든 하위 과제에 사용될 수 있다. 모델의 학습은 매개변수화된 마르코프 연쇄 커널을 그 극한 분포의 데이터 우도를 최대화하도록 훈련하는 방식으로 접근할 수 있다. 이는 광범위한 준지도 학습 시나리오를 허용한다는 추가적인 장점도 있다.

arXiv:2510.22953v3cs.LG

다양체 근사가 강건한 커널 정렬을 이끈다

Manifold Approximation leads to Robust Kernel Alignment

중심화 커널 정렬(CKA)은 표현을 비교하고, 신경망의 동등성을 판별하며, 신경과학 연구를 수행하는 데 널리 쓰이는 지표이다. 그러나 CKA는 기저 다양체를 고려하지 않으며 다수의 휴리스틱에 의존하여 데이터의 스케일에 따라 다르게 동작한다. 본 연구에서는 정렬 과제에 다양체 기하(즉, 국소 이웃)를 반영하는 다양체 근사 커널 정렬(Manifold-approximated Kernel Alignment, MKA)을 제안한다. 우리는 MKA의 이론적 틀을 도출한다. 이 구성은 표현에 의존하는 차수 가중을 제거하고, 닫힌 형태의 정렬 점수를 제공하며, 각 행에 국소 마르코프 전이 분포라는 확률적 해석을 부여한다. 또한 이웃 크기에 대한 커널 수준 및 점수 수준의 안정성을 증명한다. 합성 데이터셋과 실제 사례에 대한 실증 평가를 수행하여 MKA를 기존 방법들과 특성화하고 비교한다. 통제된 합성 실험에서 MKA는 하이퍼파라미터에 일관되게 덜 민감하며 선택된 위상 보존 관계를 포착한다. 대규모 벤치마크에서 MKA는 비전 분야에서 가장 강력한 종합 성능을 보이고, 그래프에서는 경쟁력이 있으며, 여러 NLP 평가에서는 CKA보다 약하다. 우리의 결과는 다양체를 고려한 커널 정렬이 표현을 측정하기 위한 견고한 토대를 제공하며 국소 이웃 기하가 중요한 경우에 유용할 수 있고, 표현 학습에도 응용될 가능성이 있음을 시사한다.

arXiv:2510.10140v3cs.LG

Adversarial Attacks on Downstream Weather Forecasting Models: Application to Tropical Cyclone Trajectory Prediction

Deep learning-based weather forecasting (DLWF) models leverage past weather observations to generate future forecasts, supporting a wide range of downstream applications, including tropical cyclone (TC) prediction. In this paper, we investigate the vulnerability of these models to adversarial attacks, where subtle perturbations to upstream forecasts can alter downstream TC trajectory predictions. Crafting perturbed inputs to steer downstream outputs toward attacker-specified trajectories is a challenging problem for several reasons. First, conventional TC detection systems are opaque, non-differentiable black boxes, making standard gradient-based attacks infeasible. Second, the extreme rarity of TC events leads to a severe class imbalance problem, making it difficult to develop attack methods that produce realistic-looking cyclone paths aligned with target trajectories. To overcome these limitations, we propose Cyc-Attack, a novel method for perturbing the forecasts of DLWF models to generate adversarial trajectories. The proposed method uses a differentiable surrogate model to approximate the TC detector's output, enabling the application of gradient-based attacks. Cyc-Attack also employs a skewness-aware loss function with a kernel dilation strategy to address the severe class imbalance problem. Distance-based gradient weighting and regularization strategies are also introduced to constrain perturbations to eliminate unrealistic-looking TC paths. Our experiments show that Cyc-Attack achieves a higher true positive rate in matching the target trajectories, along with lower false alarm rates and stealthier perturbations than conventional attack methods. We further demonstrate that the adversarial upstream forecasts generated by Cyc-Attack can be leveraged as initial guidance to train an end-to-end model for learning adversarial input samples that would induce target trajectories.

arXiv:2509.05894v2math.AG

ReLU 신경망의 토릭 기하

Toric geometry of ReLU neural networks

연속 구간별 선형 함수 $f:\mathbb{R}^{n_0} \to \mathbb{R}$와 고정된 피드포워드 ReLU 신경망 구조가 주어졌을 때, 정확한 함수 실현 문제는 해당 구조의 네트워크가 언제 $f$를 실현하는지를 묻는다. 반면 표현력은 주어진 구조가 정확히 실현할 수 있는 모든 함수를 특성화하는 문제이다. 이러한 질문을 체계적으로 다루기 위해, 우리는 토릭 기하와 ReLU 신경망 사이의 연결을 확립하여 대수기하학의 도구로 그 구조를 분석할 수 있게 한다. 유리수 가중치를 갖는 편향 없는 ReLU 네트워크에서 출발하여, 해당 네트워크와 연관된 ReLU 팬(fan), ReLU 토릭 다양체, ReLU Cartier 인자를 정의한다. 본 연구는 또한 열대 기하와 토릭 기하를 연관 짓는데, 전자는 ReLU 네트워크의 조합론적 데이터를 포착하고 후자는 그 기저의 기하 구조를 복원한다. 응용으로서, 유리수 가중치를 갖는 편향 없는 얕은 ReLU 네트워크로 실현 가능한 함수에 대한 완전한 특성화를 얻는다. 이 특성화는 ReLU Cartier 인자와 토러스 불변 곡선의 교차수로 표현되며, 구간별 선형 함수를 얕은 성분과 비얕은 성분으로 분해하는 결과로 이어진다.

arXiv:2507.18520v3stat.ML

이질적 잡음 하에서 고차원 데이터의 유클리드 기하 복원

Recovering the Euclidean Geometry of High-Dimensional Data Under Heterogeneous Noise

쌍별 유클리드 거리는 고차원 데이터의 단순한 기하학적 표현을 제공하며 군집화, 시각화, 매니폴드 학습을 비롯한 많은 데이터 분석 방법의 기반이 된다. 그러나 실제 응용에서 이러한 거리는 서로 다른 데이터 점이 서로 다르고 잠재적으로 큰 잡음 수준을 갖는 이질적 잡음에 의해 심하게 훼손될 수 있다. 이러한 잡음은 거리를 불균일하게 왜곡하여 기저 데이터 기하를 잘못 표현하게 만든다. 본 연구에서는 훼손된 쌍별 거리로부터 기저의 깨끗한 유클리드 기하를 그래도 복원할 수 있는지를 묻는다. 우리는 이 질문에 긍정적으로 답하며, 의외로 잡음 크기가 관측마다 크게 달라지더라도 저차원 기하를 갖는 광범위한 고차원 설정에서 이러한 복원이 가능함을 보인다. 깨끗한 데이터 구조나 잡음 분포에 대한 사전 지식 없이 깨끗한 쌍별 거리를 복원하는 원리적 접근법을 개발하고 확률적 복원 보장을 수립한다. 특히 특징 차원과 데이터셋 크기가 동시에 증가함에 따라 복원 오차는 다항식 속도로 0으로 수렴한다. 합성 데이터셋에 대한 실험은 어려운 영역에서도 유클리드 기하가 정확하게 복원되며 쌍별 거리에 의존하는 후속 방법의 강건성이 향상됨을 보여 준다. 실제 단일 세포 RNA 시퀀싱 데이터에 적용했을 때 제안 방법은 국소 이웃 구조를 안정적으로 복원하여 많은 후속 분석에서 사용되는 정확한 최근접 이웃 식별을 가능하게 한다.

arXiv:2506.04948v4math.OC

Wasserstein 분포적 강건 최적화를 위한 엔트로피 평활화와 기울기 근사

Entropic smoothing and gradient approximation for Wasserstein distributionally robust optimization

Wasserstein 분포적 강건 최적화는 데이터 분포가 변화할 수 있는 상황에서 기계학습의 모델 적합을 위한 틀을 제공한다. 우리는 엔트로피 평활화를 통해 원래 목적함수의 표본 기반 근사를 얻는 이 문제의 정규화된 변형을 연구한다. 정규화 매개변수가 0으로 소멸함에 따라 근사 기울기가 정규화되지 않은 목적함수의 부분기울기로 수렴함을 증명하며, 이를 통해 확률적 경사법에 대한 수렴 보장을 가능하게 한다. 일반적인 가정 하에서 정성적 수렴 결과를 얻고, 추가적인 정則성 하에서 수렴률을 제시한다. 특히 반복에 따라 정규화 수준을 낮출 때, 표본 오차를 제외하고 정규화되지 않은 목적함수 값의 수렴률을 증명한다. 또한 우리의 분석은 최댓값 함수의 부분미분을 그 매끄러운 근사의 기울기로 근사하는 독립적으로 흥미로운 결과와, Wasserstein 분포적 강건 최적화에서 최적 쌍대 변수에 대한 증가율 기반 하한을 함께 도출한다.

arXiv:2505.17965v3math.OC공식 코드 · Papers with Code

확률적 경사 하강법의 편향 최적 경계

Bias-Optimal Bounds for Stochastic Gradient Descent

확률적 경사 하강법(SGD)의 비점근적 분석은 일반적으로 편향 항과 분산 항으로 분해되는 경계를 제공한다. 본 연구에서는 편향 성분에 초점을 맞추어 SGD가 결정론적 경사 하강법의 최적 수렴 거동을 어느 정도까지 따라갈 수 있는지를 연구한다. 목적함수의 (강)볼록성과 매끄러움만을 가정하여, 상수 스텝 크기 $\gamma L \in (0,2)$의 전 범위에 대한 새로운 경계를 도출한다. 이는 볼록 및 강볼록 경우 모두에서 추가적인 분산 가정 없이는 이전에 탐구되지 않았던 임계 및 큰 스텝 크기 영역을 포함한다. 이 경계들은 모든 비임계 스텝 크기에 대해 편향 항이 경사 하강법의 최악 경우 수렴률과 일치한다는 의미에서 편향 최적이다. 임계 스텝 크기의 경우 최적 편향 항을 갖는 경계는 얻을 수 없지만, 이 최적 편향을 임의로 가깝게 근사할 수 있음을 보인다. 즉각적인 응용으로서, 정則성 가정 없이 확률적 근접 알고리즘에 대한 새로운 복잡도 경계를 제시한다.

arXiv:2410.06191v2cs.LG

학습된 2층 ReLU 신경망을 이용한 회귀에서의 양성 과적합

Benign Overfitting for Regression with Trained Two-Layer ReLU Networks

우리는 경사 흐름으로 학습된, ReLU 활성화 함수를 갖는 2층 완전연결 신경망을 이용한 최소제곱 회귀 문제를 연구한다. 첫 번째 결과는 일반화 결과로, 기저 회귀 함수나 잡음이 유계라는 것 외에는 어떠한 가정도 요구하지 않는다. 우리는 신경 접선 커널 영역에서 분석하며, 경사 흐름을 암묵적 정규화기로 간주하여 초과 위험을 추정 오차와 근사 오차로 분해함으로써 일반화 결과를 도출한다. 신경망 맥락에서 이러한 분해는 경사 하강법에 대한 새로운 관점이며, 균등 수렴의 함정을 피하는 데 도움이 된다. 본 연구에서는 또한 동일한 설정에서 학습된 신경망이 데이터에 과적합됨을 증명한다. 이 결과들을 종합하여, 임의의 회귀 함수에 대한 유한 너비 ReLU 신경망의 양성 과적합에 관한 최초의 결과를 확립한다.

arXiv:2611.18454v1stat.ME

Dynamic bigraphical Mat\'ern--Whittle processes: learning dependence graphs among spatial-temporal fields

Many studies record several variables at the same sites over a sequence of periods, such as pollutant concentrations at monitoring stations or case counts of infectious diseases by district. A central question concerns the dependence between the variables and its change over time. We develop dynamic bigraphical Mat\'ern--Whittle (DBMW) processes for such data. Each variable has a spatial field that evolves by autoregression. A graph over the variables couples the temporal innovations of the fields. Its links appear and vanish over time, and a link may change sign. A graph Laplacian on the sites gives the spatial structure, and a canonical exponential family links the fields to Gaussian, count or binomial responses. The joint distribution of the latent fields over all sites, variables and periods factorizes over the eigenmodes of the graph Laplacian, and its normalizing constant is free of the graph and of the dynamics. Given the fields, the posterior of the time-varying signed graph is therefore exact, by forward--backward recursions. The estimator has three steps: a fit without a graph, which also gives the switching rates with an interval, the exact graph posterior, and a joint refit. In simulations, DBMW recovers the graph with higher average precision than graphical lasso, time-varying graphical lasso and Poisson log-normal networks, and it predicts withheld data better than a standard spatio-temporal model that fits each variable separately, with a Mat\'ern field and autoregressive evolution, by integrated nested Laplace approximation. In weekly air-quality data from 288 U.S. sites, it recovers the seasonal change of sign between ozone and nitrogen dioxide. In German surveillance data on seven diseases, the district-level links stay positive and stable through the COVID-19 pandemic.

arXiv:2611.17447v1math.OC

저랭크 섭동 하의 분포적 강건 위험 평가

Distributionally Robust Risk Evaluation with Low-Rank Perturbations

행 공간과 열 공간이 관측치 간에 공유되는 저랭크 행렬로 제한된 섭동 하에서 분포적 강건 위험을 연구하며, 이 제한이 최악 사례 위험을 얼마나 희생시키는지와 제한된 최악 사례를 어떻게 계산하는지에 초점을 둔다. 모멘트 또는 Wasserstein 예산 하에서 제한 없는 최악 사례 위험과 저랭크 최악 사례 위험 사이의 격차에 대한 정량적 한계를 도출하고, 격차가 사라지는 조건을 규명하며, 손실 없는 최소 행 및 열 차원을 식별한다. 최악 사례 섭동을 생성하기 위해 곡률 보정된 오목 문제에 투영 경사 상승법을 적용하고 계산 가능한 위험 인증서를 도출한다. 보정된 목적 함수에 대해 전역 준선형 수렴을, 예산 제약이 충분히 활성일 때 최악 사례 분포로의 선형 수렴을 증명한다.

arXiv:2611.17745v1math.OC

Polyak-Łojasiewicz 논문: 10년 회고

The Polyak-{\L}ojasiewicz Paper: A 10-Year Retrospective

2016년에 우리는 독자들이 어떻게 반응할지 확신하지 못한 채, 오래된 아이디어에 "Polyak-Lojasiewicz(PL) 조건"이라는 이름을 도입하는 논문을 썼다. 이 논문은 결국 예상보다 큰 영향을 미쳤고, 우리는 2026 PKDD ECML Test of Time Award를 받게 되어 놀랍고도 영광스럽게 생각한다. 10년이 지난 지금의 시각에서, 본 노트는 PL 조건에 대한 비공식적이고 솔직한 회고를 제시한다. 논문의 기원을 돌아보고, 주요 정리의 AI 지원 개선 버전을 제시하며, 이 연구에 대한 비판을 검토하고, 관련된 다양한 아이디어와 확장을 논의한다.

arXiv:2611.17609v1stat.ME

$\beta$ 모형에서의 동질 추적

Homogeneous pursuit in $\beta$ model

빅데이터 시대가 도래하면서 네트워크 형태의 데이터가 다양한 분야에서 나타나고 있다. 수많은 연결을 가진 핵심 단위를 드러내고 참 모형을 복원하기 위해, 통계학자와 공학자의 기대에 부응하도록 희소성 제약 하의 $\beta$ 모형이 제안되었다. 이 네트워크 모형은 Erd\H{o}s-R\'enyi 모형의 뛰어난 성질을 계승할 뿐만 아니라, 희소성 모수 $s$를 조정함으로써 차수 이질성도 나타낸다. 본 논문에서는 원-쌍대 알고리즘으로 구현되는 $\ell_0$ 제약 최대가능도 추정 방법인 동질 추적(Homogeneous Pursuit, HP)을 제안한다. 계산의 어려움을 완화하기 위해 해당 목적함수의 대리 함수를 찾아 원-쌍대 과정을 통해 Majorization Minimization 알고리즘을 유도한다. 더 나아가 면밀한 평가 후, 이렇게 얻은 알고리즘이 수축 사상의 방식으로 양호한 수렴 속도 성질을 가짐을 보인다. 일부 완만한 조건 하에서, 희소성 수준을 선택하기 위해 제안한 일반화 정보 기준(GIC$^*$)은 참값을 찾는 데 일치성을 가진다. HP와 GIC$^*$를 결합하면 적응적 절차인 HP-GIC$^*$가 되며, HP-BIC는 BIC로 희소성을 선택하는 동일한 추정 방법을 가리킨다. 마지막으로 모의실험 연구는 보고된 비교에서 GIC$^*$가 BIC에 비해 지지집합 복원을 개선하며, HP가 희소 벤치마크 방법과 비슷한 추정 정확도를 유지하면서 더 낮은 계산 비용을 달성함을 보여 준다. 마이크로파이낸스 응용은 네트워크 중심성과 참여 사이의 연관성을 연구하는 데 HP-GIC$^*$를 활용하는 예를 보여 주며, 보고된 마을 단위 회귀에서 적합도가 향상되었다.

arXiv:2611.17892v1cs.CE

초탄성 법칙 집단을 위한 계층적 베이즈 물리 증강 신경망: 희소하고 잡음 있는 데이터로부터의 시편 변동성과 불확실성

Hierarchical Bayesian physics-augmented neural networks for populations of hyperelastic laws: specimen variability and uncertainty from scarce, noisy data

연조직과 같은 재료의 초탄성 법칙은 시편마다 다르며, 시험할 수 있는 시편은 흔히 소수에 불과하다. 물리 증강 신경망(PANN)은 미리 정해진 함수 형태 없이 데이터로부터 이러한 법칙을 학습하면서도 물리적으로 허용 가능한 상태를 유지하며, 관련 모델의 베이즈 버전은 한 시편 또는 시편들을 합친 집단의 법칙이 갖는 불확실성을 정량화한다. 그러나 합동 적합은 시편 간 차이를 측정 잡음이나 평균 법칙에 대한 불확실성으로 귀속시키며, 어느 쪽도 새로운 시편을 기술하지 못한다. 본 연구는 먼저 희소하고 잡음 있는 데이터에서도 학습된 법칙이 그럴듯하게 유지되도록 하는 사전분포를 갖는 단일 시편용 베이즈 PANN을 개발한다. 이어서 이를 계층적 베이즈 PANN으로 확장하는데, 이는 모든 시편이 학습된 다볼록(polyconvex) 특징을 공유하고 각 시편이 법칙 집단에서 추출된 하나의 표본인 비선형 혼합효과 모델이다. 특징, 시편, 집단은 측정 잡음의 별도 모델과 함께 변분 추론으로 공동 추론되므로, 시편 간 변동성이 잡음으로 오인되지 않고, 집단이 자체 불확실성을 가지며, 그로부터 추출된 모든 시편이 다볼록성을 갖는다. 이 집단 모델은 데이터가 없거나 부분 시험만 있는 경우에도 새로운 시편의 반응을 신뢰구간과 함께 예측하고, 정량화된 불확실성과 함께 이를 코호트에 배정하며, 이 모든 과정에서 법칙의 형태를 미리 정하지 않는다. 합성 집단에서는 소수의 시편으로 집단을 복원하며 공개된 세 가지 방법보다 새로운 시편을 더 신뢰성 있게 예측한다. Treloar의 고무와 건강한 대동맥 및 동맥류 대동맥에서는 결정론적 PANN의 정확도에 도달하고, 어떤 대동맥 시편도 확신을 가지고 잘못된 코호트에 배정하지 않지만, 시험하지 않은 곡선의 불확실성은 과소평가한다.

arXiv:2611.16375v1cs.LG

재귀적 상태 증강 언어 모델: 사전학습 언어 모델의 지속적 잠재 상태 적응

Recursive State-Augmented Language Models: Persistent Latent-State Adaptation of Pretrained Language Models

언어 모델은 유한한 토큰 문맥에 의존하므로 이전 상호작용에 대한 접근이 제한된다. 본 논문은 각 관측에 따라 지속적 잠재 상태가 진화하며 사전학습 언어 모델에 대한 적응을 생성하는 프레임워크인 재귀적 상태 증강 언어 모델(Recursive State-Augmented Language Models, Recursive SALM)을 제안한다. 모듈형 읽기-전이-쓰기 아키텍처는 관측 인코딩, 잠재 동역학, 예측기 적응을 분리한다. 결정론적 및 확률론적 정식화를 모두 개발한다. 실험에서는 고정된 GPT-2 small을 사용한 결정론적 SALM만을 평가하며, 이전 증거를 디코더 문맥에서 제외한다. 4턴 가설 추론 과제에서 잠재 게이트 LoRA는 89.1%의 정확도를 달성하여, 학습된 전체 문맥 LoRA 기준선의 88.0%와 비슷한 수준이며, 이전 증거는 오직 64차원 상태를 통해서만 이용할 수 있다. 상태를 0으로 만들거나 섞으면 정확도가 크게 감소한다. 학습에서 보지 못한 코드워드를 사용하는 2턴 과제에서는 여러 인터페이스가 후보 순위 결정에서 무작위 수준보다 향상되지만, 평가된 학습 스케줄에서는 정확한 코드워드를 생성하는 경우가 드물다. 이러한 실험은 이전 증거가 디코더 문맥에 없을 때에도 지속적인 잠재 조건부 적응이 순차적 추론을 뒷받침할 수 있음을 보여 준다.

arXiv:2611.16274v1stat.ML

위험 민감 개별화 치료 규칙 학습을 위한 분포 우선 프레임워크

Distribution-First Framework for Learning Risk-Sensitive Individualized Treatment Rules

환자 공변량을 이용해 위험 민감 개별화 치료 규칙(ITR)을 학습하는 일은, 치료 기준이 조건부 평균만이 아니라 조건부 결과의 전체 분포에 의존할 때 어렵다. 기존 방법은 대부분 기준별로 특화되어 있어, 분위수, 조건부 위험가치(CVaR), 누적 전망 이론과 같은 복잡한 선호 기반 목적함수 등 여러 치료 기준을 공통 파이프라인에서 비교하기 어렵다. 우리는 먼저 치료별 조건부 결과 분포를 추정한 뒤 플러그인 방식의 기준 평가로 목표 ITR을 구성하는, 위험 민감 ITR 학습을 위한 분포 우선 프레임워크를 제안한다. 제안한 프레임워크는 여러 기준에 걸친 치료 규칙 학습을 통합하고, 최적화하기 어려운 목적함수도 동일한 추정 파이프라인 안에서 수용한다. 이론적으로는 국소 Hölder 안정 기준에 대한 일반적인 오차 전파 결과를 도출하여 1단계 분포 추정 오차를 하위 기준 추정 및 치료 후회와 연결하며, 표준적인 마진 조건 하에서 더 날카로운 후회 한계도 제시한다. 실험적으로 제안한 프레임워크가 여러 설정에서 기준별 직접 방법보다 우수함을 보이고, HIV 감염 성인을 대상으로 여러 항레트로바이러스 요법을 비교한 무작위 연구인 ACTG175 HIV 임상시험에서 추가로 평가한다.

arXiv:2611.15990v1cs.LG

사전분포 없는 변분 학습에서 안정성 한계의 특성화

Characterizing the Edge of Stability in Variational Training Without Priors

딥러닝에서의 변분 접근법은 가중치에 대한 분포를 추론하고 이를 선택된 사전분포와의 발산으로 정규화함으로써, 향상된 불확실성 정량화와 분포 외 일반화를 제공할 것으로 기대된다. 그러나 딥러닝에서는 사전분포를 설정하는 일이 상당한 난제이며, 그 결과 변분 목적 함수의 정규화 항에 대한 가중치를 크게 낮추는 것이 일반적인 관행이 되었다. 최근에는 사전분포와의 발산에 의한 명시적 정규화 대신 옵티마이저에 의한 암묵적 정규화에 의존하여 기대 손실만으로 학습하는 방법이 제안되었다. 이 접근법은 사전분포 설정 문제를 대체로 피하지만, 현재의 이론은 핵심 최적화 하이퍼파라미터가 암묵적 정규화에 어떤 영향을 미치는지 이해하지 못하고 있다. 본 연구에서는 더 큰 학습률과 더 적은 파라미터 샘플이 손실 지형에서 더 평탄한 극소점으로 이어지며, 이러한 극소점이 더 잘 일반화하는 것으로 알려져 있음을 이론적·실험적으로 보인다. 또한 기대 손실에 대한 학습이 기울기 추정치의 신호 대 잡음비와 몬테카를로 샘플 수로 특징지어지는 수정된 안정성 한계(edge of stability)에서 이루어짐을 보인다. 분포 외 벤치마크 데이터셋에 대한 실험은 이론적 결과의 실질적 의의를 확인해 준다.

arXiv:2611.15829v1cs.LG

표본만으로 계산하는 커버리지 손실을 이용한 보정된 조건부 생성 모델 학습

Training Calibrated Conditional Generative Models with a Sample-Only Coverage Loss

조건부 생성 모델은 간접적이고 잡음이 있는 측정값 집합을 조건으로 이미지나 신호를 샘플링하고자 하는 과학적 역문제에서 사후분포를 샘플링하는 데 선호되는 도구가 되었다. 그러나 이러한 모델은 과신하는 경우가 많으며, 이는 정확한 불확실성 정량화가 필수적인 과학적 응용에서 치명적인 결함이다. 기존의 정규화 기법은 서로 보완적인 방식으로 한계가 있다. 미분 가능한 커버리지 목적함수는 모델의 밀도를 필요로 하고 사후분포를 식별하지 못하며, 에너지 점수와 같은 엄밀하게 적절한(strictly proper) 스코어링 규칙은 표본만 필요하지만 커버리지를 직접 강제하지는 않는다. 본 연구는 표본만으로 추정되는 기대 커버리지 확률에 기반한 미분 가능한 손실 함수를 도입하여 이 간극을 메운다. 이 손실은 계산 가능한 밀도나 구조 변경 없이 임의의 조건부 생성 모델에 적용할 수 있다. 이 손실이 모델이 참 사후분포와 같을 때, 그리고 그때에 한해 0이 되는 엄밀한 발산임을 증명한다. 시뮬레이션 기반 추론 벤치마크에서 이 손실은 밀도를 평가하지 않고도 밀도 기반 커버리지 손실과 대등한 성능을 보인다. 고차원 영상 역문제에서는 점 추정의 재구성 품질 변화는 거의 없이 스코어링 규칙 정규화 기법보다 더 잘 보정된 사후분포를 산출한다.