PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.16039v2cs.LG

지속 학습을 위한 최적화 제약으로서의 개선된 탄성 가중치 통합

Improved Elastic Weight Consolidation as an Optimization Constraint for Continual Learning

정규화 기반 지속 학습은 이전 과제에서 중요했던 파라미터의 변화를 벌점화하여 파국적 망각을 줄인다. 대표적인 사례인 탄성 가중치 통합(EWC)은 경험적 피셔 정보로 이차 벌점에 가중치를 부여하며, 이는 보통 손실 곡률의 근사로 정당화된다. 우리는 대신 새 과제 학습이 보존해야 할 것으로부터 벌점을 유도한다. 이 정식화인 최적화 제약으로서의 지속 학습(CLOC)에서는 새로운 학습이 학습된 행동의 선택된 범함수를 변하지 않게 유지해야 하며, 이 제약의 국소 근사가 저장된 벌점이다. 보존되는 범함수가 각 이전 샘플의 손실일 때 EWC의 경험적 피셔 정보가 이 제약의 1차 형태와 정확히 일치함을 보인다. 이 유도는 결함을 드러내는데, EWC는 각 샘플을 손실 기울기의 크기로 가중하므로 모델이 잘 적합한 샘플은 거의 기여하지 않지만, 이후 학습에서 그러한 샘플도 여전히 망각될 수 있다. 개선된 EWC(IEWC)는 대신 각 이전 출력이 손실 변화량이 아니라 자신의 손실 등위집합에서 얼마나 벗어나는지를 벌점화하며, 이로써 임의의 미분 가능한 손실과 출력 기하에 대해 이러한 가중을 제거한다. 분류, 분할, 언어, 예측, 확산 전반에서 IEWC 변형들은 EWC와 동등하거나 이를 개선하며, 분류에 특화된 보정인 EWC-DR을 능가한다. 검증 데이터로 하이퍼파라미터를 선택한 별도 평가에서, 이 가중을 제거하는 것만으로 ImageNet-R 정확도가 EWC 대비 2.00 퍼센트포인트(95% CI 0.93-3.07) 상승한다. 더 폭넓게, CLOC는 지속 학습 벌점의 설계를 무엇을 보존할 것인가의 선택으로 바꾸며, 거기에서 원리에 입각한 벌점이 유도를 통해 따라 나온다.

arXiv:2610.23917v3cs.LG

예고된 단절은 정합 신뢰성과 빈도 보정을 분리한다

Announced Breaks Separate Conformal Reliability from Frequency Calibration

시계열의 배후 과정이 호주가 2021년 10월 1일 5분 단위 전력 정산으로 전환한 것처럼 예고된 날짜에 변하면, 그 이전에 보정된 구간은 명시된 수준으로 포함하지 못할 수 있다. 예보자가 다음 구간이 포함하는 것을 필요로 하는지, 아니면 종료된 기간의 빗나감 비율이 목표에 부합하는 것을 필요로 하는지에 따라 재시작 방식이 결정된다. 본 논문은 단절 이후의 예측 오차로부터 다음 정합 구간을 다시 계산하며, 동일한 연속 분포에서 나온 독립적인 n개의 오차에 대해 그 기대 포함 오차는 $O(n^{-1/2})$로, 날짜를 아는 방법들 중 고정된 클래스에서 최적 차수이다. 종료된 기간의 빗나감 비율이 목표와 일치하도록 하기 위해 적응적 정합 추론(ACI)을 재시작하며, 유계 오차에서는 하한에서의 보정이 총합으로 유계로 유지된다면 해당 기간에 한해 그 비율이 목표의 $O(n^{-1})$ 이내로 들어온다. 5.0 표준편차의 평균 도약을 시뮬레이션한 후, 다시 계산한 90% 구간은 50번째 예측에서 목표로부터 기대 3.5퍼센트포인트 떨어져 있으며, 이는 다섯 가지 적응적 방법 중 최고인 5.2보다 3분의 1 더 가깝다. 텍사스, 호주, PJM 전력 시장과 연방준비제도 결정에서 예고된 9건의 변화 중 호주의 전환만이 오차를 충분히 움직여, 검정력 80%의 5% 검정으로 ACI 재시작의 이득을 식별할 수 있으며, 날짜 정보는 큰 변화 이후에만 재시작된 ACI에 도움이 된다.

arXiv:2610.20659v2stat.ML

희소 관측 랜덤 필드를 위한 분산 보존 국소 가우시안 근사 기반 잠재 어닐링 사후 샘플링

Latent Annealed Posterior Sampling with a Variance-Preserving Local Gaussian Approximation for Sparsely Observed Random Fields

희소 관측으로부터 랜덤 필드의 사후 추론을 수행하려면 두 가지 주요 과제를 해결해야 한다. 하나는 복잡한 공간적 불확실성을 정확히 특성화하는 것이고, 다른 하나는 공간 해상도가 증가함에 따라 조건부 샘플링 비용을 제어하는 것이다. 본 논문은 잠재 어닐링 사후 샘플링(latent annealed posterior sampling, LAPS)을 제안한다. LAPS는 먼저 랜덤 필드를 저차원 잠재 공간으로 사상하며, Branch–Trunk 좌표 디코더를 통해 임의의 공간 위치에서 필드를 평가할 수 있게 한다. 이후 플로 매칭으로 잠재 사전 분포를 학습한다. 학습된 사전 분포를 바탕으로 LAPS는 다단계 어닐링을 통해 사후 샘플링을 수행한다. 각 단계에서 사전 플로 수송으로 기준 상태를 생성하고, 이를 분산 보존 계수를 사용해 가우시안 노이즈와 결합하여 조건부 사전 분포의 국소 가우시안 근사를 구성한다. 이 근사는 관측 우도와 결합되어 국소 사후 분포를 정의하며, 이로부터 전처리된 MALA를 사용해 잠재 사후 샘플을 생성한다. 수치 실험 결과, LAPS는 사후 분포를 정확하게 근사하고, 서로 다른 사후 모드를 보존하며, 사후 조건화를 출력 해상도와 분리한다. 두 가우시안 벤치마크에서 LAPS는 정확한 사후 기준과 매우 가깝게 일치하며, 슬라이스드 바서슈타인 거리는 독립적인 정확한 사후 샘플로 얻은 값보다 각각 $1.8\%$와 $2.4\%$ 높았다. 쌍봉 사후 분포 벤치마크에서 LAPS는 슬라이스드 바서슈타인 거리를 $0.2693$에서 $0.1499$로 줄였으며 모든 테스트 시나리오에서 두 모드를 일관되게 복원하였다. 2차원 나비에-스토크스 랜덤 필드에서는 출력 격자를 $64^2$에서 $192^2$로 세분화하는 동안 평가 시간을 거의 일정하게 유지하면서 주변 사후 보정을 크게 개선하였다. 이러한 결과는 LAPS가 사후 정확도, 불확실성 보정, 계산 효율 간에 유리한 절충을 제공함을 보여준다.

arXiv:2610.17053v3stat.ML

비례 포괄 한계 효과를 이용한 변수 중요도 측정

Measuring Variable Importance Using Proportional Inclusive Marginal Effects

Shapley 기반 측정치는 통계학과 기계학습에서 변수 중요도를 측정하는 데 널리 사용된다. 그러나 이러한 측정치에는 심각한 문제가 있다. 비활성 변수가 활성 변수와 상관되어 있을 때 양의 중요도 값을 얻을 수 있다는 점이다. Herin 등은 최근 이러한 허위 효과를 완화하는 비례 한계 효과(PME)라는 측정치를 제안하였다. 그러나 PME는 결정론적 모델을 대상으로 개발되었으며 계산 비용이 높다. 본 논문에서는 PME의 이 두 가지 한계를 극복하는 비례 포괄 한계 효과(PRIME)라는 새로운 측정치를 제안한다. PRIME의 핵심 아이디어는 새로운 모델 비의존적 변수 선택 기법을 사용하여 활성 변수를 식별하고, 이들만 중요도 측정치 계산에 포함하는 것이다. 테스트 함수와 실제 데이터셋에 대한 분석은 PRIME이 잡음이 있는 입출력 데이터로부터 변수 중요도를 정확하고 안정적으로 정량화할 수 있음을 보여 준다.

arXiv:2610.12737v2cs.LG

상각된 조건부 해석 가능성을 위한 커널화된 매개변수 민감도 아틀라스

Kernelized Parameter Sensitivity Atlases for Amortized Conditional Interpretability

기울기 기반 기여도 분석은 모델 매개변수에 대한 입력별 정보를 제공하지만, 많은 샘플에 대해 역전파로 이를 계산하는 것은 비용이 크고, 정적 중요도 점수는 입력 의존성을 버린다. 우리는 경험적 신경 탄젠트 커널의 블록 분해로부터 KPSA(Kernelized Parameter Sensitivity Atlas)를 유도한다. KPSA는 정규화된 매개변수 그룹 민감도를 측정하고, 그 소스를 명시적 질의 공간에 임베딩하며, 경량 커널을 사용하여 보지 못한 입력에 대한 민감도를 추정한다. 우리는 유한 소스 오차와 환원 불가능한 표현 오차를 분리하는 한계를 유도하고 마진 기반 top-$k$ 복원을 제시한다. 본 논문은 두 가지 해석 가능성 응용을 연구한다. 첫째, KPSA는 비전, 예측, 단백질 모델링 설정에 걸쳐 섭동에 대한 민감성이 높은 매개변수 그룹을 식별한다. 5배 범위의 매개변수 예산($0.02$-$0.1\%$)에 걸쳐, 선택된 그룹은 1차 역전파 오라클의 섭동 민감성의 $39$-$85\%$에 도달한다. 비전과 예측에서 이러한 매개변수 그룹은 깊이에 걸쳐 확장되고 입력에 따라 체계적으로 달라지는 희소 민감도 회로를 형성한다. 둘째, 우리는 Transformer의 MLP 특징에 대한 활성화 기여도 문제에 KPSA를 사용한다. 이는 비전에서 역전파 오라클과 상수 민감도 기준선 사이 격차의 $81\%$를 유지하면서, 배치 질의 시간 처리량을 551에서 2,041 images/s로 높이고 최대 GPU 메모리를 4.55에서 0.44GB로 줄인다. 단백질 모델링 과제에서는 이 격차의 $68\%$를 복원한다. KPSA의 커널 집계에 대한 제거 실험은 KPSA 공간에서의 최근접 이웃 검색이 여전히 경쟁력을 유지할 수 있음을 보여 준다. 실험 결과는 간결한 커널 아틀라스가 반복적인 기울기 기여도 분석을 상각하면서 유용한 입력 의존적 매개변수 민감도를 저장할 수 있음을 보여 주며, 이는 확장 가능한 조건부 해석 가능성을 향한 한 걸음이다. 코드는 https://github.com/Axym-Labs/kpsa 에서 확인할 수 있다.

arXiv:2610.10666v2cs.LG

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.00793v2stat.ML

가중 서브분수 브라운 운동으로 구동되는 SDE의 동역학과 잡음 공분산에 대한 결합 신경 추론

Joint neural inference of dynamics and noise covariance for SDEs driven by weighted sub-fractional Brownian motion

우리는 가중 서브분수 브라운 운동으로 구동되는 확률미분방정식의 이산 관측으로부터 드리프트, 확산, 시간 공분산 가중치, 공분산 지수를 결합하여 추정하는 계산 절차를 개발한다. 오일러 재귀에서의 변수 변환을 통해 가우시안 구동 증분 사이의 의존성을 유지하고 상태 의존 확산과 관련된 야코비안을 포함하는 궤적 우도를 얻는다. 추정기는 신경망 및 방사 기저 함수 표현을 구간별 상수 시간 가중치에 대한 해석적 공분산 조립과 결합한다. 시간 가중치를 정규화하면 그 전역 스케일이 확산의 스케일과 분리된다. 각 후보 지수에 대해 최적의 전역 확산 재조정이 닫힌 형태로 구해지며, 1차원 프로파일 탐색만 남는다. 스무 가지 계수 설정에 걸쳐 동일한 모의 궤적에서 이 절차를 두 가지 신경 우도 변형과 비교한다. 지정된 학습 일정 아래에서 이 절차는 지수, 확산, 시간 가중치 오차가 각각 19개, 16개, 14개 설정에서 가장 작다. 드리프트 성능은 엇갈리며, 열 개 설정에서 가장 작은 오차를 보인다. 이 결과는 규정된 관측 설계와 학습 일정 아래에서 전체 추정 절차를 평가한 것이다.

arXiv:2609.28611v4math.NA

시뮬레이티드 어닐링을 통한 비볼록 최적화에서 3차 랑주뱅 역학의 전역 수렴

Global Convergence of Third-Order Langevin Dynamics for Non-Convex Optimization via Simulated Annealing

고정 마찰과 감소하는 잡음을 갖는 담금질 모사를 통해 비볼록 최적화를 위한 3차 랑주뱅 동역학의 전역 수렴 보장을 연구한다. 명시적인 3블록 왜곡 엔트로피는 잡음이 있는 보조 변수로부터 전체 상태로 소산을 전달한다. 소산성, 정칙성, 저온 함수 부등식 가정 하에서, 로그 냉각은 목적 함수 값을 장벽이 제어하는 운동학적 속도로 확률적으로 전역 최솟값에 수렴시킨다. 정확한 힘 적분 및 중점 3단계 이산화에 대해, 다항적으로 감소하는 스텝은 물리적 시간 척도에서 이 속도를 보존한다. 3차 국소 끝점 추정은 기존의 고정 힘 운동학적 결과보다 덜 제한적인 충분 스텝 크기 조건을 제공한다. 단일 기울기 UBU 적분기와의 비교는 동일한 강결합 분석 하에서 그 중심화된 확률적 국소 오차가 어떻게 더 작은 충분 반복 지수로 이어지는지를 보여 준다. 이론을 설명하기 위해 수치 실험을 수행한다. 이중 우물 목적 함수에서 3차 랑주뱅의 종단 성공 점추정값은 공통 지평과 동일 기울기 예산 모두에서 UBU보다 높다. 합성 데이터를 사용한 고차원 비볼록 신경망 목적 함수에서는 독립적으로 튜닝된 UBU와 3차 랑주뱅 방식 모두 과감쇠 랑주뱅 동역학보다 우수하며, 3차 랑주뱅의 점추정값이 더 높다. 실제 데이터에 대한 동일한 신경망 목적 함수에서도 최적 분지 확률과 급랭 후 테스트 정확도에 대해 같은 점추정값 순서를 보인다. 수치 코드와 관련 실험 결과는 https://github.com/gagawjbytw/simulated-annealing-third-order-langevin 에 공개되어 있다.

arXiv:2609.18682v3stat.ML

DAG ReLU 네트워크의 경로 리프팅 야코비안의 랭크 및 계산

Rank and computation of the pathlifting Jacobian of a DAG ReLU network

본 논문에서는 네트워크의 은닉 노드 수에 대한 귀납법을 수행하여 방향성 비순환 그래프(DAG) 렐루(ReLU) 네트워크의 경로 리프팅(pathlifting) 야코비안(Jacobian)의 랭크(rank)에 대한 자체 완비적인 증명을 제공합니다. 실제로 이 귀납법은 기초적이며, 핵심 비결은 네트워크 경로를 인코딩하는 희소 행렬인 네트워크의 스켈레톤 행렬(skeleton matrix)을 고려하고 은닉 뉴런 중 하나의 표현을 출력 노드로 변환하는 것입니다. 이 증명은 경로 리프팅, 해당 야코비안, 네트워크 매개변수 및 스켈레톤 행렬을 연결하는 중간 명제들에 의존하며, 이는 경로 리프팅 야코비안의 랭크를 도출할 수 있게 할 뿐만 아니라 역전파(backpropagation) 없이 이를 계산하는 방법을 제공하고 실제 계산 비용이 통상적인 역전파에 비해 매우 효율적입니다. 본 논문은 피드포워드 네트워크에 대해 논문의 다양한 명제들을 구현한 Python 모듈을 함께 제공하며, 제안된 이론을 통해 경로 리프팅 야코비안을 계산할 때의 연산상의 이득을 실험적으로 정량화하는 데 사용됩니다.

arXiv:2608.30040v2stat.ML

결측, 측정 오차, 이질성을 공동으로 모델링하는 심층 잠재 변수 프레임워크

A Deep Latent Variable Framework for Jointly Modeling Missingness, Measurement Error, and Heterogeneity

모든 개인에 대해 완전하고 정확한 측정값을 얻는 데 드는 비용과 현실적 어려움 때문에, 인구 건강 연구는 흔히 불완전하고 오차가 있는 측정을 포함하며, 결측과 측정 오차는 이질적인 하위 집단에 따라 달라진다. 이러한 문제는 자주 함께 존재하고 상호작용하지만, 기존 방법에서는 별개로 다루어지는 경우가 많다. 이를 해결하기 위해 우리는 결합 대치와 잡음 제거를 위한 심층 잠재 변수 프레임워크인 HTree-VAE를 제안한다. 이 프레임워크는 패턴 인식 잠재 모델링과, 새로운 재수렴 라우팅 메커니즘을 통해 잠재 하위 집단 간 선택적 매개변수 공유를 가능하게 하는 계층적 트리 라우팅 인코더를 결합한다. 검증 부분집합의 정확한 측정값을 잡음 제거에 활용하고, 관측 패턴을 명시적으로 모델링하여 무시 가능한 결측과 무시 불가능한 결측을 모두 수용한다. 시뮬레이션 연구에서 경쟁하는 심층 생성 방법에 비해 복원 정확도가 크게 향상됨을 확인하였다. 절제 연구는 트리 기반 라우팅과 재수렴 라우팅이 대치 정확도를 향상시킴을 추가로 보였다. 우리는 HTree-VAE를 National Health and Nutrition Examination Survey 데이터에 적용하여 자가 보고 체질량지수의 잡음을 제거하고 결측값을 대치하였다. HTree-VAE는 대치에서 경쟁 방법보다 우수하였고, 자가 보고 체질량지수 보정에서는 경쟁력 있는 성능을 달성하였다. 이러한 결과는 결측과 측정 오차를 함께 다루는 것의 실용적 가치를 보여 준다.

arXiv:2608.19584v5cs.LG

복소 신경망 하강을 위한 케일러 지형과 보장, 그리고 칼라비-야우 다양체의 탐색 및 파괴

K\"ahler landscapes for complex neural network descents and guarantees including a search and destroy of the Calabi-Yau manifold

우리는 복소 파라미터를 갖는 네트워크의 지형을 연구한다. 우리의 접근은 파라미터에 대한 정보 이론적 다양체 관점과 고전적 최적화 보장에 의해 동기가 부여되며, 돌보 점근론 등 복소 기하학적 다양체의 성질도 아우른다. 하강 경로는 로그 우도 퍼텐셜에 대한 비르팅거 헤시안을 통한 교차 엔트로피 하에서 케일러 정보 계량을 허용한다. 우리는 역계량으로 스케일된 미분된 손실에 따라 하강하므로 하강 경로는 정칙 접다발에 머문다. 우리는 불량한 곡률 조건(또는 그 결여)을 통해 이론적 보장을 훼손하는 정보 다양체를 강조한다. 우리는 칼라비 추측의 위상적 요건을 끌어오기보다 기하학적으로 정의되도록, 전역 퍼텐셜이 있는 비콤팩트 설정에서 특히 칼라비-야우 계량에 초점을 둔다. 비콤팩트 설정에서는 배경에 대한 계량 행렬식을 다중조화 함수 또는 실함수로 쓸 수 있다. 야우의 리우빌 정리를 사용하여, 우리는 비자명한 배경 상호작용 하에서의 작은 고유값 폭발 효과, 자기사상 상수의 기하학적 불변성, 그리고 거의 저순위인 가정을 얻는다. 경험적 설정에서는 리치 평탄 계량이 형성되지 않지만, 큰 고유값은 국소 조건일 수 있으며 리치 퍼텐셜의 하한 덕분에 일반화된 케일러 경우에서도 열린 집합에서 경험적으로 성립할 수 있다. 더욱이 음의 곡률, 특히 단면 곡률이 손실 지형을 교란한다는 점이 발견되었으므로, 우리는 이를 확장하여 음의 정부호 리치 곡률과의 연관성을 도출한다. 우리의 논증은 주로 기하학적 양상을 통해 전개되지만, 초기화 시점의 점근론, 그리고 소멸하는 리치 곡률 및 음의 리치 곡률 하에서 신경망 보장의 실패 모드와의 연결 등 딥러닝 이론에 뿌리를 둔다.

arXiv:2608.01654v2math.ST

위상 복원을 위한 무작위 초기화 기반 근사 메시지 전달 기법

Approximate Message Passing with Random Initialization for Phase Retrieval

무작위로 초기화된 1차 반복 알고리즘은 단순하고 널리 쓰이며 많은 고차원 추론 문제에서 경험적으로 효과적이지만, 스펙트럼 초기화와 같이 더 정교하고 문제에 특화된 초기화에서 시작하는 알고리즘에 비해 이론적 거동은 훨씬 덜 이해되어 있다. 본 논문은 대표적인 비볼록 추론 문제인 잡음 없는 위상 복원에 대해 무작위로 초기화된 근사 메시지 전달(AMP)을 연구함으로써 이러한 간극을 좁히는 한 걸음을 내딛는다. 우리는 무작위 초기화에서 시작하는 AMP 궤적을 비점근적이고 지평이 늘어나는 방식으로 특성화하고, 이것이 정보이론적 약한 복원 임계값 $\delta_{\rm weak}=1/2$와 AMP 강한 복원 임계값 $\delta_{\rm str}\approx1.13$를 모두 달성하며, 이는 스펙트럼 초기화 AMP에 대해 확립된 복원 임계값과 일치함을 보인다. 핵심 기술적 요소는 두 가지이다. (i) AMP 반복값을 신호 성분, 독립 가우시안 벡터들의 선형 결합, 그리고 근사 오차로 분해하는 비점근적 커플링, (ii) Bolthausen 조건의 비점근 버전을 기반으로 구축된 Onsager 보정 오차의 2차 분석이다. 이를 통해 약한 복원에 필요한 $O_\delta(\log n)$ 단계를 분석하고, 중간 복원 영역 $\delta\in(\delta_{\rm weak},\delta_{\rm str})$에서 최대 $n^{1/3}/\operatorname{polylog}(n)$ 단계까지 점근적 상태 전개를 충실하게 추적할 수 있으며, 둘 다 고전적 AMP 이론의 $O(1)$ 반복 지평을 넘어선다. 강한 복원 임계값 위에서는 AMP가 $O_{\delta,\varepsilon}(\log n)$ 반복 내에 임의의 고정된 복원 정확도에 도달한다. 커플링과 오차 분석은 모두 넓은 범위의 일반화 AMP 동역학에 대해 전개되었으며, 일반 단일 인덱스 모델에도 독립적인 관심의 대상이 될 수 있다.

arXiv:2607.16927v2stat.ML

심층 적응형 베이지안 스크리닝

Deep Adaptive Bayesian Screening

우리는 제한된 실험 예산 하에서 이산 설계 공간의 적응형 요인 선별(adaptive factorial screening)을 수행하는 방법인 Deep Adaptive Bayesian Screening(DABS)을 소개한다. DABS는 정책 네트워크를 오프라인으로 학습하여 정보량이 큰 실험을 순차적으로 선택하며, 베이지안 최적 실험 설계를 상각(amortize)한다. 이 방법은 이진 설계를 다루며, 강한 유전성(strong heredity)을 갖는 스파이크-앤-슬랩(spike-and-slab) 사전분포를 통해 희소성과 상호작용을 반영한다. 모델은 요인 활성에 관한 정보에 대한 대조적 하한(contrastive lower bound)을 이용하여 학습되며, 이때 교란 모수인 효과 크기와 잡음 분산은 해석적으로 적분하여 제거한다. 기존의 상각형 베이지안 설계 접근법과 달리 DABS는 배포 시점에 사후 추론도 통합하여 요인 활성의 사후 확률과 효과 크기에 대한 신용구간을 제공한다. 우리는 공개된 실험 벤치마크에 맞추어 보정한 시뮬레이션 선별 문제에서 DABS를 평가하였으며, 가장 강력한 비적응형 베이지안 기준선과 대등하거나 그보다 우수한 성능을 보임을 확인하였다. 특히 후보 요인의 수에 비해 예산이 작을 때 성능 향상이 가장 크다.

arXiv:2607.06652v2cs.LG

점프에서 시그니처로: 시간적 점 과정을 위한 생성 방법

From Jumps to Signatures: A Generative Method for Temporal Point Processes

러프 경로 시그니처(rough path signature)는 연속 경로에 대한 보편적 특징 사상이며, 기대 시그니처를 통해 경로 분포를 특성화한다. 그러나 이러한 보장은 시간적 점 과정(TPP)의 càdlàg 경로로 직접 확장되지 않아, 이벤트 시퀀스에 대한 시그니처 방법의 활용이 제한된다. 또한 최근의 생성적 접근법을 포함한 신경 TPP 모델은 전역적인 시퀀스 수준 손실 없이 이벤트별 목적함수를 최적화하며, 가변 길이 이벤트 시퀀스의 평가에는 분포 간 불일치 측도가 부족하다. 본 논문은 이러한 한계를 해결하기 위한 공통의 경로 기반 프레임워크를 제안한다. 우리는 점프 경로를 유계 변동의 연속 경로로 옮기는 안정적이고 단사적인 리프트인 도착 간격 임베딩(interarrival embedding)을 도입하여 시그니처 방법을 이산 이벤트 시퀀스로 확장한다. 우리의 이론적 기여는 완전한 궤적에 대한 경로 수준 손실로 학습되는 최초의 시그니처 기반 TPP 생성 모델인 sigTPP로 이어진다. 또한 계수 경로(counting path)의 공간을 분석하고 $3$가지 분포 불일치 측도를 도출하여 생성적 TPP 모델을 평가하기 위한 수학적으로 정당화된 도구를 제공한다. $12$개 과제 전반에서 sigTPP는 $8$개의 상호 보완적인 지표에 기반한 평균 순위에서 최고 성적을 달성하고, 데이터셋-지표 쌍의 $57\%$에서 (성능에 따라 달라지는) 가장 강한 기준선을 능가하거나 표준오차 한 개 이내에 있으며, 상대 점수 기준으로 각 기준선 대비 평균 최소 $24\%$ 향상된다.

arXiv:2607.02891v2cs.LG

오분류 리덕션을 통한 비정상 선형 밴딧의 동적 후회

Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions

많은 온라인 의사결정 문제는 라운드별 실행 가능한 행동과 변화하는 보상 모델을 모두 수반한다. 적격 광고 노출, 실행 가능한 가격, 이용 가능한 치료법은 시간에 따라 바뀔 수 있고, 사용자 선호, 수요 곡선, 환자 반응은 진화할 수 있다. 이러한 응용에 동기를 받아 본 논문은 라운드별 실행 가능 의사결정 집합을 갖는 비정상 선형 밴딧을 연구한다. 핵심 기여는 비정상 선형 밴딧의 파라미터 드리프트를 맥락적 선형 밴딧의 모델 오지정과 연결하면서 라운드별 의사결정 기준을 보존하는 블록 단위 환원이다. 이 연결을 통해 오지정 적응형 학습을 활용하여 일반적인 시간 가변 의사결정 집합에 대한 동적 후회 보장을 얻을 수 있다. 경로 길이 예산 $P_T$가 알려진 경우, 비적응적 파라미터 경로 하에서 일반 컴팩트하고 적응적이며 비예측적인 의사결정 집합에 대해, 그리고 비적응적 환경 하에서 $K$-암 맥락적 선형 밴딧에 대해 이러한 보장을 확립한다. 일반 시간 가변 의사결정 집합에서 본 논문의 경계는 $T$와 $P_T$에 대한 의존성을 기존 LinUCB 기반 접근법에서 가능한 $\widetilde O(T^{3/4}P_T^{1/4})$ 보장에서 $\widetilde O(T^{2/3}P_T^{1/3})$로 개선하며, 이는 로그 인자를 제외하고 비정상 하한의 의존성과 일치한다.

arXiv:2606.27090v3stat.ML

전역적 발산을 넘어서: 베이지안 추론에 대한 지역 질량 관점

Beyond Global Divergences: A Local-Mass Perspective on Bayesian Inference

KL 발산(divergence)과 ELBO와 같은 전역적 목적함수(global objective)는 베이지안 추론에서 분포 간 불일치를 측정하기 위해 널리 사용된다. 본 논문은 이러한 전역적 목적함수로는 직접 포착되지 않는 분포의 '지역 질량 행동(local-mass behaviour)'을 연구한다. 우리는 두 가지 수학적 도구를 도입하여 사용한다: (1) 지역 질량의 다항식 및 로그 감쇠 스케일을 기록하기 위한 Mass Index, 그리고 (2) 특이 성분(singular component)이 존재하는 경우에도 정식화할 수 있는 집합 국소화 발산인 정칙화된 확장 KL(regularised extended KL, RE-KL)이다. Mass Index는 베이지안 업데이팅이 지역 질량을 어떻게 변화시키는지 특성화하는 데 도움을 준다: (1) 거듭제곱-로그 가능도(likelihood) 인자는 이를 명시적으로 이동시키며, (2) 매개변수(parameter)에 의존하는 지지집합(support), 또는 그것의 매끄러운 완화(softening)는 매개변수 값 근처에 남아 있는 질량의 양을 통해 지역 스케일을 변화시킬 수 있다. 지역 RE-KL을 사용하여, 우리는 두 가지 KL 방향 하에서 지역 스몰볼(small-ball) 질량을 비교하기 위한 절대적, 상대적, 방향적 부등식을 증명한다. 이러한 결과들은 함께 지역 질량 행동에 대한 지역적인 이론적 설명을 제공한다. 실험은 이러한 지역적 행동에 대한 통제된 예시를 제공하며, ImageNet 상의 ResNet-50까지의 베이지안 신경망의 변분 사후분포(variational posterior)에서도 방향적 비교가 여전히 관찰됨을 보여준다. 코드는 https://github.com/Forsythia0604/Local-Mass-Framework 에서 확인할 수 있다.

arXiv:2606.10906v2stat.ML

보정의 관점에서 본 인간-AI 팀워크

Human-AI Teaming Through the Lens of Calibration

우리는 통계적 보정의 관점에서 인간-AI 팀워크 모델을 연구한다. 팀이 AI 모델과 인간으로 구성되며 둘 다 특징 공간의 어떤 분할에 대해 보정되어 있다고 가정하고, 이러한 보정 가정이 팀워크 프레임워크에 어떻게 전파되는지 밝힌다. 특히 (i) 인간과 모델의 예측을 결합하거나 (ii) 예측 책임을 인간 또는 모델 중 한쪽에 위임하는 프레임워크를 고려한다. 이론적 결과와 실험적 결과를 통해 기존의 결합 방법이 인간의 보정 정도를 보존하지 못함을 보인다. 위임 방법은 위임이라는 행위 자체로 하위 예측기의 보정을 보존하지만, 누가 예측할지를 결정하는 기각자 메타 모델에 부담을 전가한다. 기각자는 각 구성원이 우월한 지점을 찾아낼 수 있을 만큼 세밀하게 보정되어야 하며, 이 요구는 인간의 전문성이 높아질수록 커지고 인간이 시스템이 관측할 수 없는 정보에 의존할 때는 달성할 수 없게 된다.

arXiv:2606.01799v2cs.LG

Tree-Guided Identify-Then-Exploit: A Unified Framework of Best Arm Identification and Regret Minimization for Dueling Bandits

We study $N$-armed stochastic dueling bandits under the Condorcet-winner assumption with a positive global gap, where three widely adopted objectives are considered: best-arm identification (BAI), weak regret, and strong regret. We propose Tree-Guided Identify-Then-Exploit (TG-ITE), the first unified framework to tackle all these objectives to our knowledge. Without requiring transitivity assumptions, we propose a shared tree-guided identification approach to find a high-confidence incumbent within $O(N)$ comparisons. We further propose varied exploitation strategies to utilize this warm-start stage to optimize the specific objectives at hand. For a fixed global gap $\Delta$, this methodology enables our approach to (1) build the first winner-stays-style algorithm to achieve $O(N)$ weak regret; (2) realize the joint optimization of BAI and weak regret with $O(N)$ guarantees for both, eliminating the sub-optimal $O(\log N)$ factors of the existing approach; (3) attain the same $O(N\log T)$ order as specialized strong-regret approaches; and (4) achieve $O(N)$ sample complexity in BAI, matching a worst-case lower bound up to an additional $\log(1/\Delta)$ term. If a lower bound on the minimal winner gap is known, this term can be removed. Our results suggest that a single identification primitive can serve BAI and both regret objectives with linear dependence on $N$.

arXiv:2606.00419v5stat.ML

매개변수 없는 그룹 조건부 온라인 컨포멀 예측

Parameter-Free and Group Conditional Online Conformal Prediction

데이터와 레이블의 특성이 시간에 따라 변하는 온라인 환경에서 기계학습 모델 예측의 불확실성을 정량화하는 것은 어려운 일이다. 온라인 컨포멀 예측(OCP) 방법은 각 관측치에 대한 구간을 생성하고 그중 일정 비율이 해당 레이블을 포함하도록 보장함으로써 이 문제를 다루며, 이러한 성질을 주변 커버리지라 한다. 그러나 OCP 방법은 연령이나 인종과 같은 속성으로 정의되는 집단에 속한 관측치를 체계적으로 과소 커버할 수 있어 공정성 문제를 야기한다. 집단 조건부 OCP(G-OCP) 방법은 여러 집단에 대해 커버리지를 제공하는 구간을 생성함으로써 이를 해결한다. 기존 접근법은 데이터 스트림의 변화에 반응하는 방식을 제어하는 학습률에 의존하는데, 온라인 환경에서는 이를 조정하기가 어려울 수 있다. 학습률이 필요 없는 방법론의 발전을 활용하여, 선행 연구에서 요구되던 것보다 약한 가정 하에서도 성립하는 강력한 집단 커버리지 보장을 갖춘 학습률 불필요 G-OCP 알고리즘을 개발한다. 실험 결과, 제안 방법은 집단 커버리지를 제공하고, 표준 방법과 경쟁력 있는 구간 길이를 생성하며, 고정 학습률 방법보다 데이터의 변화에 더 효과적으로 반응함을 보인다.

arXiv:2605.26288v2stat.ML

차이를 넘어서: 비율 기반 처치 효과의 추정과 튜닝

Beyond Differences: Estimating and Tuning Ratio-Based Treatment Effects

처치 효과가 의학, 가격 책정, 마케팅에서처럼 자연스럽게 비율로 표현될 때에는 비율 기반 CATE $\tau(x) = \mathbb{E}[Y|W=1,X=x] / \mathbb{E}[Y|W=0,X=x]$가 적절한 추정 대상이다. 그러나 일반적인 추정량들은 추정된 기준선으로 나누거나, 모수적 형태를 가정하거나, 결과 변수를 회귀하는데, 이 경우 더 나은 적합이 반드시 더 나은 효과 추정을 의미하지는 않는다. 본 논문은 $\tau(x)$를 두 오즈의 비율로 표현하여 이진 결과에 대한 비율 CATE 추정을 두 개의 성향 분류 과제로 환원하는 Q-Learner를 제안한다. 합성 데이터와 무작위 실제 데이터에 대한 벤치마크에서 Q-Learner는 산업 현장의 실무에 특히 적합한 것으로 나타났다. 로그 손실에 대한 표준 하이퍼파라미터 튜닝만으로도 순위를 잘 매기고, 효과의 수준을 올바르게 맞추며, 효과의 분산 정도를 대안들보다 더 안정적으로 포착하기에 충분하다. 반면 예를 들어 일반적인 S-Learner는 순위를 잘 매기기 위해, 흔히 가장 우수한 수준까지, 비용이 큰 효과 특화 튜닝이 필요하지만 그 경우 효과의 분산 정도는 놓친다. 성향을 아는 경우에는 전환자만을 대상으로 적합한 단일 분류기로 충분하다. 이는 개발 속도를 높일 뿐만 아니라, 데이터가 전환자에 대해서만 수집되는 경우가 많은 실무에서는 흔히 필수적이기도 하다.