PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2602.01929v3math.DS

확률적 동적 시스템의 확률론적 대리 모델링을 위한 함수 대 함수 비선형 자기회귀 모델(F2NARX)

Function-on-function nonlinear autoregressive model (F2NARX) for probabilistic surrogate modeling of stochastic dynamical systems

동적 시스템 응답을 예측하기 위한 정확하고 계산 효율적인 대리 모델을 구축하는 것은 많은 공학 분야에서 매우 중요하지만, 외부 가진과 시스템 파라미터로부터 시스템 응답으로의 사상이 강한 비선형성과 고차원성을 지니므로 여전히 어려운 과제이다. 본 연구는 최근 제안된 $\mathcal{F}$-NARX 방법을 함수 대 함수 회귀 관점에서 재정식화한 새로운 외생 입력을 갖는 함수 대 함수 비선형 자기회귀 모델(F2NARX)을 제안한다. 제안된 프레임워크는 높은 정확도를 유지하면서 예측 효율을 크게 향상시킨다. 주성분 분석과 가우시안 프로세스 회귀를 결합함으로써, F2NARX는 무향 변환을 이용해 자기회귀 방식으로 동적 응답의 확률론적 예측을 추가로 가능하게 한다. 이 방법의 효과는 다양한 복잡도의 사례 연구를 통해 입증된다. 결과는 F2NARX가 최신 NARX 모델보다 효율에서 수십 배 이상의 자릿수 차이로 우수하면서도 일반적으로 더 높은 정확도를 달성함을 보여준다. F2NARX의 확률론적 예측 능력은 능동 학습과 결합하여 최초 통과 확률 추정에 적용함으로써 추가로 입증되며, 이는 신뢰성 지향 응용에서의 잠재력을 보여준다.

arXiv:2602.01468v2cs.LG

계층적 전문가 혼합의 관점에서 본 게이티드 어텐션의 통계 이론

A Statistical Theory of Gated Attention through the Lens of Hierarchical Mixture of Experts

셀프 어텐션은 장거리 의존성을 가진 데이터로부터의 학습을 가능하게 함으로써 널리 쓰이는 Transformer 아키텍처의 성공에 크게 기여해 왔다. 성능을 개선하려는 노력의 일환으로, 멀티헤드 셀프 어텐션 내부에 게이팅 메커니즘을 활용하는 게이티드 어텐션 모델이 최근 유망한 대안으로 제안되었다. 게이티드 어텐션은 표준 어텐션에서 저랭크 사상의 표현력을 높이고 어텐션 싱크 현상까지 제거함이 경험적으로 입증되었다. 그러나 이러한 효능에도 불구하고, 게이티드 어텐션의 이점에 대한 명확한 이론적 이해는 문헌에서 아직 부족하다. 이 간극을 메우기 위해, 우리는 게이티드 어텐션 행렬 또는 멀티헤드 셀프 어텐션 행렬의 각 원소가 계층적 전문가 혼합으로 표현될 수 있음을 엄밀하게 보인다. 학습을 전문가 추정 문제로 재해석함으로써, 게이티드 어텐션이 멀티헤드 셀프 어텐션보다 표본 효율적임을 입증한다. 특히 전자는 모델 파라미터를 복원하는 데 다항식 개수의 데이터 포인트만 필요한 반면, 후자는 동일한 추정 오차를 달성하는 데 지수적으로 많은 데이터 포인트가 필요하다. 나아가 우리의 분석은 게이트를 멀티헤드 셀프 어텐션 아키텍처의 다른 위치가 아니라 스케일드 닷 프로덕트 어텐션의 출력이나 값 사상에 둘 때 게이티드 어텐션이 어텐션 싱크 현상과 저랭크 병목을 완화하는 데 더 효과적인 이유에 대한 이론적 근거도 제공한다.

arXiv:2601.17171v3math.OC

다중 주변분포 최적 수송에서의 상호 c-켤레 포텐셜: 쌍대 표현과 안정성

Mutually c-Conjugate Potentials in Multimarginal Optimal Transport: Dual Representation and Stability

본 논문은 유계 연속 비용을 갖는 다중 주변분포 최적 수송(MOT)에 대한 쌍대 표현과 안정성 결과를 정립한다. 접근법은 상호 $c$-켤레 포텐셜을 사용하며, 각 성분은 나머지 성분이 고정되었을 때 쌍대 제약과 양립하는 가장 큰 함수이다. 임의의 실숫값 실현 가능 족에 대해 성분을 차례로 갱신하는 한 번의 순회만으로 접점을 보존하면서 이러한 족을 얻을 수 있다. 그 결과로 얻은 포텐셜은 유계이며 상반연속이다. 고정된 컴팩트 거리공간에서는 고정된 기준점에서의 정규화를 통해 곱 균등 노름에 대해 연속 포텐셜의 컴팩트 클래스를 얻는다. 이 클래스는 주변분포에 의존하지 않으며 모든 주변분포 튜플에 대한 쌍대 최대화 원소를 포함한다. 또한 하우스도르프 거리에서 이 클래스가 비용에 대해 립시츠 의존성을 가짐을 증명한다. 비용의 균등 수렴과 주변분포의 약수렴 아래에서 수송 값이 수렴한다. 이에 대응하는 정규화된 최적화 원소 집합은 유일성 가정 없이도 곱 균등 노름에서 상반안정이다. 또한 전변동 거리에서, 그리고 좌표별 립시츠 비용의 경우 바서슈타인 거리에서 값에 대한 경계를 얻는다. 좌표별 립시츠 기준 비용에 대해서는 쌍대 목적함수의 거듭제곱 증가 조건이 결합 섭동 아래 최적화 원소 집합에 대한 일방향 횔더 추정을 제공한다. 유한 공간에서는 다면체 구조로부터 선형 증가와 기준점에 의존하는 상수를 갖는 일방향 립시츠 추정을 얻는다. 폴란드 공간에서는 좌표 비용 프로파일이 균등 노름에서 전유계라는 조건이 컴팩트한 정규화 표현을 제공한다. 이 조건을 만족하는 고정된 비용에 대해서는 주변분포의 약수렴 아래에서 값의 연속성과 정규화된 켤레 최적화 원소 집합의 상반안정성이 성립한다.

arXiv:2601.12120v3stat.ME

집계 속에서 사라지다: 도구변수 추정량의 인과적 해석

Lost in Aggregation: The Causal Interpretation of the Instrumental Variable Estimand

도구변수 추정은 무작위 실험이 지나치게 비싸거나 불가능할 수 있는 사회과학과 역학에서 교란 편향을 완화하는 표준적인 접근법으로 자리 잡았다. 그러나 도구의 타당성을 정당화하는 것은 흔히 어렵다. 본 연구는 도구변수 타당성 논증에서 일반적으로 간과되는 문제, 즉 "집계 처치 변수"의 존재를 강조한다. 이는 처치(예: 교육, GDP, 칼로리 섭취)가 관측되지 않는 더 세분화된 구성요소로 이루어져 있고 각 구성요소가 결과에 서로 다른 효과를 가질 수 있는 경우를 말한다. 집계 문제 자체는 일반적이지만, 본 연구는 응용 도구변수 실무의 상당 부분이 기반하는 선형 설정에서의 도구변수 추정에 초점을 둔다. 집계 처치의 인과 효과는 집계에 대한 개입이 구성요소 수준에서 어떻게 구현되는지에 달려 있으므로 일반적으로 모호함을 보인다. 이 관계를 집계 제약 구성요소 개입 분포(ACID)를 이용해 형식화한다. 그런 다음 표준 도구변수 추정량이 집계 효과를 식별하는 두 가지 핵심 조건을 규명한다. 이 조건들이 인위적이라는 점은 집계 처치에 기반한 도구변수 추정치의 해석에 중대한 한계가 있음을 함의하며, 이러한 설정에서 배제 제약에 대해 더 폭넓은 정당화 근거가 필요함을 부각한다.

arXiv:2512.07755v4stat.ML

이류-확산 방정식에서 소스와 매개변수의 결합 추정을 위한 물리 기반 신경망

Physics-Informed Neural Networks for Joint Source and Parameter Estimation in Advection-Diffusion Equations

포물선형 편미분방정식(PDE)의 희소 측정 하 소스 역문제는 극심한 비适정성과 소스 함수 및 PDE 매개변수를 포함한 다수의 미지수 때문에 물리 기반 신경망(PINN)으로 풀기가 특히 어렵다. PINN의 신경 탄젠트 커널(NTK)은 단일 신경망을 포함하는 순문제에서 널리 사용되어 왔지만, 다수의 신경망을 포함하는 역문제로의 확장은 아직 덜 탐구되었다. 본 연구에서는 해, 미지의 소스, PDE 매개변수를 나타내는 다수의 네트워크를 포함하는 PINN의 NTK에 기반한 가중 적응 접근법을 제안한다. 방법론의 핵심 아이디어는 기저 PDE를 여러 미지의 함수형 매개변수를 연결하는 제약으로 사용하여 이들 미지수의 결합 복원을 동시에 푸는 것이며, 이를 통해 측정값의 제한된 정보를 더 효율적으로 활용한다. 나아가 속도와 확산 계수가 알려진 이류-확산 방정식(ADE)이 지배하는 소스 역문제에서 PINN의 근사 오차에 대한 이론적 분석을 제공한다. 특히 PINN의 학습 오차, 잡음 수준, 이산화 오차에 대해 추정된 소스 함수의 오차 한계를 유도한다. 이 분석은 근사 정확도에 영향을 미치는 요인에 대한 이론적 통찰을 제공한다. 실제 공학 시스템을 반영하는 다양한 유형의 측정 데이터를 사용하여 2차원 및 3차원 ADE에 대한 수치 실험을 제시한다. 그 결과는 PINN이 본 소스 역문제를 성공적으로 풀며 측정 잡음에 강건함을 보여 준다.

arXiv:2510.20755v5math.ST

등복제 설계의 불완전 U-통계량: Berry-Esseen 한계와 효율적 구성

Incomplete U-Statistics of Equireplicate Designs: Berry-Esseen Bound and Efficient Construction

U-통계량은 표본 평균을 일반화하며 비모수 통계의 많은 부분을 뒷받침하는 기본적인 추정량 계열이다. 통계학과 확률론 양쪽에서 폭넓게 연구되었음에도 핵심 과제가 남아 있다. 하나는 불완전 U-통계량을 통해 부분적으로 해결되는 높은 계산 비용이고, 다른 하나는 퇴화된 경우의 비표준적인 점근 거동으로 가설 검정에 일반적으로 재표집 방법이 필요하다는 점이다. 본 논문은 초그래프 이론과 조합 설계에 기반한 U-통계량의 새로운 관점을 제시한다. 우리는 불완전 U-통계량의 의존 그래프를 그 설계 초그래프의 선 그래프와 동일시하고, Stein 방법을 사용하여 완전 퇴화 하에서의 결정론적 설계에 대한 Berry-Esseen 한계를 유도한다. 나아가 이러한 결과를 완전 퇴화 설정에 맞춘 분산 추정량을 사용하는 스튜던트화 통계량으로 확장한다. 그 결과로 얻은 한계는 커널 차수가 고정된 초선형 설계 크기에 대해 가우시안 극한을 확립하며, 별도의 조건 하에서는 발산하는 차수도 수용한다. 또한 결정론적 설계의 하위 부류인 등복제(equireplicate) 설계를 구성하는 효율적인 알고리즘을 개발하며, 이는 2차의 경우 최소 분산 불완전 U-통계량을 산출한다. 이론적 기여를 넘어, 본 프레임워크는 두 표본 최대 평균 불일치(MMD) 검정과 고차 U-통계량에 기반한 일표본 평균 검정을 사용한 실험에서 입증되듯이, 완전 퇴화 U-통계량에 기반한 검정에 대한 순열 불필요 대안을 제공한다.

arXiv:2510.16937v2stat.ML

신뢰할 수 있는 통계적 추론을 위한 예측 증강 트리

Prediction-Augmented Trees for Reliable Statistical Inference

기계학습(ML)은 과학적 발견에서 점점 더 핵심적이 되고 있지만, ML 예측을 엄밀한 과학적 주장으로 옮기려면 여전히 골드 스탠다드 레이블 데이터에 대한 통계적 추론이 필요하다. 여러 과학 분야에서 등장한 한 설정은 분석가에게 작은 레이블 표본, 훨씬 더 큰 비레이블 표본, 사전 학습된 예측기를 제공하며, Angelopoulos et al. (2023)에서 정형화된 바와 같이 관심 양에 대한 신뢰구간을 구성하는 것을 목표로 한다. 이러한 ML 기반 과학적 발견 문헌에서는 일반적으로 레이블 데이터가 정밀도를 좌우하는 제약인 반면 계산은 상대적으로 제약이 없으며, 이는 고정된 레이블 집합, 고정된 비레이블 집합, 고정된 예측기로부터 추가 계산이 어떻게 더 많은 추론적 가치를 끌어낼 수 있는가라는 설계 문제를 동기화한다. 이 문제를 다루기 위해 우리는 예측 증강 잔차 트리(PART) 추정량을 제안한다. PART는 원래 PPI 추정량과 동일한 입력을 받으며, 단일 전역 보정항을 특징 공간의 적응적 분할에서 얻은 국소적으로 계산된 보정항으로 대체한다. 우리는 PART가 생태학, 천문학, 인구 조사 보고서 등 여러 분야의 실제 데이터셋에서 더 좁은 신뢰구간을 생성함으로써 기존 방법을 능가함을 보인다. 그런 다음 수치 구적법 기법에 기반한 추정량인 PAQ를 기술하고 분석한다. 입력 데이터에 대한 적절한 가정 하에서 PAQ의 분산이 $O(N^{-1} + n^{-4})$의 비율로 감소함을 보이며, 이는 기존 방법의 $O(N^{-1}+n^{-1})$ 비율을 증명 가능하게 깰 수 있는 설정이 존재함을 보여 준다.

arXiv:2506.03043v2cs.LG

확률적 최적 제어 기반 생성 모델에서의 밀도 추정 정확도에 관하여

On accuracy of density estimation in generative models based on stochastic optimal control

본 연구는 Ornstein-Uhlenbeck 기준 과정에 기반한 Schrödinger bridge 모델의 통계적 정확도를 연구한다. 알려진 콤팩트 지지 초기 분포와 미지의 목표 분포로부터의 독립 표본이 주어졌을 때, 사전에 정한 함수 클래스 위에서 경험적 Kullback-Leibler(KL) 위험을 최소화하여 오른쪽 Schrödinger 로그 포텐셜을 추정한다. 지지집합이 유계가 아닐 수도 있는 유계 sub-Gaussian 목표 밀도에 대해, 목표 종단 주변분포와 추정된 종단 주변분포 사이의 KL 발산에 대한 비점근적 고확률 오라클 부등식을 증명한다. 목표 로그 밀도에 대한 양측 가우시안 경계와 평활성 가정을 추가로 두면, 희소 ReLU 신경망에 대한 근사 보장을 도출하고, 정확한 경험적 위험 최소화에 대해 $\widetilde{O}(n^{-2s / (2s + d)})$의 KL 수렴 속도를 확립한다. 이는 로그 인자를 제외하면 고전적인 비모수 KL 위험 수렴 지수와 일치하며, 동시에 꼬리가 가우시안 포락선으로 제어되는 $\mathbb R^d$ 상의 목표 밀도를 허용한다.

arXiv:2505.11621v2cs.LG

국소화된 초기화를 통한 고정 차원 두 층 ReLU 신경망의 양성 과적합

Benign Overfitting of Two-Layer ReLU Networks in Fixed Dimension through Localized Initialization

양성 과적합은 모델이 잡음이 섞인 훈련 데이터를 정확히 적합하면서도 일반화가 잘 이루어지는 현상이다. 본 연구는 표준 ReLU 활성화를 사용하는 유한 너비 두 층 신경망을 고정 차원에서 경사 흐름으로 훈련할 때 이러한 거동이 나타남을 증명한다. 우리의 데이터 독립적 초기화는 가우시안 가중치와, 처음에는 줄어드는 구면 캡에서만 활성화되는 뉴런을 결합한다. 균일한 구면 입력과 임의의 고정된 유계 조건부 응답 법칙에 대해, 훈련 위험과 초과 위험은 충분히 늦은 모든 시점에 걸쳐 균등하게 확률적으로 0으로 수렴한다. 또한 매개변수는 확률이 1로 수렴하면서, 초과 위험이 확률적으로 0으로 수렴하는 보간 극한으로 수렴한다. 표본 크기와 차원에만 의존하는 하나의 스케줄을 사용한다. 증명은 네트워크를 커널 흐름과 연결하며, 그 극한은 릿지 회귀와 훈련 잔차를 적합하는 국소화된 스파이크를 결합한 것이다. 표본 크기, 너비, 훈련 시간에 대한 명시적 경계를 제시한다.

arXiv:2505.09706v3stat.ME

차이를 위한 숲: 모수적 이중차분법을 넘어서

Forests for Differences: Beyond Parametric Difference-in-Differences

본 논문은 시차 도입과 이질적 처치 효과 같은 이중차분(DiD) 추정의 핵심 문제를 다루는 새로운 비모수 모델인 이중차분 베이지안 인과 숲(DiD-BCF)을 소개한다. DiD-BCF는 평균 처치 효과(ATE), 집단 평균 처치 효과(GATE), 조건부 평균 처치 효과(CATE)를 추정하기 위한 통합 프레임워크를 제공한다. 코호트별 수준, 공통 미처치 추세, 처치 효과에 대해 별도의 회귀 숲을 구성함으로써, 이 모델은 조건부 평행 추세와 무예측 제약을 베이지안 비모수 방법에 직접 내장한다. 우리는 비모수 식별과 정확한 처치 효과 사후분포의 통합 처치 효과 일치성을 증명한다. 광범위한 시뮬레이션은 특히 비선형성, 선택 편향, 효과 이질성 하에서 DiD-BCF가 기존 벤치마크보다 우수한 성능을 보임을 입증한다. 미국 최저임금 정책에 적용했을 때, 이 모델은 카운티 인구와 관련된 유의미한 조건부 처치 효과 이질성을 밝혀내며, 이는 전통적 방법으로는 가려져 있던 통찰이다. DiD-BCF는 현대 DiD 응용에서 보다 섬세한 인과 추론을 위한 견고하고 다재다능한 도구를 제공한다.

arXiv:2502.19002v2cs.LG

The Sharpness Disparity Principle in Transformers for Accelerating Language Model Pre-Training

Transformers consist of diverse building blocks, such as embedding layers, normalization layers, self-attention mechanisms, and point-wise feedforward networks. Thus, understanding the differences and interactions among these blocks is important. In this paper, we uncover a clear Sharpness Disparity across these blocks, which emerges early in training and intriguingly persists throughout the training process. Motivated by this finding, we propose Blockwise Learning Rate (LR), a strategy that tailors the LR to each block's sharpness, accelerating large language model (LLM) pre-training. By integrating Blockwise LR into AdamW, we consistently achieve lower terminal loss and nearly $2\times$ speedup compared to vanilla AdamW. We demonstrate this acceleration across GPT-2 and LLaMA, with model sizes ranging from 0.12B to 2B and datasets of OpenWebText, MiniPile, and C4. Finally, we incorporate Blockwise LR into Adam-mini (Zhang et al., 2024), a recently proposed memory-efficient variant of Adam, achieving a combined $2\times$ speedup and $2\times$ memory saving. These results underscore the potential of exploiting the sharpness disparity to improve LLM training.

arXiv:2502.16336v3stat.ML

더 나은 조건부 커버리지를 위한 적합도 점수 보정

Rectifying Conformity Scores for Better Conditional Coverage

본 논문은 분할 적합 예측(split conformal prediction) 프레임워크 내에서 신뢰 집합을 생성하는 새로운 방법을 제시한다. 제안하는 방법은 주어진 임의의 적합도 점수에 대해 학습 가능한 변환을 수행하여, 정확한 주변 커버리지를 보장하면서 조건부 커버리지를 개선한다. 이 변환은 적합도 점수의 조건부 분위수 추정에 기반한다. 그 결과로 얻어지는 방법은 표준 적합 분위수 회귀 접근법의 적용이 제한적인 다중 출력 문제에서 적응적 신뢰 집합을 구성하는 데 특히 유용하다. 또한 주변 커버리지만 제공하는 적합 예측 방법의 고전적 한계와 달리, 분위수 추정의 정확도가 근사적 조건부 타당성에 미치는 영향을 포착하는 이론적 한계를 도출한다. 실험을 통해 제안 방법이 국소적 데이터 구조에 매우 잘 적응하며 조건부 커버리지 측면에서 기존 방법보다 우수함을 보였고, 이를 통해 다양한 응용에서 통계적 추론의 신뢰성을 향상시킨다.

arXiv:2501.19277v5stat.ML

온라인 상품 구성 최적화에서 추론의 수익 비용

The Revenue Cost of Inference in Online Assortment Optimization

상품 구성(assortment) 실험을 수행하는 판매자는 향후 제안들을 비교하기 위한 데이터를 수집하는 동시에 수익도 얻어야 한다. 정규 유한 차원 모수적 선택 모형과 유한한 상품 구성 집합에 대해, 본 연구는 기대 수익 손실과 사전에 정해진 수익 비교들 전반에 걸친 최대 국소 1차 분산 상수 사이의 오라클 프런티어를 규명한다. 오라클 벤치마크가 비용 없이도 유한하게 유지되는 것은 수익을 최대화하는 상품 구성이 모든 목표 기울기 방향에서 정보를 제공할 때, 그리고 그 경우에 한한다. 비용이 드는 제안이 부족한 정보를 제공할 수 있는 경우, 예산 역수 분산 법칙의 정확한 선두 계수와 극한의 최적 지출 비율을 도출한다. 파일럿 기반 절차는 정보를 보존하기 위해 기준 제안을 확보해 두고, 불확실성을 반영하도록 추정된 예산 제약을 더 엄격하게 설정한다. 고정된 예산과 기준 비율에서 구현된 설계의 분산 기준이 안정화된 오라클 값으로 수렴하기 위한 조건을 제시한다. 합성 사례와 Expedia로 보정한 시장을 이용한 시뮬레이션에서, 전체 상품 구성 집합에 걸쳐 제안을 배분하면 공통된 기회비용 예산 하에서 수익 비교의 정밀도를 향상시킬 수 있음을 보인다. 추가 실험에서는 파일럿 지출, 예산 보호, 그리고 선택 모형의 오지정에 대한 민감도를 평가한다.

arXiv:2412.14291v3math.OC

비볼록 및 확률적 매끄러운 최적화를 위한 사영 경사법: 새로운 복잡도와 자동 조건화 스텝 크기

Projected gradient methods for nonconvex and stochastic smooth optimization: new complexities and auto-conditioned stepsizes

본 논문은 볼록 컴팩트 집합 위에서 매끄럽지만 반드시 볼록하지는 않은 함수를 최소화하기 위한 새로운 부류의 사영 경사(PG)법을 제시한다. 먼저 고정 스텝 크기 PG 방법에 대한 새로운 분석을 제공하여, 볼록 및 비볼록 문제에서 근사 정류점을 찾기 위한 통합된 반복 복잡도를 달성한다. 이어서 기울기의 립시츠 상수의 입력이나 어떠한 선 탐색 절차도 필요로 하지 않으면서 동일한 반복 복잡도를 달성하는 "자동 조건화" 사영 경사(AC-PG) 변형을 개발한다. 핵심 아이디어는 이전 반복에서 수집한 1차 정보를 이용해 립시츠 상수를 추정하고, 립시츠 상수를 과소 추정하여 발생하는 오차가 적절히 제어될 수 있음을 보이는 것이다. 그런 다음 확률적 사영 경사(SPG) 방법과 분산 감소 확률적 경사(VR-SPG) 방법을 제안하여 PG 방법을 확률적 설정으로 일반화하고, 서로 다른 오라클 설정에서 새로운 통합 복잡도 상界를 달성한다. 또한 두 확률적 PG 방법 모두에 대한 자동 조건화 스텝 크기 정책을 제시하고 유사한 수렴 보장을 확립한다.

arXiv:2411.19933v3stat.ME

분포 변화가 있는 고차원 분위 회귀를 위한 전이 학습

Transfer Learning for High-dimensional Quantile Regression with Distribution Shift

관련된 원천 연구의 정보는 종종 목표 연구의 결과를 향상시킬 수 있다. 그러나 목표 연구와 원천 연구 사이의 분포 변화는 지식 전이의 효율을 심각하게 저해할 수 있다. 고차원 회귀 설정에서 기존 전이 접근법은 주로 모수 변화에 초점을 둔다. 본 논문에서는 모수 변화, 공변량 변화, 잔차 변화의 세 가지 유형의 분포 변화 하에서 지식 전이를 수반하는 고차원 분위 회귀에 초점을 둔다. 위의 세 가지 불일치를 다루기 위해 새로운 전이 가능 집합과 새로운 전이 프레임워크를 제안한다. 분포 변화가 존재하는 상황에서 제안 방법의 유효성과 우수성을 검증하기 위해 비점근적 추정 오차 상界와 원천 탐지 일치성을 확립한다. 또한 지식 전이를 포함한 통계적 추론을 위해 직교 편향 제거 접근법을 제안하며, 이는 더 정밀한 점근 결과로 이어진다. 광범위한 모의실험 결과와 실제 데이터 응용은 제안한 절차의 효과를 추가로 입증한다.

arXiv:2407.18402v3cs.LG공식 코드 · Papers with Code

RECOVAR: 지진 사건 탐지를 위한 심층 잠재 공간상의 표현 공분산

RECOVAR: Representation Covariances on Deep Latent Spaces for Seismic Event Detection

최신 딥러닝 방법은 지진 탐지를 개선했지만, 가장 널리 쓰이는 접근법은 대체로 대규모 레이블 파형 데이터셋을 이용한 지도 학습에 의존한다. 이러한 데이터셋을 구축하는 일은 시간이 많이 들고, 기존 카탈로그, 탐지 파이프라인, 사람의 검토에서 비롯된 편향을 유발하여 데이터셋 간 일반화와 과소 대표된 사건에 대한 민감도를 제한할 수 있다. 본 논문은 사건/잡음 레이블 없이 원시 파형으로부터 직접 학습할 수 있는 비지도 지진 사건 탐지 방법인 RECOVAR를 제시한다. 이 방법은 합성곱 오토인코더의 앙상블을 사용하며, 교차 공분산 기반 지표를 통해 압축된 잠재 표현의 시간적 정렬을 측정함으로써 사건을 탐지한다. 결과는 RECOVAR가 공개 벤치마크 데이터셋에서 지도 학습 탐지기의 성능에 도달할 수 있고, 데이터셋 간 시나리오에서도 견고하며, 사건을 포함한 창이 학습 스트림의 $1\%$ 미만인 불균형 연속 파형 데이터에서도 효과적임을 시사한다. 또한 이 방법은 다중 관측소 환경에서 정밀도를 높이는 필터로 작용하여 지도 학습 파이프라인을 보완할 수 있다. 탐지 원리가 도메인 특화 가정을 두지 않으므로, 이 접근법은 지진학을 넘어 신호 탐지 문제로 확장될 수 있다.

arXiv:2404.00551v2stat.ML

가우시안 채널 정則성과 플로 매칭을 이용한 분포 학습

Gaussian-Channel Regularity and Distribution Learning with Flow Matching

본 논문은 목표 분포에 대한 조건인 가우시안 채널 정칙성(Gaussian-channel regularity) 하에서, 가우시안 소스로부터의 선형 보간을 사용하는 플로 매칭에 의한 분포 학습을 연구한다. 정수 $r\geq2$에 대해 모집단 속도장의 $r$차 공간 정칙성을 확립하며, 전체 구간에서의 시간 립시츠 연속성과 종료 시점 이전의 국소 시간 해석성도 함께 보인다. 이러한 성질을 이용하여 절단 반경과 무관한 공간 립시츠 상계를 갖는 유한 다중 스케일 ReLU 시브(sieve)를 구성한다. 이 시브 위에서 경험적 플로 매칭 위험의 정확한 최소화자에 대해, 기대 Wasserstein-$2$ 오차의 상계를 로그 인자를 제외하고 $n^{-r/(d+2r)}$ 차수로 얻는다. 여기서 $n$은 표본 크기, $d$는 차원이다. 이 상계는 조기 종료 없이 시간 1까지의 오일러 이산화를 포함한다. 해당 조건은 강볼록 $C^2$ 퍼텐셜과 양측 헤세 행렬 경계를 갖는 목표 분포에 대해 $r=2$에서 성립한다. 또한 유계 지지집합을 갖는 법칙을 비퇴화 등방 가우시안과 합성곱하여 얻는 분포에 대해서는 모든 고정된 차수 $r\geq2$에서 성립한다. 목표 클래스를 정의하는 고정 상수가 충분히 큰 경우에 대해, $\max\{n^{-1/2},n^{-(r+1)/(d+2r)}\}$ 차수의 민맥스 하계를 증명한다.

arXiv:2307.07735v4math.OC

구조적 선형 및 커널 서포트 벡터 머신을 위한 더 빠른 알고리즘

Faster Algorithms for Structured Linear and Kernel Support Vector Machines

서포트 벡터 머신(SVM)을 포함하여 많은 기계 학습 문제는 이차 계획법이다. 일반적인 이차 계획 문제의 입력 크기는 $\Theta(n^2)$이며, 강한 지수 시간 가설(SETH)을 가정하면 목적 행렬이 양의 준정부호일 때 $O(n^{2-o(1)})$ 시간 알고리즘은 존재하지 않는다(Backurs, Indyk, and Schmidt, NeurIPS'17). 그러나 SVM은 $n$이 흔히 $d$보다 훨씬 큰 $d$차원의 $n$개 데이터 점으로 주어지며 등식 제약이 $O(1)$개뿐이다. 본 연구에서는 이차 목적 행렬의 저계수 분해가 주어지고, 선형 제약의 수가 작으며, 목적 함수의 계수와 어떤 최적해가 $\mathrm{poly}(n)$으로 유계이고, 어떤 가능해의 모든 원소가 $1/\mathrm{poly}(n)$과 $\mathrm{poly}(n)$ 사이에 있을 때 이차 계획 문제를 푸는 최초의 거의 선형 시간 알고리즘을 설계한다. $d$차원 데이터에 대한 선형 SVM의 경우, $(d+1)^{\omega-1}\le n$이고 데이터 점의 노름이 최대 $\mathrm{poly}(n)$이며 마진이 최소 $1/\mathrm{poly}(n)$일 때, 우리의 확률적 알고리즘은 기대 시간 $\widetilde O(nd^{(\omega+1)/2}\log(n/\epsilon))$에 실행된다. 여기서 $\omega<2.258$은 행렬 곱셈 지수이다. 이 알고리즘의 출력은 등식 제약을 근사적으로만 만족한다. 가우시안 커널 SVM의 경우, $d=O(\log n)$이고, 데이터셋 반지름의 제곱이 $o(\log n/\log\log n)$이며, 쌍대 변수가 $R\le\mathrm{poly}(n)$인 상자 $[0,R]^n$ 안에 있을 때, 우리의 확률적 알고리즘은 $\epsilon\ge 1/\mathrm{poly}(n)$인 임의의 정확도에 대해 기대 시간 $n^{1+o(1)}$에 실행된다. 또한 SETH를 가정할 때, 데이터셋 반지름의 제곱이 $\Omega(\log^2 n)$이면 편향항이 없는 문제에서 오차 $\exp(-\Theta(\log^2 n))$에 도달하기 위해 일부 입력에서 $\Omega(n^{2-o(1)})$ 시간이 필요함을 증명한다. 이는 차원 $d$와 데이터셋 반지름의 제곱 모두에서 기존 최선의 하계를 개선한다.

arXiv:2304.07855v2econ.EM

표본조사 가중 일반화 선형 모형의 선택적 추론: 증가하는 차원과 평균 한계 효과

Selective Inference for Survey-Weighted Generalized Linear Models: Growing Dimension and Average Marginal Effects

본 논문은 $\ell_1$ 벌점 가능도 선택적 추론(Selective Inference) 방법을 표본조사 환경으로 확장한다. 공변량의 수가 증가하고 표본조사 가중치가 있는 일반화 선형 모형에 대해 이 방법의 점근적 타당성을 확립하며, 잘못 설정되었을 수 있는 선택된 모형의 의사 참값(pseudo-true) 모수에 대한 추론을 가능하게 한다. 더 나아가 표본조사 가중 로짓 모형의 평균 한계 효과와 같은 비선형 함수에 대한 추론을 수행할 수 있도록 이 방법을 일반화한다. 제안한 접근법의 효과는 모의 데이터와 2020 Canadian Internet Use Survey를 이용하여 예시한다.

arXiv:1809.04547v2cs.LG공식 코드 · Papers with Code

Tsetlin Machine을 이용한 의료 응용을 위한 고정확도 텍스트 분류용 인간 해석 가능 규칙 학습

Using the Tsetlin Machine to Learn Human-Interpretable Rules for High-Accuracy Text Categorization with Medical Applications

의료 응용은 높은 정확도와 해석의 용이성을 모두 요구함으로써 오늘날의 텍스트 분류 기법에 도전 과제를 제기한다. 딥러닝은 정확도에서 큰 도약을 가져왔지만, 이러한 도약은 해석 가능성을 희생한 대가이다. 이러한 정확도와 해석 가능성의 과제를 해결하기 위해, 본 연구는 최근 소개된 Tsetlin Machine을 활용하는 텍스트 분류 접근법을 최초로 제시한다. 간단히 말해, 텍스트의 용어를 명제 변수로 표현한다. 이로부터 "rash"와 "reaction"과 "penicillin"이면 Allergy와 같은 단순한 명제식을 사용하여 범주를 포착한다. Tsetlin Machine은 각 범주의 특정 측면을 나타내는 논리곱 절(conjunctive clause)을 활용하여 레이블이 있는 텍스트로부터 이러한 식을 학습한다. 심지어 용어의 부재(부정된 특징)도 분류에 사용될 수 있다. 나이브 베이즈, 결정 트리, 선형 서포트 벡터 머신(SVM), 랜덤 포레스트, 장단기 메모리(LSTM) 신경망 및 기타 기법과의 실증적 비교 결과는 매우 명확하다. Tsetlin Machine은 20 Newsgroups와 IMDb 데이터셋은 물론 비공개 임상 데이터셋에서도 평가한 모든 방법과 대등하거나 더 우수한 성능을 보인다. 평균적으로 Tsetlin Machine은 모든 데이터셋에 걸쳐 가장 높은 재현율과 정밀도 점수를 제공한다. 마지막으로, 본 연구의 Tsetlin Machine GPU 구현은 데이터셋에 따라 CPU 구현보다 5배에서 15배 빠르게 실행된다. 따라서 본 연구의 새로운 접근법이 광범위한 텍스트 분석 응용에 상당한 영향을 미칠 수 있으며, Tsetlin Machine을 이용한 더 깊은 자연어 이해를 위한 유망한 출발점이 될 것이라고 믿는다.