PyTorchKR Papers

최신 논문

총 86편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2502.20612v2cs.LG공식 코드 · Papers with Code

자기지도 대조 학습을 위한 전역 거짓 부정의 즉각적인 탐지

Discovering Global False Negatives On the Fly for Self-supervised Contrastive Learning

자기지도 대조 학습(self-supervised contrastive learning)에서 음성 쌍(negative pair)은 일반적으로 앵커(anchor) 이미지와 앵커를 제외한 전체 데이터셋에서 추출된 샘플을 사용해 구성됩니다. 그러나 이러한 방식은 유사한 의미를 지닌 음성 쌍, 즉 "거짓 부정(false negatives)"을 생성할 수 있으며, 이로 인해 이들의 임베딩이 부당하게 멀어지게 됩니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training) 중에 각 앵커 데이터의 거짓 부정을 식별하기 위한 임계값을 즉석에서(on the fly) 자동으로 학습하는 최적화 기반 접근 방식인 GloFND를 소개합니다. 기존의 거짓 부정 탐지 방법들과 달리, 우리의 접근 방식은 미니배치(mini-batch) 내에서 국소적으로 탐지하는 대신 전체 데이터셋에 걸쳐 전역적으로 거짓 부정을 탐지합니다. 또한, 반복(iteration)당 계산 비용은 데이터셋 크기와 무관하게 일정하게 유지됩니다. 이미지 및 이미지-텍스트 데이터에 대한 실험 결과는 제안된 방법의 효과를 입증합니다. 본 연구의 구현 코드는 https://github.com/vibalcam/GloFND 에서 확인할 수 있습니다.

arXiv:2402.02399v3cs.LG공식 코드 · Papers with Code

FreDF: 주파수 영역에서의 예측 학습

FreDF: Learning to Forecast in the Frequency Domain

시계열 모델링은 과거 데이터와 미래 시퀀스 모두에 존재하는 자기상관(autocorrelation)으로 인해 고유한 어려움을 야기합니다. 현재 연구는 주로 과거 데이터 내의 자기상관을 다루는 반면, 미래 레이블 간의 상관관계는 간과되는 경우가 많습니다. 구체적으로, 최신 예측 모델은 주로 직접 예측(Direct Forecast, DF) 패러다임을 따르며, 다단계 예측을 독립적으로 생성하고 시간에 따른 레이블 자기상관을 무시합니다. 본 연구에서는 레이블 자기상관이 존재할 때 DF의 학습 목표에 바이어스가 발생함을 증명합니다. 이러한 문제를 해결하기 위해, 우리는 주파수 영역에서 예측하는 법을 학습하여 레이블 자기상관을 완화하고 추정 바이어스를 줄이는 FreDF(Frequency-enhanced Direct Forecast)를 제안합니다. 실험 결과에 따르면 FreDF는 기존의 최신 SOTA(state-of-the-art) 방법들을 크게 능가하며 다양한 예측 모델과 호환됩니다. 코드는 https://github.com/Master-PLC/FreDF 에서 확인할 수 있습니다.

arXiv:2507.06061v2stat.ML공식 코드 · Papers with Code

정밀도와 정확도를 갖춘 유병률 추정

Estimating prevalence with precision and accuracy

각 데이터 포인트의 클래스를 추정하는 것을 목표로 하는 분류(classification)와 달리, 정량화(quantification, 또는 유병률 추정)는 데이터셋 내 클래스의 분포를 추정하는 것을 목표로 합니다. 유병률 추정에서 중요한 과제는 유병률 추정치의 불확실성을 정량화하는 것입니다. 본 논문에서는 충분한 커버리지(즉, 실제 유병률을 포함하는 구간의 충분한 비율)를 유지하면서 좁은 예측 구간을 달성하는 베이지안 집계형 정량화기인 Precise Quantifier(PQ)를 소개합니다. 연구 결과, 기반이 되는 분류기의 식별 능력이 향상되고 테스트 크기 대비 검증 크기 비율이 증가할수록 PQ가 기존 방법보다 더 정밀한 유병률 추정치를 산출함을 확인했습니다. 이러한 실증적 결과는 PQ가 기존 접근 방식보다 유병률 추정치의 불확실성을 정량화하기 위해 검증 정보를 더 효과적으로 활용함을 시사합니다.

arXiv:2312.10234v4stat.ME공식 코드 · Papers with Code

전방문 모델 하에서 인과 효과에 대한 유연한 비모수적 추론

Flexible Nonparametric Inference for Causal Effects under the Front-Door Model

관찰 연구에서 인과적 처치 효과를 평가하려면 교란(confounding) 문제를 해결해야 합니다. 후방문 기준(back-door criterion)은 관찰된 공변량 조정을 통해 식별을 가능하게 하지만, 측정되지 않은 교란이 존재할 때는 실패합니다. 반면 전방문 기준(front-door criterion)은 처치 효과를 완전히 매개하며 처치-결과 쌍의 미측정 교란 변수로부터 영향을 받지 않는 변수를 활용하여 대안을 제공합니다. 본 논문에서는 전방문 가정 하에서 평균 처치 효과(ATE)와 처치받은 집단에 대한 평균 처치 효과(ATT) 모두를 추정하기 위한 새로운 1단계(one-step) 추정량 및 타깃 최소 손실 기반 추정량(TMLE)을 개발합니다. 제안하는 추정량은 매개변수 밀도 모델링을 완전히 배제하는 접근 방식을 포함하여 관찰된 데이터 분포의 다양한 모수화를 기반으로 구축되며, 유연한 머신러닝 기반 성가신 모수(nuisance) 추정과 호환됩니다. 또한 2차 나머지 경계(second-order remainder bounds)를 유도하여 root-n 일치성 및 점근적 선형성을 위한 조건을 확립합니다. 나아가 일반화된 (Verma) 독립성 제약을 인코딩하는 전방문 모델의 준모수적 확장 내에서, 이중 강건(doubly robust) 검정 절차를 포함하여 식별 가정을 평가하기 위한 유연한 검정 방법을 개발합니다. 더불어 이러한 제약을 활용하여 인과 효과 추정량의 효율성을 향상시킬 수 있는 방법도 제시합니다. 시뮬레이션 연구를 통해 우수한 유한 표본 성능을 확인하였으며, 교육 및 응급 의학 분야의 실제 데이터 적용 사례를 통해 제안 방법의 실질적인 유용성을 입증합니다.

arXiv:2409.14557v5stat.ML공식 코드 · Papers with Code

샘플 효율적인 강화학습을 위한 외생적 구조 활용

Exploiting Exogenous Structure for Sample-Efficient Reinforcement Learning

우리는 상태 공간이 외생적(exogenous) 및 내생적(endogenous) 구성요소로 분할되는, Exo-MDP로 알려진 구조화된 마르코프 결정 과정(MDP) 클래스를 연구한다. 외생적 상태는 에이전트(agent)의 행동과 무관하게 확률적으로 변화하는 반면, 내생적 상태는 두 상태 구성요소와 행동 모두에 기반하여 결정론적으로 변화한다. Exo-MDP는 재고 관리, 자원 관리, 차량 호출(ride-sharing)을 포함한 많은 운영 과학(operations research) 설정을 포착한다. 우리의 첫 번째 기여는 구조적 측면으로, 이산 MDP, Exo-MDP, 이산 선형 혼합 MDP 사이의 표현적 동치 관계를 확립한다. 두 번째 기여는 통계적 측면이다. 유효 차원 $r$이 내생적 상태 및 행동 공간에 비해 작을 때 Exo-MDP 학습의 미니맥스 후회(minimax regret)를 규명한다. 외생적 상태가 관측되지 않을 때, Exo-MDP의 유효 차원이 $r$인 경우 수평선(horizon) $H$의 $K$개 에피소드에 걸쳐 $Θ(Hr \sqrt{K})$ 차수의 일치하는 상한 및 하한 후회 경계를 증명한다. 외생적 상태가 관측되는 경우 미니맥스 후회는 $Θ(H\sqrt{ r K})$로 개선되어, 외생적 상태 관측으로 인한 $Θ(\sqrt{r})$의 통계적 격차를 밝혀낸다. 이러한 결과는 Exo-MDP가 샘플 복잡도(sample complexity)를 행동 공간 및 내생적 상태 공간으로부터 분리함을 보여준다. 우리는 재고 관리 및 자원 할당에 대한 실험을 통해 이러한 통찰을 검증한다.

arXiv:2110.14961v4cs.LG공식 코드 · Papers with Code

상호작용하는 동적 시스템을 위한 회전-변위 로컬 좌표계

Roto-translated Local Coordinate Frames For Interacting Dynamical Systems

상호작용 모델링은 고도로 비선형적이며 시간에 따라 변하는 동작을 보이는 상호작용 객체 시스템, 즉 복잡한 동적 시스템(dynamical systems)을 학습하는 데 매우 중요합니다. 이러한 시스템의 상당 부분은 기하학적 그래프($\textit{geometric graphs}$), 즉 교통 상황의 차량과 같이 $\textit{임의로}$ 선택된 글로벌 좌표계 하에서 유클리드 공간에 위치한 노드(node)를 갖는 그래프로 정형화될 수 있습니다. 임의의 글로벌 좌표계에도 불구하고, 해당 동적 시스템을 지배하는 동역학은 회전 및 변위(translation)에 대해 불변이며, 이는 갈릴레이 불변성($\textit{Galilean invariance}$)으로도 알려져 있습니다. 이러한 불변성을 무시하면 일반화 성능이 저하되므로, 본 연구에서는 상호작용 동적 시스템의 기하학적 그래프에 회전-변위 불변성을 유도하기 위해 노드 객체별 로컬 좌표계(local coordinate frames)를 제안합니다. 또한, 로컬 좌표계를 통해 그래프 신경망(GNN)에서 비등방성 필터링(anisotropic filtering)을 자연스럽게 정의할 수 있습니다. 교통 상황, 3D 모션 캡처, 충돌 입자에 대한 실험을 통해 제안된 접근 방식이 최근 SOTA(state-of-the-art)를 여유 있게 능가함을 입증합니다.

arXiv:2205.06398v2stat.ME공식 코드 · Papers with Code

다중 네트워크 데이터를 위한 이상치 탐지

Outlier Detection for Multi-Network Data

신경과학 연구에서는 신경영상을 활용하여 서로 다른 개인의 뇌 네트워크를 측정하는 것이 일상화되었습니다. 이러한 네트워크는 일반적으로 인접 행렬(adjacency matrix)로 표현되며, 각 셀에는 한 쌍의 뇌 영역 간 연결성 요약 정보가 포함됩니다. 네트워크 간 노드는 공유되지만 엣지는 서로 다른 이러한 다중 네트워크 데이터를 분석하기 위한 방법론을 다루는 통계학 문헌이 점차 등장하고 있습니다. 그러나 이상치 탐지(outlier detection)라는 중요한 문제에 대해서는 실질적인 고려가 거의 이루어지지 않았습니다. 특히 특정 피험자의 경우 신경영상 데이터의 품질이 너무 낮아 네트워크를 신뢰성 있게 재구성할 수 없습니다. 이러한 피험자의 경우 결과로 도출되는 인접 행렬이 대부분 0이거나 정상적으로 기능하는 뇌와 일치하지 않는 기이한 패턴을 보일 수 있습니다. 이러한 이상치 네트워크는 영향점(influential points)으로 작용하여 후속 통계 분석을 오염시킬 수 있습니다. 본 논문에서는 인접 행렬에 대한 위계적 일반화 선형 모델(hierarchical generalized linear model) 기반의 영향력 측도(influence measure)를 활용하는 간단한 네트워크 이상치 탐지(ODIN, Outlier DetectIon for Networks) 방법을 제안합니다. 효율적인 계산 알고리즘을 설명하고, 시뮬레이션과 UK Biobank 데이터 적용을 통해 ODIN을 실증합니다. ODIN은 중간 수준부터 극단적인 수준의 이상치를 식별하는 데 성공했습니다. 이러한 이상치를 제거하면 다운스트림 응용 분야의 추론(inference) 결과가 크게 달라질 수 있습니다.

arXiv:2404.17763v3stat.ME공식 코드 · Papers with Code

다루기 어려운 정규화 상수를 갖는 완전 관측 및 부분 관측 지수족 그래프 모델에서의 가능도 기반 추론

Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants

기저의 마르코프 랜덤 필드(Markov random field)를 인코딩하는 확률적 그래프 모델(probabilistic graphical model)은 복잡한 의존 구조를 가진 현대의 다변량 데이터셋에서 잠재 표현(latent representation)을 학습하는 생성 모델링(generative modeling)의 근본적인 구성 요소이다. 이 중 지수족 그래프 모델(exponential family graphical model)은 통계적 성질이 비교적 잘 알려져 있고, 유사 가능도(pseudo-likelihood) 방법에 기반하여 고차원 데이터에 대한 계산 확장성을 갖추고 있어 특히 널리 사용된다. 이러한 모델은 통계 물리학의 Ising 모델과 유전체학의 카운트 그래프 모델(count graphical model) 등 여러 분야에서 성공적으로 적용되어 왔다. 또 다른 계열의 모델은 일부 노드를 잠재 변수로 두어, 관측 가능한 노드의 주변 분포가 지수족에서 벗어나 더 복잡한 의존성을 포착할 수 있도록 한다. 이러한 접근법은 볼츠만 머신(Boltzmann machine)과 그 제한된 버전(restricted Boltzmann machine)과 같은 인공지능 생성 모델의 토대를 이룬다. 완전 관측 및 부분 관측 사례 모두에서 가능도 기반(즉, 최대 가능도 및 완전 베이즈) 추론의 근본적인 장벽은 가능도를 다루기 어렵다는 점이다. 일반적인 우회책은 Besag(1974)의 선구적인 연구를 따라 유사 가능도 기반 접근법을 채택하는 것이다. 본 논문의 목표는 로그 수준의 희소성(logarithmically sparse) 설정에서 이러한 모델에 대한 완전 가능도 기반 분석이 계산적으로 효율적인 방식으로 가능함을 보이는 것이다. 핵심적인 혁신은 다루기 어려운 그래프 모델의 기저에 있는 다루기 쉬운 독립 모델(independence model)을 활용하여 정규화 상수(normalizing constant)와 그 그래디언트를 추정하는 데 있다. 광범위한 수치 실험 결과, 이를 뒷받침하는 이론, 그리고 유사 가능도 기반 접근법과의 비교를 통해 제안한 방법의 적용 가능성을 입증한다.

arXiv:2505.18918v4stat.ML공식 코드 · Papers with Code

ALPCAHUS: 이분산성 데이터를 위한 부분공간 군집화

ALPCAHUS: Subspace Clustering for Heteroscedastic Data

주성분 분석(PCA)은 데이터 차원 축소 분야의 핵심 도구입니다. K-서브스페이스(KSS)와 같이 여러 부분공간에서 파생된 데이터를 군집화하기 위해, PCA를 부분공간 합집합(UoS) 설정으로 확장하는 다양한 방법들이 제안되어 왔습니다. 그러나 일부 응용 분야에서는 각 데이터 샘플과 관련된 노이즈 특성으로 인해 품질이 달라지는 이종(heterogeneous) 데이터를 다룹니다. 이분산성(heteroscedastic) 방법은 이러한 혼합된 데이터 품질을 처리하는 것을 목표로 합니다. 본 논문에서는 샘플별 노이즈 분산을 추정하고 이 정보를 활용하여 데이터의 저차원(low-rank) 구조와 관련된 부분공간 기저(subspace bases) 추정을 개선할 수 있는, ALPCAHUS라는 이분산성 기반 부분공간 군집화(subspace clustering) 방법을 개발합니다. 이 군집화 알고리즘은 UoS 설정에서 이분산성 노이즈를 갖는 군집을 위해 최근 제안된 이분산성 PCA 방법인 LR-ALPCAH를 확장함으로써 K-서브스페이스(KSS) 원리를 기반으로 구축됩니다. 시뮬레이션 및 실제 데이터 실험을 통해 기존 군집화 알고리즘 대비 데이터의 이분산성을 고려하는 것의 효과성을 입증합니다. 코드는 https://github.com/javiersc1/ALPCAHUS 에서 이용 가능합니다.

arXiv:2406.03678v2cs.LG공식 코드 · Papers with Code

반성적 정책 최적화

Reflective Policy Optimization

Trust Region Policy Optimization(TRPO)와 Proximal Policy Optimization(PPO) 같은 온-정책 강화학습 방법은 업데이트마다 많은 데이터를 요구하는 경우가 많아 샘플 비효율성을 낳는다. 본 논문은 정책 최적화를 위해 과거와 미래의 상태-행동 정보를 통합하는 새로운 온-정책 확장인 Reflective Policy Optimization(RPO)을 제안한다. 이 접근법은 에이전트가 성찰(introspection)할 수 있게 하여 현재 상태에서 자신의 행동을 수정할 수 있게 한다. 이론적 분석은 정책 성능이 단조적으로 개선되고 해 공간을 수축시켜, 그 결과 수렴 절차를 가속함을 보여 준다. 실험 결과는 두 강화학습 벤치마크에서 RPO의 실현 가능성과 효과를 입증하며, 더 나은 샘플 효율로 이어진다. 본 연구의 소스 코드는 https://github.com/Edgargan/RPO 에서 제공된다.

arXiv:2502.07891v3stat.ML공식 코드 · Papers with Code

잠재 변수를 가진 인과 구조의 관측적 부분 순서

The observational partial order of causal structures with latent variables

동일한 가시 변수(visible variable) 집합을 갖는 두 인과 구조에 대해, 첫 번째 구조로 실현 가능한 가시 변수 상의 분포 집합이 두 번째 구조로 실현 가능한 가시 변수 상의 분포 집합을 포함하면, 첫 번째 구조가 두 번째 구조를 관측적으로 지배(observationally dominate)한다고 한다. 이러한 지배 관계를 알면 관측 데이터가 주어졌을 때 이들 구조 중 어느 것이 적합한지 판별하는 데 유용하다. 본 연구에서는 잠재 변수(latent variable)를 가진 인과 구조의 동치류(equivalence class)들이 관측적 지배 관계에 대해 이루는 부분 순서를 결정하는 문제를 다룬다. 가시 변수가 세 개인 경우에는 지배 순서를 완전하게 규명하였고, 가시 변수가 네 개인 경우에는 부분적으로 규명하였다. 또한 우리의 기법은 어떤 관측적 동치류가 벨 부등식(Bell inequalities) 및 도구 부등식(instrumental inequalities)과 유사한 비자명한(nontrivial) 부등식 제약으로 실현 가능한 분포 집합이 특징지어지는지를 식별하는 데에도 도움이 된다. 가시 변수의 수가 늘어날수록 비자명한 부등식 제약을 만족하는 동치류가 어디에나 존재하게 된다는 증거를 발견하였다. (이러한 동치류는 양자적으로 실현 가능한 분포와 고전적으로 실현 가능한 분포 사이에 차이가 있을 수 있는 경우이므로, 이는 양자-고전 간극(quantum-classical gap)이 존재할 가능성 또한 어디에나 있음을 시사한다.) 나아가, 조건부 독립 제약에만 의존하는 제약 기반 인과 발견(causal discovery) 알고리즘은, 이를 넘어서는 알고리즘(즉, 중첩 마르코프(nested Markov) 제약과 부등식 제약도 함께 활용하는 알고리즘)에 비해 관측적 동치류를 구별하는 능력이 상당히 약하다는 증거도 발견하였다.

arXiv:1907.06994v2stat.ME공식 코드 · Papers with Code

일반화 선형 전문가 혼합 모델의 정규화 추정 및 특징 선택

Regularized Estimation and Feature Selection in Mixtures of Generalized Linear Experts

전문가 혼합(Mixtures of experts, MoE)은 혼합 비율과 각 구성 요소의 밀도가 모두 예측 변수에 의존하는 조건부 혼합 모델로, 이질적인 데이터의 회귀, 분류, 모델 기반 클러스터링에 널리 사용된다. 예측 변수가 많거나 서로 상관되어 있을 때 최대 가능도(maximum likelihood)로 MoE를 적합하면 불안정해지며, 때로는 적합 자체가 불가능해지기도 한다. 본 논문에서는 전문가가 일반화 선형 모델(generalized linear model) 계열에 속하는 MoE에서 매개변수 추정과 특징 선택을 동시에 수행하는 정규화 최대 가능도 프레임워크를 제안하며, 이는 가우시안, 푸아송, 다항(multinomial) 반응을 하나의 공식으로 포괄한다. 게이팅 네트워크와 전문가 모두에서 $\ell_1$ 페널티를 통해 희소성을 유도하고, 페널티가 적용된 로그 가능도는 근접 뉴턴-EM(proximal Newton-EM) 알고리즘으로 최대화하며, 이 알고리즘의 M-step은 폐쇄형 좌표 상승(coordinate-ascent) 업데이트를 갖는 가중 Lasso 문제로 귀착된다. 기존의 페널티 적용 MoE 절차와 달리, 이 알고리즘은 페널티에 대한 국소 이차 근사도, 어떠한 행렬 역변환도 필요로 하지 않으며, 임계값 처리(thresholding) 없이도 정확히 희소한 추정치를 반환하고, 근접 뉴턴 방식의 변형은 매 반복마다 페널티 목적 함수가 단조 증가함을 보장한다. 시뮬레이션 데이터와 다섯 개의 실제 데이터셋에서 제안한 방법은 실제 희소성 지지집합(support)을 복원하였으며, 최신 정규화 MoE와 견줄 만하고 종종 더 우수한 예측 및 클러스터링 정확도를 보였다. 개발한 알고리즘의 소스 코드와 문서는 Github(https://github.com/nv-thin/GLM-RMoE)에 공개되어 있다.

arXiv:2502.09740v3econ.EM공식 코드 · Papers with Code

기업 생존 예측을 위한 고차원 중도절단 MIDAS 로지스틱 회귀

High-dimensional censored MIDAS logistic regression for corporate survival forecasting

본 논문은 세 가지 주요 통계적 난관인 (i) 우측 중도절단(right censoring), (ii) 고차원 예측 변수(high-dimensional predictors), (iii) 혼합 주기 데이터(mixed-frequency data)라는 특징을 갖는 기업 부실 예측 문제를 다룹니다. 이러한 복잡성을 극복하기 위해, 우리는 새로운 고차원 중도절단 MIDAS(Mixed Data Sampling) 로지스틱 회귀를 도입합니다. 제안하는 접근법은 역확률 가중(inverse probability weighting)을 통해 중도절단을 처리하며, 희소 그룹 패널티(sparse-group penalty)를 적용하여 다수의 혼합 주기 예측 변수를 통한 정확한 추정을 달성합니다. 또한 중도절단, MIDAS 근사 오차, 두터운 꼬리(heavy tails)를 고려하여 추정 오차에 대한 유한 표본 경계(finite-sample bounds)를 확립합니다. 통계적 추론(inference)을 위해, 제안된 패널티 추정량의 탈희소화(de-sparsified) 버전을 개발하고 그 점근 이론을 정립하여 중도절단이 있는 고차원 환경에서 유효한 통계적 추론을 가능하게 합니다. 우리는 중도절단이 탈희소화 추정량에 대해 비표준적인 분산 구조를 유도함을 보여주며, 이는 우리가 아는 한 기존 문헌에서 연구된 바 없는 특징입니다. 몬테카를로 시뮬레이션을 통해 본 방법론의 우수한 성능을 입증합니다. 마지막으로, 중국 상장 기업의 재무적 부실을 예측하고 부실 예측에 통계적으로 유의미한 공변량을 식별하기 위한 광범위한 방법론적 적용 사례를 제시합니다. 제안된 새로운 절차는 R 패키지 \texttt{Survivalml}로 구현되어 있습니다.

arXiv:2504.02694v3stat.ME공식 코드 · Papers with Code

개입 주도 변화 하에서 반사실 회귀를 위한 반모수 추론

Semiparametric Inference for Counterfactual Regression under Intervention-Driven Shift

본 연구는 데이터에서 관측된 시나리오와 다른 가설적 시나리오 하에서 특징을 결과에 대응시키는 반사실 회귀(counterfactual regression)를 다룬다. 이 문제는 분포 이동(distribution shift) 하에서의 의사결정에 핵심이며, 배포 시 처치(treatment) 패턴이 달라질 수 있다. 우리는 사전에 지정된 점증적 개입(incremental-intervention) 경로를 따르는 반사실 회귀를 위한 반모수(semiparametric) 프레임워크를 개발한다. 목표는 반사실 위험(counterfactual risk)의 유한차원 제약 투영(constrained projection)이며, 프로그램 구성요소의 cross-fitted 영향함수(influence-function) 표현을 사용해 추정한다. 고정 제약을 갖는 매끄러운(smooth) 프로그램과 추정된 선형 제약을 갖는 유한차원 프로그램에 대해, 클래스별 조건 하에서 옵티마이저의 일치성(consistency)과 국소 안정성(local stability)을 확립하고, 점별(pointwise) 및 균일(uniform) 1차 전개(first-order expansions)를 도출한다. 이 결과는 반사실 회귀 경로에 대한 동시 신뢰구간(simultaneous confidence bands)을 포함하여 점근적으로 유효한 추론을 제공한다. 시뮬레이션과 SMS 알림(SMS reminders) 적용이 제안 방법의 유한 표본(finite-sample) 성능과 실용적 적용 가능성을 보여준다.

arXiv:2504.02518v4stat.ML공식 코드 · Papers with Code

고차원 확률적 전력 가격 예측을 위한 온라인 다변량 정규화 분포 회귀

Online Multivariate Regularized Distributional Regression for High-dimensional Probabilistic Electricity Price Forecasting

확률적 전력 가격 예측(PEPF)은 단기 전력 시장에 필수적이지만, 연속 24시간에 걸친 day-ahead 가격의 다변량 특성은 여전히 충분히 연구되지 않았다. 동시에 실시간 의사결정에는 정확하면서도 빠른 방법이 필요하다. 본 연구는 다변량 분포 회귀 모델을 위한 온라인 알고리즘을 제안하여 전력 가격의 조건부 평균, 분산, 의존 구조를 효율적으로 모델링할 수 있게 한다. 이 접근법은 다변량 분포 회귀를 온라인 좌표 하강(coordinate descent)과 LASSO형 정규화(absolute shrinkage and selection operator)와 결합하여 고차원 공변량 공간에서 확장 가능한 추정을 가능하게 한다. 또한 점점 더 복잡한 의존 구조에 대한 정규화 추정 경로를 제안하여 조기 종료를 허용하고 과적합을 피한다. 독일 day-ahead 시장의 역사적 데이터를 사용한 사례 연구에서 제안 방법은 24차원 가격 분포에 대해 해석 가능하고 잘 보정된 공동 예측 구간을 산출하며, 다양한 proper scoring rule에서 강건한 성능을 보인다. 결과는 전력 가격의 의존 구조를 모델링하는 것의 중요성을 부각한다. 또한 배치 및 온라인 추정에 대한 예측 정확도와 계산 비용 간의 트레이드오프를 분석하고, ondil 패키지에 고성능 오픈소스 Python 구현을 제공한다.

arXiv:1902.03223v4stat.ML공식 코드 · Papers with Code

견고한 스트리밍 PCA

Robust Streaming PCA

교란을 받는 확률적 데이터 생성 모델 하에서의 스트리밍 주성분 분석을 다룬다. 기존 모델은 공분산이 고정되어 있다고 가정하는 반면, 우리는 공분산 행렬이 시간적 불확실성 집합에 속한다는 견고한 관점을 취한다. 이 설정에서 주성분을 복원하는 임의의 알고리즘에 대한 수렴의 근본적 한계를 제시한다. 정상 데이터 생성 모델에 대해 연구되어 온 noisy power method와 Oja 알고리듬의 수렴을 분석하고, 우리 설정에서 noisy power method가 rate-optimal임을 주장한다. 마지막으로 합성 및 실세계 데이터셋에 대한 수치 실험을 통해 분석의 타당성을 보인다.

arXiv:2506.19935v2cs.LG공식 코드 · Papers with Code

마스크드 디퓨전 모델로서의 임의 순서 GPT: 수식화와 아키텍처의 분리

Any-Order GPT as Masked Diffusion Model: Decoupling Formulation and Architecture

대규모 언어 모델(LLM)을 효율적으로 스케일링(scaling)하기 위해서는 지배적인 자기회귀(AR) 방식의 대안을 모색해야 하며, 마스크드 디퓨전 모델(MDM)이 유력한 후보로 떠오르고 있습니다. 그러나 통상 디코더 전용(decoder-only)인 AR과 인코더 전용(encoder-only)인 경우가 많은 MDM 패러다임을 비교할 때는 서로 다른 아키텍처로 인해 혼선이 발생하며, 진정한 알고리즘적 트레이드오프와 효율성 간의 절충점이 불분명해집니다. 본 연구는 디코더 전용 프레임워크 내에서 MDM을 평가함으로써 이러한 요소들을 분리하여 다음을 수행합니다: (1) 순서의 차이를 통해 MDM(임의 순서 AR 형태)과 표준 AR 패러다임을 공정하게 비교합니다. (2) MDM 아키텍처가 계산 효율성에 미치는 영향을 조사합니다. 더 넓은 모델링 공간에도 불구하고 디코더 전용 MDM이 온도 어닐링(temperature annealing)과 같은 기법을 통해 상당한 추론 속도 향상($\sim25\times$)과 대등한 수준의 펄플렉서티(perplexity)를 달성할 수 있음을 보여주며, 이는 추론 연산량을 줄일 수 있는 경로를 제시합니다. 본 연구는 핵심 모델링 선택과 아키텍처의 영향을 분리함으로써 연산 효율성이 더 높은 파운데이션 모델을 개발하기 위한 통찰을 제공합니다. 코드는 https://github.com/scxue/AO-GPT-MDM 에서 확인할 수 있습니다.

arXiv:2411.15209v4cs.LG공식 코드 · Papers with Code

QABBA: 정수 양자화 집계를 통한 기호 기반 시계열 압축

QABBA: Symbolic Time-Series Compression via Integer-Quantized Aggregation

센서와 모니터링 시스템에서 생성되는 시계열 데이터가 확대되면서 간결한 표현의 중요성이 커지고 있다. 이러한 표현은 신호의 구조를 유지하면서 저장, 전송, 연산 비용을 줄여야 한다. 적응형 브라운 브리지 기반 집계(Adaptive Brownian Bridge-based Aggregation, ABBA)는 긴 수치 시계열을 짧은 기호 시퀀스로 변환하여 이러한 요구를 해결하지만, 매개변수 저장량과 연산 정밀도 측면에서는 여전히 개선의 여지가 있다. 우리는 ABBA의 양자화 버전인 Quantized ABBA(QABBA)를 제안한다. QABBA는 기호 중심(symbolic center)을 양자화함으로써 매개변수 사용량을 줄이고, 높은 재구성 품질을 유지하면서 정수 연산을 가능하게 한다. 우리는 양자화로 인해 추가로 발생하는 근사 오차에 대해 여러 오차 경계를 제시한다. 구체적으로 각 세그먼트의 초과 오차에 대한 차원 독립적(dimension-free) 경계, 시간 영역 재구성 오차 경계, 기호 할당의 안정성 조건, 그리고 세그먼트 길이와 증분 사이에 비트를 배분하는 규칙을 제시한다. 이렇게 얻어진 기호 문자열은 별도의 시계열 임베딩 층 없이 사전학습된 대규모 언어 모델(LLM)에 직접 입력할 수 있다. Monash 회귀 아카이브, UCR 시계열 분류 아카이브, UEA 다변량 시계열 분류 아카이브에서의 실험은 저장량, 재구성 정확도, 그리고 후속 예측 성능 사이의 실용적인 트레이드오프를 보여준다. 따라서 QABBA는 시계열 압축과 LLM 기반 분석을 위해 오차가 제어되는 저정밀도 기호 표현을 제공한다.

arXiv:2410.01432v3cs.LG공식 코드 · Papers with Code

상각 샘플러를 위한 적응형 교사

Adaptive teachers for amortized samplers

상각 추론(Amortized inference)은 신경망과 같은 매개변수 모델을 학습시켜, 정확한 샘플링이 불가능한 주어진 비정규화 밀도(unnormalized density)의 분포를 근사하는 작업이다. 샘플링이 순차적 의사결정 과정으로 구현될 때, 생성 플로우 네트워크(generative flow networks)와 같은 강화학습(RL) 방법을 사용하여 샘플링 정책을 학습시킬 수 있다. 오프-정책 강화학습 학습은 다양하고 보상이 높은 후보를 발견하는 데 도움이 되지만, 기존 방법들은 효율적인 탐험에서 여전히 어려움을 겪는다. 우리는 적응형 학습 분포(\teacher)를 사용하여 주된 상각 샘플러(\student)의 학습을 안내할 것을 제안한다. 보조 행동 모델인 \teacher는 \student의 손실이 큰 영역에서 샘플링하도록 학습되며, 아직 탐험되지 않은 모드들로 일반화할 수 있어 효율적인 학습 커리큘럼을 제공함으로써 모드 커버리지(mode coverage)를 향상시킨다. 우리는 탐험 과제를 제시하도록 설계된 합성 환경, 두 가지 확산 기반 샘플링 과제, 그리고 네 가지 생화학적 발견 과제에서 이 접근법의 효과를 검증하며, 샘플 효율성과 모드 커버리지를 개선할 수 있음을 보인다. 소스 코드는 https://github.com/alstn12088/adaptive-teacher 에서 확인할 수 있다.

arXiv:2408.01362v4stat.ML공식 코드 · Papers with Code

함수 공간에서의 오토인코더

Autoencoders in Function Space

오토인코더는 원래의 결정론적 형태와 변분(formulation)인 변분 오토인코더(VAE) 모두에서 널리 응용되어 왔다. 과학 응용과 영상 처리에서는 데이터를 함수로 보는 것이 종종 관심 대상이다. 실무에서는 이산화(과학에서 나오는 미분방정식)나 픽셀화(영상)로 문제가 유한 차원이 되지만, 먼저 함수에 대해 동작하는 알고리즘을 구상한 뒤 이산화하거나 픽셀화하는 접근이 해상도 간 매끄럽게 동작하는 더 나은 알고리즘으로 이어진다. 본 논문에서는 오토인코더(FAE)와 변분 오토인코더(FVAE)의 함수 공간 버전을 제안·분석·적용한다. VAE를 지배하는 목적함수의 well-definedness는 미묘한 문제이며, 특히 함수 공간에서 적용 가능성을 제한한다. FVAE 목적함수가 well defined 되려면 데이터 분포가 선택한 생성 모델과 호환되어야 하며, 예를 들어 데이터가 확률 미분방정식(stochastic differential equation)에서 비롯될 때는 이를 달성할 수 있지만 일반적으로 제한적이다. 반면 FAE 목적함수는 FVAE가 그렇지 못한 많은 상황에서 well defined이다. FVAE 및 FAE 목적함수를 임의의 메쉬에서 평가할 수 있는 신경 연산자(neural operator) 아키텍처와 결합하면, 인페인팅(inpainting), 초해상도(superresolution), 과학 데이터의 생성 모델링(generative modelling)에 오토인코더를 새롭게 적용할 수 있다.