PyTorchKR Papers

최신 논문

총 4,041편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.17971v1stat.ML

인과 그래프에서 변수의 효율적이고 실용적인 군집화

Efficient and Practical Clustering of Variables in Causal Graphs

그래프에서 변수를 군집화하면 시각적 명료성이 향상되고 인과 추론이 단순화될 수 있다. 군집화의 잠재력을 온전히 활용하려면 그래프에서 유용한 군집을 탐지하는 자동화된 방법이 필요하다. 본 논문은 컨듀잇(conduit)이라는 새로운 군집 클래스를 도입하고, 그래프 내 모든 컨듀잇을 탐지하는 건전하고(sound) 완전하며(complete) 효율적인 알고리즘을 제시한다. 알고리즘적으로 탐지가 가능할 뿐만 아니라, 컨듀잇은 실제 응용에서 유래한 인과 그래프에서 자연스럽게 나타나며 그래프 크기를 상당히 줄일 수 있게 한다. 더욱이 컨듀잇의 구조는 군집화와 관련하여 알려진 식별가능성 결과를 적용할 수 있게 한다. 우리는 실제 그래프를 사용한 시뮬레이션 연구를 통해 이러한 특성을 입증한다.

arXiv:2611.17746v1cs.LG

복소 슈뢰딩거 브리지

Complex Schr\"odinger Bridges

확산 브리지는 임의의 데이터 분포 간 변환을 가능하게 하는 다재다능한 프레임워크로 부상하였다. 그러나 이러한 접근법은 방대한 최적화 공간과 그 기저의 고차 구조에 의해 제약을 받는다. 본 논문은 해밀턴 구조와 같이 스케일링 및 회전 법칙이 지배하는 복소 벡터 공간의 실제 문제를 풀기 위한 확산 브리지의 변형을 탐구한다. 이를 위해 우리는 기하학적 리프팅 하에서 기하적 및 소산적 동역학을 갖는 물리 시스템을 위해 설계된 복소수 값 수송 프레임워크인 등각 최적 수송(COT)을 도입한다. 이를 기반으로 우리는 등각 기하 사전분포를 사용하여 확산 기반 과제를 처리할 수 있는 알고리즘을 도출하는 새로운 동역학적 확산 브리지 부류인 복소 슈뢰딩거 브리지(CSB)를 제안한다. 확장성을 위해 우리는 해석적 나선 사후분포를 갖는 다루기 쉬운 확산 브리지 기법인 이미지 대 이미지 CSB(I$^2$CSB)를 제안한다. 마지막으로 양자 논리 게이트의 논리적 거동을 모사하는 양자전기역학 시뮬레이션 내에서 물리 정보 기반 CSB 알고리즘을 구현한다. 폭넓은 결과는 기저 이론을 검증하는 동시에 복소수 값 확산의 장점을 부각한다.

arXiv:2611.17547v1stat.ML

시뮬레이션 및 실험 데이터를 이용한 2차원 XRD 해석을 위한 불확실성 인지 연속 학습

Uncertainty-Aware Continual Learning for 2D XRD Interpretation Using Simulated and Experimental Data

자율 실험 시스템에는 이질적인 측정값을 해석하고 데이터가 축적됨에 따라 예측 성능을 유지하는 특성화 모델이 필요하다. 이러한 모델을 개발하려면 데이터 출처 간 도메인 불일치, 낯선 입력에 대한 과신 예측, 순차적 갱신 중의 파국적 망각을 다루어야 한다. 본 연구에서는 2차원 X선 회절(XRD) 데이터의 불확실성 인지 연속 해석을 위한 개념 증명 프레임워크를 제시한다. 이 프레임워크는 기존에 확립된 구성 요소들을 통합하며, 시뮬레이션과 실험 간 불일치를 줄이기 위한 최대 평균 불일치(MMD) 기반 도메인 적응, 예측 불확실성 추정을 위한 스펙트럼 정규화 신경 가우시안 프로세스를 갖춘 합성곱 신경망(CNN--SNGP), 순차적 모델 갱신을 위한 지식 증류를 동반한 재생을 포함한다. 단일상 체심입방, 면심입방, 육방조밀 패턴의 결정 구조 분류에 대해 시뮬레이션 데이터와 기존에 수집된 실험 데이터를 사용하여 프레임워크를 평가한다. 데이터는 적응과 이전에 학습한 지식의 유지를 평가하기 위해 사전에 정의된 순차 블록으로 구성된다. 이러한 설정에서 결과는 시뮬레이션과 실험 데이터 전반에 걸친 정확한 분류, 두 도메인 간 정렬 개선, 단순 미세 조정 대비 망각 감소를 보여 준다. 예측 불확실성 또한 낯설고 잡음이 있는 입력에 대해 평가된다. 본 연구의 기여는 순차적 XRD 해석을 위해 이러한 능력들을 통합하고 평가한 데 있다. 이 프레임워크는 향후 자율 실험 시스템에 통합하기 위한 토대를 제공하며, 실험 계획, 장비 제어, 폐루프 배포는 향후 개발 과제로 남아 있다.

arXiv:2611.17503v1stat.ML

동적 시스템을 위한 다중 충실도 연산자 추론

Multifidelity Operator Inference for Dynamical Systems

본 논문은 비선형 동적 시스템의 비침습적이며 물리 기반인 차수 축소 모델(ROM)을 학습하기 위한 연산자 추론(OpInf)의 다중 충실도(MF) 정식화를 제시한다. OpInf는 최소제곱 회귀 문제를 풀어 스냅샷 데이터의 사영으로부터 축소 연산자를 학습한다. 그러나 고충실도 스냅샷을 생성하는 데는 계산 비용이 많이 들 수 있어, 많은 항공우주 응용에서 매개변수 범위와 학습 궤적의 시간 범위가 제한되며, 이는 부정확하거나 불안정한 ROM 예측으로 이어질 수 있다. 본 연구는 제어 변수법에서 착안한 MF 최소제곱 정식화를 통해 제한된 수의 고충실도 스냅샷과 더 풍부한 저충실도 스냅샷을 결합하여 여러 궤적에 걸친 단일한 축소 연산자 집합을 학습하는 MF-OpInf를 제안한다. 저충실도 궤적은 추가적인 매개변수 범위를 제공하며 고충실도 학습 시간 구간을 넘어 확장된다. 저충실도 스냅샷은 가중 고유직교분해를 통해 개선된 축소 기저를 구성하는 데에도 사용된다. 우리는 매개변수화된 정현파 강제항을 갖는 비선형 반응-확산 문제와 매개변수화된 입구 펄스를 갖는 원기둥 주위 2차원 비압축성 유동 문제에 MF-OpInf를 적용하여 보인다. 이 실험에서 동일한 학습 시뮬레이션 예산 하에, MF-OpInf는 고충실도 학습 시간 구간을 넘어 확장된 시험 시간 영역에서 미관측 매개변수에 대한 평균 상대 예측 오차를 반응-확산 문제에서 최대 $87\%$, 원기둥 유동 문제에서 $28\%$ 감소시킨다. 이러한 결과는 MF-OpInf가 학습 시뮬레이션 예산을 늘리지 않고도 시간적 외삽과 미관측 매개변수에서의 예측을 개선할 수 있음을 보여 준다.

arXiv:2611.17484v1cs.LG

SURFACE: 스칼라화 조향을 통한 파레토 전선 상의 선호 분포 정합

SURFACE: Preference Distribution Matching on Pareto Fronts via Scalarization Steering

유한한 파레토 표현을 구성하려면 제한된 수의 해를 파레토 전선(PF) 전반에 할당해야 한다. 원하는 선호 분포는 일부 PF 영역에 더 많은 해를, 다른 영역에는 더 적은 해를 배정함으로써 이 할당을 지정한다. 스칼라화는 목적 가중치를 변화시키고 단일 목적 문제를 풀어 파레토 해를 생성한다. 그러나 가중치-해 사상이 비선형이며 사전에 알려져 있지 않기 때문에, 스칼라화 가중치의 분포가 일반적으로 PF를 따른 파레토 해의 동일한 분포로 이어지지는 않는다. 이러한 왜곡을 고려하기 위해, 우리는 원하는 PF 분포에 맞도록 스칼라화 가중치를 적응적으로 갱신하는 SURFACE(Scalarization Updates for Redistributing Finite Approximations with Chart Estimation)를 도입한다. SURFACE는 현재의 스칼라화된 해로부터 가중치 격자의 각 영역이 PF의 어떤 면적에 대응하는지 추정한 다음, 이에 따라 가중치를 재분배한다. 이 방법은 표준 단일 목적 해법기를 이용한 병렬, 웜 스타트, 비정확 최적화를 지원한다. 이론적으로, 우리는 명시된 정칙성 조건 하에서 SURFACE가 선호 분포 불일치의 $\mathcal{O}(N^{-2/(M-1)})$ 크기의 유한 해상도 오차 하한까지의 선형 수렴을 달성함을 증명한다. 여기서 $N$은 적응형 가중치의 수이고 $M$은 목적의 수이다. 실험적으로, 여러 벤치마크에 걸친 실험은 기존 기준선과 비교하여 목표 질량 균형과 PF 커버리지가 개선됨을 보여 준다.

arXiv:2611.17390v1stat.ML

사후분포 지지 사전분포의 열거: 유한 적분 범주 간 측도 사상의 1차 오차

Enumerating Posterior-Supported Priors: First-Order Error of Finite-Integral Cross-Categorical Measurement Morphisms

생성 모델링에서 표준 측도론은 거의 어디서나(a.e.) 관례를 채택하여 영(null) 지지 집합이 지닌 오차 성분을 정당하게 무시한다. 이에 따라 단 하나의 영 원소가 영 지지 안에 영역 밖 오차를 숨기고도 명시적으로 계상되지 않을 수 있다. 본 논문의 기여는 새로운 분포 간 거리가 아니라, 어떤 근본 술어가 상위 수준 대상을 지지하는지, 그것이 언제 가역인지, 오차가 어느 층에 있는지를 기술하는 검증 가능한 구조이며, 이로부터 사후분포 지지 사전분포 열거 프레임워크를 제안한다. 이 프레임워크는 세 층의 범주 사슬 Quot->MorTop->Set 위에서 작동한다. 처음 두 층은 점 원소를 가정하지 않고 이진 술어 몫 분할을 대상으로 삼으며, 복제본 인덱스 계수 측도는 일대다 집합을 단사로 차례로 판별하여 대상 집합을 전사에서 몫 층의 전단사로 끌어올리고, 공유 측도 공간에서 원상들의 상호 배타성은 가역 MPT로 해소된다. 네 가지 결과는 정리 7로 통합된다. 이진 몫 분할 메타 범주 대상은 측도 하강-복원을 통해 범주적 지지를 따라 집합 범주 함자를 지지하며, 원상과 대상이 아니라 사상 자체를 열거하고, 그 다중도는 복제본 인덱스 단사를 통해 정규화되어 명시적인 1차 오차로 계상된다. 본 논문의 기여는 비자명한 입력 구성에서 공학적으로 계산 가능한 1차 출력으로의 변환이다. 범주적 지지 측도 하강-복원을 통해 지지되는 이진 몫 분할 메타 범주 대상은 실질적인 비자명 입력을 이루며, 이는 영 지지 안에 숨어 있던 영역 밖 오차를 반증 가능한 1차 계수 mu_err, 즉 유한하게 얻을 수 있는 유한 적분 1차 오차로 끌어올리기 때문이다.

arXiv:2611.11985v2stat.ML

약한 지지집합 하에서의 궤적 밀도비: 과학 전반에 걸친 서베이

Trajectory Density Ratios under Weak Support: A Survey across the Sciences

과학 전반의 많은 문제는 두 확률과정을 그것들이 생성하는 시퀀스를 통해 비교한다. 강화학습은 기존 정책의 궤적으로부터 새로운 정책이 얼마의 보상을 얻을지를 묻고, 분자 시뮬레이션은 결합되지 않은 상태의 표본으로부터 리간드가 얼마나 더 강하게 결합하는지를 묻는다. 기후 귀인 분석은 온난화로 인해 폭염이 어떻게 변했는지를 묻고, 언어 모델 사후 학습은 기록된 상호작용으로부터 배포된 에이전트가 무엇을 할지를 묻는다. 모든 경우에 하나의 양이 이 모든 질문에 한꺼번에 답할 수 있는데, 이는 생성된 시퀀스에 대한 두 확률 법칙의 비, 즉 궤적 밀도비이다. 이 비는 강한 조건에서만 존재한다. 한 과정이 다른 과정이 도달할 수 없는 상태에 도달하면 비는 존재하지 않고, 두 과정의 중첩이 얇으면 분산이 시퀀스 길이에 따라 통제할 수 없이 증가하며, 두 과정이 서로 다른 저차원 집합에 집중되면 비는 아예 정의되지 않는다. 이러한 약한 지지집합은 표집상의 우연이 아니라 시퀀스 데이터에서 일반적인 현상이며, 그 대가는 잡음뿐만 아니라 식별 가능성에서도 치르게 된다. 이 서베이는 약한 지지집합에 대한 3단계 진단과, 전체 비에 도달할 수 없을 때 방법들이 택하는 아홉 가지 후퇴 전략의 지도를 중심으로 이 분야를 정리한다. 이 전략은 직접 추정과 재가중에서 시작하여 단계적 분해, 정상화, 부분 식별 경계를 거쳐 평활화, 수송 결합, 연산자 스펙트럼, 단일 범함수의 직접 추정에 이른다. 각 후퇴 전략은 비가 제공하는 것의 일부를 유지하는 대신 나머지에 대한 대가를 치르며, 각 응용 분야는 자신의 데이터가 강제하는 후퇴 전략을 표준화해 왔다. 서베이는 모든 수준에서 검증 가능한 진단, 궤적 수준의 부분 식별, 시간에 따라 증폭되는 오차의 수렴률 이론, 정답이 있는 벤치마크라는 미해결 문제로 끝맺는다.

arXiv:2611.01929v2cs.LG

발밑을 조심하라: Adam의 마진 최대화 편향은 학습률 스케줄에 좌우된다

Watch Your Step: Adam's Margin Maximization Bias Depends on the Learning Rate Schedule

우리는 이진 분류 과제의 동차 모델에서 Adam의 암묵적 편향과 부호 경사 하강법과의 유사성을 연구한다. 놀랍게도 이들이 학습률 스케줄에 의존함을 밝힌다. 기존 연구들은 $L$이 동차 차수일 때 강하게 감쇠하는 학습률 스케줄 $\eta(t)=\mathrm o \left(t^{1/L-1}\right)$을 연구하여 $\ell_\infty$ 마진 최대화 편향을 보였으나, 우리는 상수 및 약하게 감쇠하는 스케줄을 포함하는 더 일반적인 상보적 영역에 집중한다. 다항 스케줄 $t^{\alpha}$와 동차 차수 $L$에 대해, $\alpha > \frac 1L - \frac12$일 때 Adam은 심층 선형 네트워크에서 (KKT 의미에서) 궤적에 무관한 마진 최대화 편향을 갖지 않음을 보인다. 첫째, 이 설정에는 제곱 노름을 포함하여 자명하지 않고 국소적으로 립시츠이며 볼록한 암묵적 정규화항이 존재하지 않는다. 둘째, 너비가 1인 네트워크에서는 볼록성을 요구하지 않고도 결과가 성립하며, 이는 넓은 네트워크의 모든 암묵적 정규화항이 너비 1 네트워크로 제한될 때 자명해야 함을 의미한다. 그럼에도 우리는 이 영역에서의 암묵적 편향을 임의의 $L$-동차 모델에 대해 궤적에 의존하는 가중 $\ell_2$ 마진을 최대화하는 것으로 긍정적으로 규명한다. 결과의 근본 메커니즘은 Adam의 전처리기가 궤적에 의존하는 벡터로 수렴하는 것이며, 이로부터 극한 매개변수 방향이 초기화에 의존함도 보일 수 있다. 중간 영역 $\frac 1L - 1 \leq \alpha \leq \frac1L - \frac12$에서는 경사 방향이 전체 지지 벡터로 수렴한다는 조건 하에 $\ell_\infty$ 편향을 증명한다. 독립적으로 흥미로운 결과로, 일반 동차 모델에 대한 전체 배치 Adam의 손실 감소율을 확립하며, 그 선두 차수는 2차 모멘트 매개변수에만 의존한다.

arXiv:2610.07740v2stat.ML

조화 가중치를 이용한 고차원 온라인 보정

High-Dimensional Online Calibration from Harmonic Weights

우리는 임의의 볼록 집합 $Y\subseteq\mathbb{R}^d$ 위에서 임의의 오차 노름 $\|\cdot\|_L$에 대한 다차원 예측의 온라인 보정을 연구한다. $d$개의 이진 결과를 동시에 예측하는 경우($Y=[0,1]^d$), 모든 고정된 정확도에 대해 $d$에 대한 다항식 수의 라운드 안에 $\varepsilon$-보정을 달성하는 최초의 알고리즘을 제시한다. 이 알고리즘은 $d^{O(1/\varepsilon)}$ 라운드를 요구하며, 기존 한계의 차원 의존성을 지수적으로 개선한다. 다중 클래스 예측($Y=\Delta_d$)에서도 동일한 $d^{O(1/\varepsilon)}$ 비율을 얻으며, 이는 Peng 및 Fishelson, Golowich, Mohri, Schneider의 $d^{\widetilde{O}(1/\varepsilon^2)}$ 한계를 개선한다. 우리의 알고리즘은 단순하다. 각 라운드에서 조화적으로 평활화된 과거 결과들에 대한 조화 가중 분포를 출력한다. 동일한 알고리즘이 모든 예측 집합과 오차 노름에 대해 작동한다. 더 일반적으로, 행렬 불일치 문제로 정의되는 기하학적 모수 $\gamma(Y,L)$에 대해 $\exp(O(\gamma(Y,L)/\varepsilon))$ 라운드 후에 $\varepsilon$-보정을 달성한다. 조화 가중치는 이산 힐베르트 변환 행렬이 모든 $L$에 대해 동시에 보편 상수 배 이내의 최적 불일치를 달성한다는 사실에서 동기를 얻는다. 이 최적성 결과는 독립적으로도 흥미로울 수 있다. 동일한 조화 응답은 고차원 Blackwell 접근 가능성을 위한 알고리즘 또한 제공한다. 그 보장은 결과 집합과 행동 집합의 결합 기하를 포착하는 더욱 정밀한 기하학적 모수에 의해 결정된다.

arXiv:2610.02771v2cs.LG

1비트 피드백 환경에서의 준최적 고정 신뢰도 최고 분기 식별

Nearly Optimal Fixed-Confidence Best-Arm Identification with 1-Bit Feedback

우리는 엄격한 1비트 피드백 제약 아래에서 고정 신뢰도 최선 팔 식별을 연구한다. 각 라운드에서 학습자는 팔과 질의 집합을 선택하고, 표본 보상이 해당 집합에 속하는지 여부를 나타내는 단일 비트만 받는다. 우리는 팔별 국소화를 갖춘 분포 무관 유한 분산 설정을 고려하며, 여기서는 직접적인 경험적 평균 추정이 불가능하고 클리핑이 불가피해진다. 먼저 무작위 임계값 질의와 클리핑된 꼬리 적분 항등식에 기반한 시간 균등 1비트 평균 추정 기본 도구를 정식화한다. 그런 다음 이 도구를 후보-도전자 최선 팔 식별 알고리즘에 내장한다. 고정 클리핑 알고리즘은 단순한 애니타임 $(\epsilon,\delta)$-PAC 보장을 제공하며, 단계적 적응 클리핑 알고리즘은 클리핑 수준을 현재의 해상도에 맞추어 격차 적응형 표본 복잡도를 도출한다. 또한 유한 분산 1비트 피드백으로 인한 로그 페널티가 본질적임을 보이는 $K$-팔 최악의 경우 정보 이론적 하한을 증명한다. 이 하한은 로그 인자를 제외하고 단계적 알고리즘의 선두 의존성과 일치한다.

arXiv:2608.05434v2stat.ME

개인화된 동적 치료 요법을 위한 위험 인지 분위수 학습

Risk-Aware Quantile Learning for Personalized Dynamic Treatment Regimes

순차적 임상 의사결정은 평균 효능의 최대화 이상을 요구하는 경우가 많다. 임상의는 결과 분포에서 임상적으로 중요한 꼬리 부분을 동시에 최적화하고, 치료 관련 위험을 통제하며, 여러 치료 옵션 중에서 선택해야 할 수 있다. 기존의 분위수 동적 치료 요법(DTR) 방법은 치료 결과의 분포적 특성을 포착하지만, 대체로 효능만을 목표로 하는 목적함수와 이진 치료에 국한되어 있다. 이러한 한계를 해결하기 위해 본 논문은 누적 잠재 결과의 사전 지정된 분위수를 최적화하면서 치료 관련 위험을 명시적으로 반영하는 통합 프레임워크인 위험 인지 분위수 동적 치료 요법(RQDTR)을 제안한다. 또한 여러 치료 범주에 걸쳐 의사결정 규칙을 공동으로 학습하기 위한 각도 기반 정식화를 개발한다. 본 프레임워크는 효능만을 고려하는 분위수 학습, 모집단 수준의 위험 통제를 갖춘 제약 기반 학습, 복합 이익-위험 효용을 통한 효용 기반 학습이라는 세 가지 해석 가능한 하위 유형을 포함한다. 이론적으로는 식별 가능성과 오라클 동등성, 이차 벌점 증가 하에서의 대리 함수 및 추정량의 일치성, 점근적 위험 실현 가능성, 유한 표본 성능 오차 한계를 증명한다. 광범위한 모의실험과 All of Us 주요 우울장애 데이터 및 MIMIC-III 패혈증 데이터에 대한 적용을 통해, RQDTR이 기존 분위수 DTR 방법보다 꼬리 지향적 효능을 개선하고 더 유리한 이익-위험 절충을 달성함을 확인하였다.

arXiv:2607.29617v2cs.LG

온-정책 상호작용은 언제 도움이 되는가? 가치 기반 모방 학습에서의 표현적 트레이드오프

When Does On-Policy Interaction Help? Representational Tradeoffs in Value-Based Imitation Learning

모방 학습(IL)은 시연으로부터 전문가 행동을 재현하도록 에이전트를 훈련하는 것으로, 로보틱스에서 언어 모델 훈련에 이르기까지 다양한 응용의 기반이 된다. 행동 복제(BC)와 같은 표준 접근법은 특히 학습자가 전문가의 정책을 완벽히 표현할 수 없는 경우(예: 증류에서 흔히 나타나는 상황) 누적 오차와 성능 정체를 겪는 것으로 알려져 있다. 성능을 향상시키는 두 가지 개입이 경험적으로 널리 알려져 있다. 하나는 학습자 자신의 궤적을 따라 전문가에게 대화형으로 질의하는 것이고, 다른 하나는 정책을 생성하는 과정에서 가치 함수 추정을 사용하는 것이다. 본 논문은 이러한 개선의 본질과 둘 사이의 놀라울 수 있는 상호작용을 조사한다. 주요 발견은 전문가와의 상호작용이 학습자에 대한 표현 요구를 완화한다는 것이다. 즉, 전문가의 정책 자체를 표현해야 한다는 (대개 더 엄격한) 요건을 우회하고, 전문가의 가치 함수를 실현할 수 있는 모델만 있으면 된다. 구체적으로, 학습자가 전문가의 가치 함수를 표현할 수 있을 때마다 통계적·계산적으로 효율적인 대화형 온폴리시 IL 알고리즘 OVI를 제안한다. 이에 더해 상호작용이 필수적임을 보이는 부정적 결과를 제시한다. 즉, 전문가 가치 실현 가능성만을 넘어서는 더 강한 가정이 없다면, 어떤 오프라인 IL 알고리즘도 전문가 정책 클래스의 복잡도에 비례하여 확장되어야 한다. 이러한 결과는 실험적으로도 확인된다. OVI는 오프라인 정책 기반(BC), 대화형 정책 기반(DAgger), 오프라인 가치 기반 IL 방법을 능가하며, 학습자 네트워크의 표현력이 전문가 네트워크보다 현저히 낮을 때 이득이 가장 크다.

arXiv:2606.28228v3cs.LG

연속 시간 잠재 동역학의 얽힘 풀기: 확산 변화를 통한 잠재 SDE의 식별가능성

Disentangling Continuous-Time Latent Dynamics: Identifiability of Latent SDEs via Diffusion Shifts

시계열을 위한 인과 표상 학습(causal representation learning)은 이산 시간 잠재 인과 모델에서 강력한 식별가능성(identifiability) 결과를 발전시켜 왔으나, 연속 시간 잠재 확률미분방정식(SDE) 모델에서의 식별가능성은 여전히 대부분 미해결 상태로 남아 있습니다. 본 연구에서는 환경에 의해 유도된 확산 공분산(diffusion covariance)의 변화를 활용하여 이 간극을 해결합니다. 저자들은 공유된 드리프트(drift)를 가지지만 환경별로 서로 다른 확산 공분산을 갖는, 미지의 비선형 미분동형사상(diffeomorphism)을 통해 관측되는 가산 노이즈 잠재 SDE를 연구합니다. 드리프트에 대한 어떠한 희소성(sparsity) 가정 없이도, 좌표별 분산 비율이 서로 다른 두 개의 대각 확산 영역(regime)이 주어지면 치환(permutation), 좌표별 스케일링, 그리고 가능한 상수 이동(constant shift) 수준까지 잠재 좌표를 식별할 수 있음을 보입니다. 먼저 선형 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 시스템에 대해 이 결과를 증명한 후, 이를 일반적인 가산 노이즈 잠재 SDE로 확장합니다. 완만한 매끄러움(smoothness) 조건 하에서, 순간적인 드리프트-야코비안(drift-Jacobian) 인과 그래프 또한 동일한 치환 수준까지 식별 가능합니다. 저자들은 잠재 표현 얽힘 풀기(disentanglement) 및 선택적 그래프 복원을 위한 2단계 추정기를 제안합니다. 합성 시스템에 대한 실험을 통해 예측된 식별가능성 경계를 확인하였으며, 하르당에르교(Hardanger Bridge) 모니터링 데이터에 적용하여 실제 센서 궤적에 대한 접근법의 효용성을 입증합니다.

arXiv:2606.13850v2stat.ME

시퀀스 모델을 위한 정확한 제약 디코딩: 제어기 증강 은닉 마르코프 모델과 그 너머

Exact Constrained Decoding for Sequence Models: Controller-Augmented Hidden Markov Models and Beyond

은닉 마르코프 모델은 순차 추론의 기반이 되지만, 선행 요건, 방문 횟수, 단조적 상태 진행과 같은 경로 단위 제약을 조건으로 부여하면 동적 계획법에 추가 메모리를 요구하는 장거리 의존성이 생길 수 있다. 이를 해결하기 위해 각 제약을 충분한 유한 이력을 추적하는 유한 상태 제어기로 컴파일하는 프레임워크인 제어기 증강 은닉 마르코프 모델(Controller-Augmented Hidden Markov Models, CHMM)을 제시한다. 이후 증강된 연쇄에 표준 순방향-역방향 및 비터비 재귀를 적용하면 이산 시간에서는 정확한 제약 사후 확률과 최대 사후 확률 경로를, 균등화(uniformization)를 통해 연속 시간에서는 관측 시점의 최대 사후 확률 증강 상태 시퀀스를 계산한다. 여러 이론적 보장을 확립하는 한편, 11개 제약 계열에 대한 제어기 인코딩 목록으로 프레임워크를 구체화한다. 실험에서는 \emph{Drosophila melanogaster}의 유전자 구조 디코딩, CASAS 스마트 홈의 자유 생활 활동 인식, 웨어러블 센서 기반의 프로토콜 정의 활동 인식이라는 3개의 실제 시퀀스 레이블링 과제에서 제어기 증강 유무에 따른 고전적 및 신경망 디코더를 평가한다. 이론과 실험을 종합하여 정확한 제어기 증강이 유용한 경우와 더 단순한 접근으로 충분한 경우를 규명한다.

arXiv:2606.10944v5cs.LG

Express 언어 모델링

Express Language Modeling

본 논문에서는 일치하는 근사 보장(approximation guarantees)을 유지하면서 비인과적(non-causal) 어텐션 근사를 인과적(causal) 근사로 변환하는 새로운 도구인 Express를 소개합니다. SOTA(최첨단) Thinformer 근사와 결합했을 때, Express는 길이 $n$의 시퀀스에 대해 $O(s)$의 메모리와 $O(s^2 \log^2(n))$의 압축 오버헤드만으로 $\log^{3/2}(n)/s$의 근사 오차를 제공하여 기존에 가장 잘 알려진 인과적 어텐션 보장을 향상시킵니다. 이러한 개발 내용을 효율적인 I/O 인식 Triton 구현과 결합하여 FlashAttention 2 대비 상당한 속도 향상을 입증하며, 언어 모델링 파이프라인에서 발생하는 네 가지 자원 병목 현상인 긴 문맥 프리필(long-context prefill), KV 캐시 압축, 긴 형태의 메모리 제약 디코딩, 긴 형태의 연산 제약 디코딩을 극복하는 데 Express를 활용합니다.

arXiv:2605.29371v3math.OC

비편향 랜덤 푸리에 $U$-통계량을 이용한 커널 기반 포텐셜 평균장 게임

Kernel-based potential mean-field games with unbiased random Fourier $U$-statistics

We study the subclass of potential mean-field games in which the running interaction cost and the terminal target cost are both expressed through reproducing-kernel maximum mean discrepancy (MMD) penalties, and develop a computational framework that exploits this kernel structure. Both costs are estimated from finite-sample empirical distributions using a random Fourier U-statistic representation that is unbiased and has linear cost in the batch size. The drift of the controlled diffusion is parametrized by a neural network and trained via stochastic gradient descent. For population near-minimizers we prove convergence to the terminal-constrained problem as the penalty diverges, and show that the same limit is recovered almost surely when such controls are evaluated on independent finite samples under explicit coupling conditions on the penalty, random-feature count and sample size. The framework includes the kernel-MMD-penalty Schr{\"o}dinger bridge problem as the special case of a vanishing interaction cost. Numerical experiments illustrate the method on the Schr{\"o}dinger bridge problem in dimensions up to one hundred, and on an electric vehicle charging coordination problem with per-vehicle physical heterogeneity, where a control-dependent aggregate-demand cost produces a trade-off between peak normalized charging power and the terminal service level.

arXiv:2605.11490v3cs.LG

비정상 환경에서의 적응형 보정

Adaptive Calibration in Non-Stationary Environments

보정(calibration)된 온라인 예측을 수행하는 것은 현대 AI 시스템의 핵심 과제이다. 기존 문헌의 상당수는 결과가 임의적일 수 있는 완전 적대적 환경에 초점을 맞추며, 이로 인해 결과가 거의 정상적인 경우와 같은 더 온건한 환경에서는 최적에 미치지 못할 수 있는 보수적인 알고리즘이 나타난다. 이러한 간극은 자연스러운 질문을 낳는다. 보정 오차가 환경의 비정상성 정도에 자동으로 적응하여 i.i.d. 체제와 적대적 체제 사이를 매끄럽게 보간하는 온라인 예측 알고리즘을 설계할 수 있는가? 본 연구는 이 질문에 긍정적으로 답하며, 여러 보정 척도에 대해 적응형 보정 보장을 달성하는 일련의 알고리즘을 개발한다. 구체적으로, $T$를 라운드 수, $W$를 환경의 알려지지 않은 i.i.d. 구간 수, $C\in[0,T]$를 평균 결과의 최소 $\ell_1$ 편차로 정의되는 또 다른 알려지지 않은 비정상성 척도라 할 때, 제안 알고리즘은 $\ell_1$ 보정 오차에 대해 $\widetilde{\mathcal{O}}(\min\{\sqrt{T}+(TC)^{\frac{1}{3}}, \sqrt{WT}\})$를, $\ell_2$ 및 의사 KL 보정 오차 모두에 대해 $\widetilde{\mathcal{O}}(\min\{(1+C)^{\frac{1}{3}}, W\})$를 달성한다. 이러한 한계는 정상 상태($C=0$ 및 $W=1$)에서의 최적 비율과 일치하며, 완전 적대적 체제($C, W=\Omega(T)$)에서 알려진 보장을 회복한다. 본 접근법은 선행 연구(Hu et al., 2026; Luo et al., 2025)를 기반으로 확장하여, 에폭 기반 스케줄링과 실제 참값 근처에 더 세밀한 해상도를 할당하는 새로운 비균일 예측 공간 분할을 도입한다.

arXiv:2604.18152v2stat.ML

mlr3torch: mlr3와 torch 기반의 R 딥러닝 프레임워크

mlr3torch: A Deep Learning Framework in R based on mlr3 and torch

딥러닝(DL)은 현대 기계학습(ML) 실무의 핵심 기반이 되었다. 우리는 mlr3 생태계를 위한 확장 가능한 DL 프레임워크인 R 패키지 mlr3torch를 소개한다. 이 패키지는 torch 패키지를 기반으로 구축되었으며, 분류와 회귀를 위해 표 형식 데이터와 일반 텐서(예: 이미지)에 대한 신경망의 정의, 학습, 평가를 단순화한다. 이 패키지는 사전 정의된 아키텍처를 구현하며, torch 모델을 mlr3 학습기로 쉽게 변환할 수 있다. 또한 사용자가 신경망을 그래프로 정의할 수 있다. 이 표현은 mlr3pipelines에 정의된 그래프 언어를 기반으로 하며, 전처리, 데이터 증강, 네트워크 아키텍처를 포함한 전체 모델링 워크플로를 하나의 그래프로 정의할 수 있게 한다. mlr3 생태계와의 통합을 통해 이 패키지는 편리한 리샘플링, 벤치마킹, 전처리 등을 가능하게 한다. 우리는 패키지의 설계와 기능을 설명하고, 이를 새로운 문제에 맞게 사용자 정의하고 확장하는 방법을 보인다. 나아가 하이퍼파라미터 튜닝, 미세 조정, 멀티모달 데이터를 위한 아키텍처 정의라는 세 가지 사용 사례로 패키지의 기능을 시연한다. 마지막으로 실행 시간 벤치마크를 제시한다.

arXiv:2604.11578v2quant-ph

Minimizing classical resources in variational measurement-based quantum computation for generative modeling

Measurement-based quantum computation (MBQC) is a framework for quantum information processing in which a computational task is carried out through one-qubit measurements on a highly entangled resource state. Due to the indeterminacy of the outcomes of a quantum measurement, the random outcomes of these operations, if not corrected, yield a variational quantum channel family. Traditionally, this randomness is corrected through classical processing in order to ensure deterministic unitary computations. Recently, variational measurement-based quantum computation (VMBQC) has been introduced to exploit this measurement-induced randomness to gain an advantage in generative modeling. A limitation of this approach is that the corresponding channel model has twice as many parameters compared to the unitary model, scaling as $N \times D$, where $N$ is the number of logical qubits (width) and $D$ is the depth of the VMBQC model. This can often make optimization more difficult and may lead to poorly trainable models. In this paper, we present a restricted VMBQC model that extends the unitary setting to a channel-based one using only a single additional trainable parameter. We show, both numerically and algebraically, that this minimal extension is sufficient to generate probability distributions that cannot be learned by the corresponding unitary model.

arXiv:2603.20891v2stat.ML

자동 미분 가능 데이터 동화: 상태, 동역학, 필터링 알고리즘의 공동 학습

Auto-differentiable data assimilation: Co-learning of states, dynamics, and filtering algorithms

데이터 동화 알고리즘은 부분 관측으로부터 동역학계의 상태를 추정하며, 이러한 알고리즘의 성공적인 성능은 비용이 많이 드는 매개변수 조정과 동역학에 대한 정확한 모델의 사용에 달려 있다. 본 논문은 자동 미분 가능 필터링이라 부르는 과정을 통해 데이터 동화에서 상태, 동역학, 필터링 알고리즘의 매개변수를 공동으로 학습하는 프레임워크를 소개한다. 이 프레임워크는 이론적 근거를 갖춘 손실 함수를 활용하여, 자동 미분을 이용한 경사 기반 최적화로 부분적이고 잡음이 섞인 관측으로부터 학습할 수 있게 한다. 또한 잘 알려진 여러 데이터 동화 방법을 이 프레임워크 안에서 학습하거나 조정할 수 있음을 보인다. 자동 미분 가능 필터링의 다재다능함을 강조하기 위해, 항공우주공학의 Clohessy-Wiltshire 방정식, 대기과학의 Lorenz-96 시스템, 시스템 생물학의 일반화 Lotka-Volterra 방정식, 지구물리 유체역학의 2층 준지균 모델 등 여러 과학 분야에 걸친 동역학계에서 실험을 수행한다. 마지막으로, 실무자가 관측 모델, 정확도 요구 사항, 계산 예산에 맞게 프레임워크를 맞춤화할 수 있는 지침을 제공한다.