arXiv:2208.12515

Constraining Gaussian Processes to Systems of Linear Ordinary Differential Equations

Andreas Besginow, Markus Lange-Hegermann

제출 2022-08-26

원문 초록

Data in many applications follows systems of Ordinary Differential Equations (ODEs). This paper presents a novel algorithmic and symbolic construction for covariance functions of Gaussian Processes (GPs) with realizations strictly following a system of linear homogeneous ODEs with constant coefficients, which we call LODE-GPs. Introducing this strong inductive bias into a GP improves modelling of such data. Using smith normal form algorithms, a symbolic technique, we overcome two current restrictions in the state of the art: (1) the need for certain uniqueness conditions in the set of solutions, typically assumed in classical ODE solvers and their probabilistic counterparts, and (2) the restriction to controllable systems, typically assumed when encoding differential equations in covariance functions. We show the effectiveness of LODE-GPs in a number of experiments, for example learning physically interpretable parameters by maximizing the likelihood.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.01929v3math.DS공통 태그 Gaussian Processes

확률적 동적 시스템의 확률론적 대리 모델링을 위한 함수 대 함수 비선형 자기회귀 모델(F2NARX)

Function-on-function nonlinear autoregressive model (F2NARX) for probabilistic surrogate modeling of stochastic dynamical systems

동적 시스템 응답을 예측하기 위한 정확하고 계산 효율적인 대리 모델을 구축하는 것은 많은 공학 분야에서 매우 중요하지만, 외부 가진과 시스템 파라미터로부터 시스템 응답으로의 사상이 강한 비선형성과 고차원성을 지니므로 여전히 어려운 과제이다. 본 연구는 최근 제안된 $\mathcal{F}$-NARX 방법을 함수 대 함수 회귀 관점에서 재정식화한 새로운 외생 입력을 갖는 함수 대 함수 비선형 자기회귀 모델(F2NARX)을 제안한다. 제안된 프레임워크는 높은 정확도를 유지하면서 예측 효율을 크게 향상시킨다. 주성분 분석과 가우시안 프로세스 회귀를 결합함으로써, F2NARX는 무향 변환을 이용해 자기회귀 방식으로 동적 응답의 확률론적 예측을 추가로 가능하게 한다. 이 방법의 효과는 다양한 복잡도의 사례 연구를 통해 입증된다. 결과는 F2NARX가 최신 NARX 모델보다 효율에서 수십 배 이상의 자릿수 차이로 우수하면서도 일반적으로 더 높은 정확도를 달성함을 보여준다. F2NARX의 확률론적 예측 능력은 능동 학습과 결합하여 최초 통과 확률 추정에 적용함으로써 추가로 입증되며, 이는 신뢰성 지향 응용에서의 잠재력을 보여준다.

arXiv:2607.04926v2cs.LG공통 태그 Inductive Bias

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2602.19143v3cs.LG공통 태그 Inductive Bias

트랜스포머에서 희소 어텐션 패턴의 점진적 학습

Incremental Learning of Sparse Attention Patterns in Transformers

트랜스포머는 특정 위치로부터 정보를 복사하는 희소 어텐션 패턴을 통해 과거의 여러 위치에서 얻은 정보를 통합한다. 본 연구는 다음 토큰이 통계적 중요도가 서로 다른 여러 과거 위치 그룹에 의존하는 고차 마르코프 연쇄 설정에서 이러한 패턴이 학습 중에 어떻게 형성되는지를 연구한다. 학습은 이산적인 단계들로 진행되며, 각 단계는 그다음으로 중요한 그룹에 대한 희소 어텐션 패턴의 출현으로 특징지어진다. 역학은 처음에는 모든 어텐션 헤드가 지배적인 패턴에 집중하는 경쟁적 양상을 보이지만, 이후에는 서로 다른 헤드가 서로 다른 패턴에 특화되는 협력적 양상으로 바뀐다. 다루기 쉬운 대리 모델에서는 역학이 텐서 분해 문제의 역학으로 환원되어, 단계별 수렴을 증명할 수 있다. 실험적으로 완료되는 단계의 수는 학습 데이터셋 크기에 따라 달라지며, 이는 조기 종료를 통한 일종의 암묵적 복잡도 제어를 시사한다. 종합하면, 본 연구는 명시적인 커리큘럼 없이 구조화된 어텐션 패턴과 헤드 특화가 어떻게 나타나는지에 대한 이론적 설명을 제시한다.

arXiv:2510.21615v3cs.CV공통 태그 Inductive Bias

에피폴라 기하학이 비디오 생성 모델을 향상시킵니다

Epipolar Geometry Improves Video Generation Models

비디오 생성 모델은 정류 흐름(rectified flow) 기법으로 학습된 잠재 확산 트랜스포머를 통해 크게 발전해 왔다. 그러나 이러한 모델은 여전히 기하학적 불일치, 불안정한 움직임, 그리고 사실적인 3D 장면이라는 착각을 깨뜨리는 시각적 아티팩트로 어려움을 겪고 있다. 3D 일관성을 갖는 비디오 생성은 생성 및 재구성 과제의 수많은 하위 응용에 상당한 영향을 미칠 수 있다. 본 연구는 에피폴라 기하 제약이 최신 비디오 확산 모델을 어떻게 개선하는지 탐구한다. 방대한 학습 데이터를 사용함에도 불구하고 이러한 모델은 근본적인 기하학적 원리를 포착하지 못한다. 본 연구는 선호도 기반 최적화를 통해 쌍별 에피폴라 기하 제약으로 확산 모델을 정렬하며, 수학적 원리에 기반한 기하학적 강제를 통해 불안정한 궤적과 기하학적 아티팩트를 직접적으로 해결한다. 제안하는 접근법은 종단간 미분 가능성을 요구하지 않고도 기하학적 원리를 효율적으로 강제한다. 평가 결과, 고전적인 기하 제약이 파운데이션 모델에 기반한 비디오 품질 및 기하 지표보다 더 신뢰할 수 있는 선호 신호를 제공함을 보인다. 에피폴라 지표가 가장 신뢰할 수 있는 카메라 움직임이 있는 정적 장면으로 선호도를 구성하며, 정렬된 모델은 동적 장면으로 일반화된다. 데이터 기반 학습과 고전 컴퓨터 비전을 연결함으로써, 시각적 품질을 저하시키지 않으면서 에피폴라 오차를 31% 줄이고 사람이 평가한 일관성을 54%에서 72%로 향상시켰다.

arXiv:2606.20467v2cs.LG공통 태그 Inductive Bias

에이전트 기호 탐색: 수작업 수식, 메시, 신경망을 넘어선 편미분방정식 해의 근사

Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks

수치 기법과 신경망은 비선형 편미분방정식(PDE)에 대한 이해를 변화시켰지만, 그 동역학을 설명하는 수학적 표현을 발견하는 일은 여전히 대체로 전문가의 몫이다. 본 논문은 코딩 에이전트가 알려진 PDE와 제공된 수학적 지식으로부터 명시적 근사를 구성하고 개선하는 에이전트 기호 탐색(ASYS)을 제안한다. ASYS는 미분 가능한 기호 프로그램에 대한 진화적 탐색을 경사 기반 피팅과 결합하며, 지배 방정식을 이용해 후보를 평가하고 수정을 이끈다. 특이 일반화 Constantin-Lax-Majda 프로파일에 대해 ASYS는 장이 특이 시점의 극한에 접근하는 속도를 결정하는 누락된 감쇠항을 추론하고, 프로파일을 중앙값 오차 $3.90\times10^{-5}\%$로 적합하는 기저를 구성한다. Fujita 폭발의 경우 확산과 반응을 분리하고 국소 응답을 유도하여, 제공된 공식의 오차를 55.5%에서 0.0879%로 낮춘다. Allen-Cahn 계면에 대해서는 14개 매개변수로 구성한 모델이 독립적인 시뮬레이션으로 확인된 모드 결합 법칙을 도출한다. 이러한 연구는 에이전트 탐색이 수학적 출발점을 정확하고 분석 가능한 근사로 발전시킬 수 있음을 보여준다.

arXiv:2605.27991v5stat.ML공통 태그 Gaussian Processes

동적 랜덤 효과 추론으로서의 그래디언트 플로우 최적화: 심층 학습에의 적용을 위한 검정 및 조기 종료

Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning

그래디언트 플로우 최적화는 보통 경험적 손실을 최소화하는 알고리즘적 절차로 간주되며, 학습 기간은 검증 또는 휴리스틱 조기 종료 규칙에 의해 선택된다. 우리는 그래디언트 플로우 학습을 위한 통계적 추론 프레임워크를 개발한다. 적합값(fitted values)이 시불변(time-invariant) 양반정치(positive semidefinite) 학습 연산자를 통해 진화할 때마다, 각 시점에서의 출력이 대응하는 랜덤 효과 모델 하의 최량 선형 불편 예측기(best linear unbiased predictor)와 동등함을 보인다. 학습 시간은 잔차 노이즈에서 구조적 신호로의 분산 재할당을 제어하는 분산 성분(variance-component) 매개변수가 된다. 이는 두 가지 학습 결정을 추론 문제로 전환한다: 학습이 필요한지 여부는 초기화 이상의 신호에 대한 분산 성분 검정이 되고, 얼마나 오래 학습할지는 학습 시간 분산 성분의 제한 최대 가능도(restricted maximum likelihood, REML) 추정이 된다. REML 유도 조기 종료 규칙은 최적화된 스펙트럴 손실이 학습 연산자 고유값과 무상관(decorrelated)이 되는 시점을 선택함을 보인다. REML 유도 조기 종료 시간의 점근적 예측 최적성은 고정 설계 표본 내 위험(fixed-design in-sample risk) 및 랜덤 설계 표본 외 위험(random-design out-of-sample risk)에 대해 확립된다. 고정 커널 그래디언트 체제의 심층 학습 모델은 우리 결과의 표준적 구체화를 제공한다. 수치 실험 및 UK Biobank 프로테오믹스 응용은 검증 분할 및 반복적 체크포인트 평가에 대한 의존도를 줄이면서 REML 유도 조기 종료 시간의 경쟁적 정확도를 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.