arXiv:1710.06202

Deep Gaussian Covariance Network

Kevin Cremanns, Dirk Roos

제출 2017-10-17

원문 초록

The correlation length-scale next to the noise variance are the most used hyperparameters for the Gaussian processes. Typically, stationary covariance functions are used, which are only dependent on the distances between input points and thus invariant to the translations in the input space. The optimization of the hyperparameters is commonly done by maximizing the log marginal likelihood. This works quite well, if the distances are uniform distributed. In the case of a locally adapted or even sparse input space, the prediction of a test point can be worse dependent of its position. A possible solution to this, is the usage of a non-stationary covariance function, where the hyperparameters are calculated by a deep neural network. So that the correlation length scales and possibly the noise variance are dependent on the test point. Furthermore, different types of covariance functions are trained simultaneously, so that the Gaussian process prediction is an additive overlay of different covariance matrices. The right covariance functions combination and its hyperparameters are learned by the deep neural network. Additional, the Gaussian process will be able to be trained by batches or online and so it can handle arbitrarily large data sets. We call this framework Deep Gaussian Covariance Network (DGCP). There are also further extensions to this framework possible, for example sequentially dependent problems like time series or the local mixture of experts. The basic framework and some extension possibilities will be presented in this work. Moreover, a comparison to some recent state of the art surrogate model methods will be performed, also for a time dependent problem.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22491v1cs.LG공통 태그 Mixture-of-Experts, Time Series Analysis

국면 조건부 변동성 예측을 위한 Susceptible Reservoir 아키텍처

Susceptible Reservoir Architectures for Regime-Conditional Volatility Forecasting

변동성 예측은 지속성(persistence)과 측정 노이즈(measurement noise)에 의해 지배되어, 비선형 모델이 활용할 수 있는 잔차 구조가 제한적이다. 본 연구에서는 변동성 예측을 위한 reservoir 설계 원칙인 Susceptible Architectures(SUSA)와, 복소값 개방 사슬(open-chain) 및 주기적 reservoir와 국면 조건 전문가(regime-conditioned experts)에 기반한 두 가지 구체적 구현을 제안한다. 이는 평온(calm), 발현(onset), 회복(recovery), 지속적 스트레스(persistent-stress) 상태에 걸친 reservoir 특징을 해석한다. 또한 공통 AR-Ridge 앵커와 QLIKE 하에서 학습된 경계가 있는 잔차 보정을 유지하면서 Qiskit에서 개방계(open-system) $q$-qubit 대응 모델도 구현한다. 16개의 미국 주식 및 상장지수펀드(ETF) 시계열에 대해, 서로 겹치지 않는 세 개의 시간순 학습, 검증, 테스트 폴드, 12관측 입력 윈도우, 5관측 예측 구간(forecast horizon)을 사용하여 모델을 평가한다. 제안 모델은 GARCH와 경쟁력 있는 성능을 보이며, 특정 자산(IWM, XLP)에서 통계적으로 유의한 QLIKE 개선을 달성한다. 또한 모델의 예측은 HARQ 스타일 예측을 보완한다. 스택드 앙상블(stacked ensemble)은 가장 강한 구성 요소 대비 평균 QLIKE를 0.0116만큼 개선하며, 테스트 시나리오의 75%에서 우수한 성능을 보인다.

arXiv:2607.14510v1cs.AI공통 태그 Mixture-of-Experts, Time Series Analysis

VLT: 산업 지능을 위한 비전-언어-시계열 다중모달 파운데이션 모델

VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence

산업 시계열은 항공 엔진과 같은 산업 장비의 신뢰성과 안전성을 보장하기 위한 예지 및 건강 관리(PHM)의 기반이 된다. 그러나 기존 접근법은 일반적으로 단일 모달리티 모델링에 한정되어 복잡한 시나리오에서의 일반화를 제한한다. 최근 대규모 언어 모델(LLM)의 발전이 다중모달 학습에 새로운 기회를 제공하지만, 연속적인 시계열 신호와 이산적인 텍스트 의미를 연결하는 것은 여전히 열린 과제로 남아 있다. 이를 위해 우리는 시계열, 주파수 스펙트럼 시각 표현, 텍스트 지식을 공동으로 모델링하는 다중모달 파운데이션 모델 VLT를 제안한다. 핵심 통찰은 연속적인 시간 신호와 이산적인 의미를 연결하기 위해 주파수 스펙트럼을 시각적 가교로 활용하는 것이다. 구체적으로, 이질적인 시간 역학을 포착하기 위해 시간 인식 전문가 혼합(Time-MoE)을 설계하고, Frequency-Text Augmented Learner는 공유 표현 공간 내에서 스펙트럼 및 의미 특징의 공동 모델링을 가능하게 한다. 또한 시간 중심 그래디언트 정렬 메커니즘을 도입하여 그래디언트 정규화와 신뢰성 인식 동적 재가중치를 통해 교차 모달 최적화 충돌을 완화한다. 다양한 산업 데이터셋에 대한 광범위한 실험에서 VLT가 최신(state-of-the-art) 방법들을 능가하며, 퓨샷(few-shot), 노이즈, 불완전 모달리티 설정에서 우수한 견고성과 일반화를 달성함을 보여준다.

arXiv:2610.10850v2cs.LG공통 태그 Time Series Analysis

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

arXiv:2607.12455v4cs.AI공통 태그 Time Series Analysis

EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화

EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading

정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.

arXiv:2610.00663v2cs.AI공통 태그 Mixture-of-Experts

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.