Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks
원문 초록
For regression tasks, standard Gaussian processes (GPs) provide natural uncertainty quantification (UQ), while deep neural networks (DNNs) excel at representation learning. Deterministic UQ methods for neural networks have successfully combined the two and require only a single pass through the neural network. However, current methods necessitate changes to network training to address feature collapse, where unique inputs map to identical feature vectors. We propose an alternative solution, the deep Vecchia ensemble (DVE), which allows deterministic UQ to work in the presence of feature collapse, negating the need for network retraining. DVE comprises an ensemble of GPs built on hidden-layer outputs of a DNN, achieving scalability via Vecchia approximations that leverage nearest-neighbor conditional independence. DVE is compatible with pretrained networks and incurs low computational overhead. We demonstrate DVE's utility on several datasets and carry out experiments to understand the inner workings of the proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
박판 구형 셸 캡의 강건한 노크다운 팩터 예측 및 신뢰도 기반 설계를 위한 하이브리드 가우스 과정-Extreme Gradient Boosting 머신러닝 프레임워크
A Hybrid Gaussian Process-Extreme Gradient Boosting Machine Learning Framework for Robust Knockdown Factor Prediction and Reliability-Based Design of Thin Spherical Shell Caps
실험을 통해 선형화된 고유좌굴(eigen-buckling) 해석으로 예측된 임계 하중보다 실제 임계 하중이 크게 감소하는 것으로 나타남에 따라, 탄성 좌굴은 깊은 구형 셸 캡(spherical shell cap) 설계에서 여전히 중요한 과제로 남아 있습니다. 이러한 불일치는 초기 기하학적 결함 때문인 것으로 여겨지며, 종종 무차원 매개변수(parameter)인 노크다운 팩터(knockdown factor, KDF)를 통해 보정됩니다. 그러나 기존의 KDF(NASA SP-8007, Eurocode 3)는 방대한 실험 데이터의 하한값을 나타내므로 지나치게 보수적입니다. 본 연구는 구형 셸 좌굴에 대한 실험 데이터로 학습된 머신러닝(ML) 회귀 모델(model)을 통해 구형 셸 캡에 대한 KDF의 보수성을 줄이는 것을 목표로 합니다. 본 논문에서는 가우스 과정 회귀(Gaussian Process Regression, GPR)와 Extreme Gradient Boosting(XGBoost)을 결합한 하이브리드 모델을 제안하며, 인공신경망(Artificial Neural Network, ANN), 서포트 벡터 회귀기(Support Vector Regressor, SVR), 랜덤 포레스트 회귀기(Random Forest Regressor, RFR), 히스토그램 기반 그래디언트(gradient) 부스팅(Histogram-based Gradient Boosting, HGBoost) 등 기존 ML 알고리즘 대비 향상된 성능을 입증합니다. 이러한 각 모델은 6개의 입력 특징(feature)과 단일 출력인 KDF를 사용합니다. 감도 분석을 통해 KDF에 영향을 미치는 가장 핵심적인 특징을 규명합니다. 마지막으로, 본 연구는 안전성을 일관되게 유지하면서도 덜 보수적인 KDF를 도출하기 위해 예측 ML 모델에 의존하는 신뢰도 기반 설계 프레임워크를 제시하며 마무리됩니다.
DNA 파운데이션 모델이 서열 조성을 넘어 학습하는 것
What DNA Foundation Models Learn Beyond Sequence Composition
유전체 파운데이션 모델(FM)은 단순한 서열 조성을 넘어선 예측 정보를 제공하는가? 본 연구에서는 57개의 유전체 분류(classification) 데이터셋과 2개의 탐색적 유전자 발현 회귀 태스크에 걸쳐 정규화된 k-mer 빈도와 5개 DNA FM의 동결된(frozen) 표현을 비교 평가한다. 단순한 k-mer 피처는 대부분의 모델과 대등한 경쟁력을 유지한 반면, NTv3는 일관된 우위를 보였으며, 이러한 순위는 전역적으로 고정된 베이스라인, 다중 스케일 k-mer 베이스라인, 대안적인 다운스트림 프로브 전반에서 견고하게 유지된다. 추가적인 예측 유용성을 직접 검증하기 위해, 일치된 Random Forest 프로토콜 하에서 전역 6-mer 피처와 각 FM 임베딩(embedding)을 결합(concatenation)한 피처를 비교한다. NTv3는 57개 데이터셋 중 46개에서 성능을 향상시켰으나(평균 $Δ$MCC = +0.072), Caduceus는 더 작은 이득만을 제공했고 다른 모델들은 평균 MCC를 향상시키지 못했다. 또한 임베딩을 6-mer 빈도로부터 선형적으로 예측 가능한 성분과 릿지 잔차로 분해하여 선형적 복원 가능성이 다운스트림 유용성을 안정적으로 나타내지 못함을 발견했다. 정확한 6-mer 보존 셔플을 통해 태스크 관련 서열 순서 민감도를 추가로 규명했으며, 이는 NTv3에서 가장 두드러지게 나타났으나 순서 민감도 자체만으로는 예측 향상을 보장하지 않는다. 본 연구 결과는 조성 피처를 필수적인 대조군으로 확립하고 미세조정(fine-tuning) 능력에 대한 주장 없이도 동결된 유전체 표현의 부가가치를 평가하기 위한 상호보완적인 진단 방법을 제시한다.
BLOKS: 스케치된 블록 전처리를 통한 커널 솔버의 스케일링
BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning
커널 리지 회귀(Kernel Ridge Regression, KRR)는 비매개변수적 학습(nonparametric learning)을 위한 이론적으로 타당한 알고리즘이며, 심층 학습(deep learning)의 특성을 연구하는 데에도 자주 사용된다. 그러나 정확한(exact) KRR 수식은 대규모 데이터셋(dataset)에 적용할 수 없을 정도의 시간 및 메모리 비용을 발생시키며, 이는 근사 솔버(approximate solver) 개발의 동기가 되었다. 이러한 알고리즘들은 (i) 직접적인 해법의 계산 부담을 피하기 위한 반복적 방법(iterative method), (ii) 문제 크기를 줄이기 위한 스케칭(sketching) 또는 배치화(batching), (iii) 수렴(convergence)을 가속화하기 위한 전처리(preconditioning)에 의존한다. 빠른 수렴을 위해 필수적이지만, 전처리는 메모리 비용을 발생시키며, 이는 모델(model)의 자유 매개변수 수를 줄임으로써 관리할 수 있으나 그 대가로 표현력, 나아가 정확도가 저하될 수 있다. 이러한 문제를 해결하기 위해, 우리는 블록 자코비(Jacobi) 근사와 스케칭을 결합한 새로운 프리컨디셔너(preconditioner)를 중심으로 구축된, Nyström 방식으로 스케치된 KRR을 위한 컨주게이트 그래디언트(Conjugate Gradient) 기반 솔버인 BLOKS를 제안한다. BLOKS의 프리컨디셔너는 데이터셋 크기와 매개변수 수 모두와 무관한 메모리 비용을 가지므로, 대규모 모델로의 스케일링(scaling)이 가능하다. 우리는 메모리 효율적이고 GPU로 가속화된 구현을 제공하며, BLOKS가 우수한 시간/메모리 복잡도를 유지하면서도 뛰어난 정확도를 달성함을 보인다. 실제로, 커널 솔버를 벤치마킹(benchmark)하는 데 사용되는 표준 대규모 데이터셋에서 BLOKS는 최신(state-of-the-art) 기법들과 비교할 만하거나 그보다 더 나은 성능을 달성한다.
정형 데이터 심층 회귀 다시 보기: 목적 함수와 전역 조기 종료의 한계
Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping
최근 정형 데이터(tabular data)를 위한 딥러닝 모델이 많은 연구적 관심을 받고 있지만, 회귀 작업에서의 목적 함수(objective function) 선택은 여전히 충분히 연구되지 않은 자유도로 남아 있습니다. 여러 연구에서 표준 평균 제곱 오차(MSE)의 대안을 제시하고 있으나, 데이터셋, 백본 및 평가 프로토콜의 차이로 인해 실제적인 이점을 비교하기 어렵습니다. 본 연구에서는 광범위한 기존 정형 데이터셋 모음과 여러 신경망 백본 전반에 걸쳐 회귀 목적 함수를 체계적으로 재평가함으로써 이러한 격차를 해소합니다. 비교 결과, 제안된 많은 목적 함수가 적절히 튜닝된 MSE 기준선(baseline) 대비 제한적이거나 일관되지 않은 향상만을 제공하는 반면, 분위수 손실(quantile loss)은 테스트된 백본 전반에서 MSE 대비 일관된 종합적 성능 향상을 보이는 것으로 나타났습니다. 이어 우리는 이 강력한 목적 함수에서도 여전히 존재하는 한계를 밝혀냈습니다. 타깃 노이즈 수준이 서로 다른 영역들은 서로 다른 학습(training) 에포크에서 최적의 예측 성능에 도달할 수 있다는 점입니다. 결과적으로, 목적 함수가 이분산적(heteroskedastic) 타깃 분포를 표현할 수 있더라도 단일 전역 조기 종료(early stopping) 체크포인트는 불확실성 영역 간의 절충을 강제할 수 있습니다. 이러한 한계에 착안하여, 우리는 잠재적 해결책으로 입력 의존적 레이블 스무딩(label smoothing)을 사용하는 분위수 손실의 이분산성 인식 확장을 도입하였으며, 여러 백본에서 분위수 손실보다 향상된 성능을 거두었습니다. 전반적으로 본 연구 결과는 정형 딥러닝을 위한 회귀 목적 함수의 현대적인 실증적 그림을 제공하며, 불확실성 영역 간 최적 종료 시점의 차이가 전역 조기 종료의 효과를 어떻게 제한할 수 있는지를 강조합니다. 코드는 https://github.com/yandex-research/tabular-regression 에서 이용할 수 있습니다.
기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포
Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions
소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.
수중 환경 모니터링에서의 정보 경로 계획을 위한 보정된 불확실성
Calibrated Uncertainty for Informative Path Planning in Aquatic Environmental Monitoring
스칼라장(scalar field) 재구성을 위한 정보 경로 계획(Informative Path Planning)은 예측 불확실성을 활용해 센싱 비히클을 정보량이 최대인 위치로 안내합니다. 가우시안 프로세스(Gaussian Process)가 이러한 신호를 제공하지만, 정상 등방성 커널(stationary isotropic kernel)은 기름 유출과 같은 비균질 현상에 대해 잘못 지정되어 불확실성 추정의 보정 실패(miscalibration)를 야기하고 경로 계획 성능을 저하시킵니다. 본 연구에서는 가우시안 프로세스를 잘 보정된 딥 앙상블(Deep Ensemble)로 대체할 때 경로 계획 결과가 향상되는지, 그리고 불확실성의 품질이 계획 알고리즘 선택과 어떻게 상호작용하는지 조사합니다. 5가지 전략(ε-Greedy, Value Greedy, Uncertainty Greedy, 몬테카를로 트리 탐색(MCTS), Receding Horizon Orienteering)은 물리 기반 기름 유출 시뮬레이션으로 학습된 공통 딥 앙상블 백본을 공유합니다. 미공개 확률적 유출 시나리오에서 딥 앙상블은 가우시안 프로세스 기준선(baseline) 대비 정규화된 재구성 오차를 83% 줄였습니다. 결정적으로, 잘 보정된 불확실성은 계획 전략의 중요성을 증폭시킵니다. 잘못 보정된 모델에서는 알고리즘 간의 성능 차이가 미미하지만, 앙상블 환경에서는 다단계 사전 예측(multi-step lookahead) 계획기가 탐욕적(greedy) 선택보다 재구성 오차를 최대 32% 개선하고 0.85 이상의 IoU를 달성하는 등 그 차이가 현저해집니다. 몬테카를로 트리 탐색은 한 자릿수 이상 낮은 연산 비용으로 Orienteering과 대등한 재구성 품질을 보여 권장되는 계획기로 제시됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.