Spectral Angle Based Unary Energy Functions for Spatial-Spectral Hyperspectral Classification using Markov Random Fields
원문 초록
In this paper, we propose and compare two spectral angle based approaches for spatial-spectral classification. Our methods use the spectral angle to generate unary energies in a grid-structured Markov random field defined over the pixel labels of a hyperspectral image. The first approach is to use the exponential spectral angle mapper (ESAM) kernel/covariance function, a spectral angle based function, with the support vector machine and the Gaussian process classifier. The second approach is to directly use the minimum spectral angle between the test pixel and the training pixels as the unary energy. We compare the proposed methods with the state-of-the-art Markov random field methods that use support vector machines and Gaussian processes with squared exponential kernel/covariance function. In our experiments with two datasets, it is seen that using minimum spectral angle as unary energy produces better or comparable results to the existing methods at a smaller running time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하이퍼파라미터 최적화에서 LLM은 언제 가치가 있을까? 표 데이터 예산 일치 연구: 웜 스타트는 모델이 아닌 기본 설정
When Is an LLM Worth It for Hyperparameter Optimization? A Budget-Matched Study on Tabular Data Finds the Warm-Start Is a Default Configuration, Not the Model
대규모 언어 모델(LLM)은 사전 지식으로 탐색을 "웜 스타트(warm-start)"하는 하이퍼파라미터 최적화(HPO) 조언자로 제안되어 왔으며, 매우 적은 수의 평가에서도 강력한 구성을 제안한다. 우리는 8개의 PMLB 표(tabular) 벤치마크에서 예산 일치(budget-matched), 다중 시드(multi-seed) 프로토콜 아래 그 주장을 검증하며, 공유된 하나의 탐색 공간에서 LLM 조언자(LLM-OptFlow)를 네 가지 고전적 기준선(무작위 탐색, Optuna-TPE, 가우스 과정 베이지안 최적화, successive halving)과 비교한다. 8×5=40개 (태스크, 시드) 단위에 대해 쌍체 검정(paired test)과 부트스트랩 95% 신뢰구간(CI)을 산출한다. 결과는 주의를 환기시킨다. 조언자의 강력한 첫 번째 제안점은 LLM 출력이 아니다: 기존 LLM-HPO 시스템과 마찬가지로 루프는 고정된 기본 설정으로 시딩되어, 어떤 모델 호출 전에 평가되며, 이것만으로도 평균 best-CV 88.7%에 도달한다. 이는 시험한 일곱 조언자 모델 전체에서 0.01 pp 이내로 동일하다. LLM 자체의 제안은 그 시드 대비 교차 검증(cross-validation) 정확도를 +0.40 pp만 높이고, 홀드아웃(held-out) 테스트에서는 아무 이득도 없다(LLM-Default = -0.01 pp, p = 0.92). 동일한 시드를 고전적 탐색에 부여하면 겉보기 우위는 무너진다: 시드가 주어진 무작위 탐색 대비 2회 평가에서 +0.20 pp 앞서지만, 5회에서는 동률이고, 12회에서는 뒤진다(-0.37 pp). 시드 없이는 고전적 탐색이 12회 평가에서 조언자와 동률이 되고, 40회 평가에서 이긴다(+0.6~+0.8 pp, p <= 1e-4). LLM 고유의 두 가지 행동만 남는다: 단일 태스크(vehicle)에서의 탐험(exploration) 실패, 그리고 정확도를 바꾸지 않으면서 낭비된 연산의 ~33%를 제거하는 규칙 기반 신뢰도 필터. 권고는 겸손하다: 표 HPO에서는 합리적인 기본 설정으로 고전적 탐색을 시드하라; LLM 조언자는 측정 가능한 일반화 이득을 더하지 않으며, 소수의 평가 이내에 따라잡힌다. 우리는 하네스와 모든 통계를 재현하는 스크립트를 공개한다.
천문학을 위한 통계적 기계학습 -- 교재
Statistical Machine Learning for Astronomy -- A Textbook
이 교재는 베이즈 추론에 기반하여 천문학 연구를 위한 통계적 기계학습을 체계적으로 다룬다. 현대적 데이터 분석 기법이 고전 통계 방법과 어떻게 연결되며 익숙한 통계 원리로부터 어떻게 도출되는지를 보여 준다. 전반에 걸쳐 사용되는 베이즈 관점은 천문학의 과학적 추론에 필요한 불확실성 정량화와 통계적 엄밀성을 우선시한다. 교재는 확률 이론과 베이즈 추론에서 출발하여 측정 불확실성이 있는 선형 회귀, 로지스틱 회귀, 분류를 포함한 지도학습으로 나아간다. 비지도학습 주제로는 주성분 분석과 군집화 방법을 다룬다. 이어서 샘플링과 마르코프 연쇄 몬테카를로를 소개하고, 확률적 비모수 방법인 가우시안 过程과 더 넓은 통계적 맥락에서의 신경망을 다룬다. 이론 중심의 접근으로 각 방법을 완전한 수학적 전개와 함께 제1원리에서 도출한 뒤 천문학적 응용을 보인다. 우리는 통계적 통찰을 우선시하여 알고리즘이 왜 작동하는지, 언제 적절한지, 더 넓은 통계 원리와 어떻게 연결되는지를 설명한다. 고전적 방법과 그 이론에 대한 탄탄한 기초에서 출발하여 신경망과 같은 현대 기법으로 이어진다. 이러한 기초를 바탕으로 독자는 대규모 천문 서베이가 요구하는 바와 같이 가정, 한계, 불확실성 전파에 적절히 주의하면서 이 방법들을 천문학 연구에 적용할 수 있다. 22개의 동반 튜토리얼은 Jupyter 노트북에서 천문 데이터에 이 방법들을 적용한다.
LLINBO: 신뢰할 수 있는 LLM 인 더 루프 베이지안 최적화
LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization
베이지안 최적화(BO)는 비용이 많이 드는 블랙박스 함수를 최적화하는 데 널리 사용되는 순차적 의사결정 도구이다. 최근 대규모 언어 모델(LLM)은 데이터가 적은 환경에서 뛰어난 적응력을 보였으며, 맥락 지식을 활용해 고품질의 질의 지점을 제안함으로써 블랙박스 최적화에 유망한 도구가 되고 있다. 그러나 LLM은 명시적인 대리 모델링과 보정된 불확실성이 없고 내부 메커니즘도 불투명하다. 이러한 구조적 불투명성은 불필요한 실험을 초래할 수 있으며, 이는 BO에서 비용이 크고 탐색이 최적해에 접근하는 것을 방해할 수 있다. 이를 해결하기 위해 우리는 기존 LLM 기반 BO 접근법을 감싸서 그 제안을 언제 어떻게 따를지, 그리고 언제 고전적 BO로 되돌아갈지를 결정하는 일반 프레임워크인 LLINBO(LLM-in-the-Loop BO)를 제안한다. 우리는 이러한 상호작용을 위한 세 가지 메커니즘을 도입하며, 각각은 LLM에 대한 성능 가정 없이도 일반적인 커널에 대해 준선형 누적 후회를 보장하는 무해(no-harm) 이론적 보장을 갖는다. 이러한 이론적 보장 외에도, 시뮬레이션 연구를 통해 LLINBO가 기존 LLM 기반 BO를 더 신뢰할 수 있게 만들면서도 LLM의 퓨샷 학습 능력을 활용하여 고전적 BO보다 우수한 성능을 낸다는 것을 보인다. 또한 실제의 비용이 많이 드는 3D 프린팅 실험에서의 실용적 활용을 추가로 시연한다. 코드는 https://github.com/UMDataScienceLab/LLM-in-the-Loop-BO 에서 확인할 수 있다.
MathOptAI.jl: Embed trained machine learning predictors into JuMP models
Tailored Architectures for Time Series Forecasting: Evaluating Deep Learning Models on Gaussian Process-Generated Data
The Currents of Conflict: Decomposing Conflict Trends with Gaussian Processes
토론
이 논문과 연결된 포럼 글이 아직 없습니다.