Bayesian Uncertainty Quantification for Anaerobic Digestion models
원문 초록
Uncertainty quantification is critical for ensuring adequate predictive power of computational models used in biology. Focusing on two anaerobic digestion models, this article introduces a novel generalized Bayesian procedure, called VarBUQ, ensuring a correct tradeoff between flexibility and computational cost. A benchmark against three existing methods (Fisher's information, bootstrapping and Beale's criteria) was conducted using synthetic data. This Bayesian procedure offered a good compromise between fitting ability and confidence estimation, while the other methods proved to be repeatedly overconfident. The method's performances notably benefitted from inductive bias brought by the prior distribution, although it requires careful construction. This article advocates for more systematic consideration of uncertainty for anaerobic digestion models and showcases a new, computationally efficient Bayesian method. To facilitate future implementations, a Python package called 'aduq' is made available.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.
PROSWIN: 태양 영상을 이용한 심층 분포 회귀 기반의 확률론적 태양풍 속도 예측
PROSWIN: Probabilistic Solar Wind Speed Forecasting Using Deep Distributional Regression From Solar Images
빠른 태양풍 조건을 정확하게 예측하는 것은 불확실성이 크고 기존의 단일값 예측 모델로는 이를 정량화할 수 없기 때문에 어려운 과제입니다. 특히 기술적 인프라에 피해를 줄 수 있는 고속 태양풍 스트림(HSS)의 위험은 확률론적 예측 없이는 신뢰성 있게 평가될 수 없습니다. 본 연구에서는 4일의 리드 타임으로 지구에서의 시간별 태양풍 속도(SWS)를 예측하는 확률론적 머신러닝 모델인 PROSWIN을 제시합니다. 이 접근 방식은 심층 신경망(deep neural network)과 분포 회귀(distributional regression) 알고리즘을 결합하여 태양 영상과 자기장 지도(magnetogram)를 통합합니다. 표준 오차 지표는 HSS 피크의 중요성을 과소평가하므로, 타임라인과 HSS 피크 정확도를 함께 보상하는 모델 선택 지표인 예측 점수(prediction score)를 추가로 도입합니다. 14년간의 데이터에서 본 연구의 예측은 매우 잘 보정된 불확실성(평균 편차 <1%)을 달성합니다. 분포 정확도를 평가하는 지표인 연속 순위 확률 점수(CRPS)를 사용하여 타임라인 CRPS 41.0 km/s, HSS 피크 CRPS 45.3 km/s, 예측 점수 42.3 km/s를 얻었습니다. 또한 171 Å 채널이 일반적으로 사용되는 193 Å 및 211 Å 채널에 중요한 보완 요소가 되며, 모델 선택을 위한 예측 점수가 모델의 적용 가능성을 향상시킨다는 점을 확인했습니다. 기존 문헌에서 선정된 모델들과 비교했을 때, 본 모델은 둘 중 하나를 희생하지 않고 타임라인과 HSS 피크 값 모두에서 정확한 유일한 모델입니다. 이러한 결과는 단일값 태양풍 모델 대비 확률론적 모델의 이점을 뒷받침합니다. 도입된 방법론은 다른 예측 문제에도 전이 가능합니다.
컨포멀 마팅게일을 이용한 분포 무관 순차적 변화 탐지의 최적성
Optimal distribution-free sequential change detection with conformal martingales
본 연구는 변화 전후의 분포가 알려져 있지 않으며 \emph{전혀 제한되지 않은} 독립 관측치에 대한 분포 무관 순차적 변화점 탐지라는 어려운 문제를 다룬다. 20년 넘게 이 문제의 주된 기존 해법은 Vovk의 컨포멀 검정 마팅게일과 이에 연관된 e-탐지기를 사용해 왔으며, 이들은 각각 오경보 확률(PFA)과 평균 실행 길이(ARL)를 제어한다. 이러한 연구 대부분은 타당성에 초점을 맞추고 있으며, 통계적 효율성은 대체로 시뮬레이션에 맡겨져 왔다. 본 논문은 알려지지 않은 시점 $T$에 변화점이 있는 비교환 가능 데이터에서 컨포멀 p-값이 어떻게 거동하는지에 대한 포괄적인 이론을 전개한다. 이를 이용해 변화 후 성장과 그에 따른 탐지 지연을 분석하였고, 기존의 표준 방법이 PFA 및 ARL 제어에 대해 증명 가능하게 최적이 아니며 각각 $\Omega(T)$와 $\Omega(\sqrt{\text{ARL}})$ 수준의 지연을 초래할 수 있음을 발견하였다. 우리는 학습된 점수와 고정된 분포 독립적 베팅 사전(dictionary)을 사용하는 새로운 컨포멀 e-프로세스와 e-탐지기를 구성한다. KL 발산이 양의 유한값인 모든 분포 쌍에 대해, 제안한 방법은 PFA 제어에서 $\log T/\mathrm{KL}$ 지연을, ARL 제어에서 $\log\mathrm{ARL}/\mathrm{KL}$ 지연(선도 상수 1로 엄밀함)을 점근적으로 달성하며, 이 둘은 적절한 이중 배열 프레임워크에서 미니맥스 최적임이 증명된다. 시뮬레이션은 새로운 접근법의 큰 경험적 이점을 보여 준다.
LLM 응답의 자동 감성 점수에서 나타나는 질의 언어 민감도
Query Language Sensitivity in Automated Sentiment Scores of LLM Responses
자동 점수는 대규모 언어 모델이 프롬프트, 제공자, 언어에 걸쳐 브랜드를 어떻게 서술하는지 요약하는 데 자주 사용된다. 이러한 점수는 답변이 다르기 때문에, 점수 측정 도구가 텍스트나 언어에 따라 다르게 작동하기 때문에, 또는 두 가지 이유 모두로 인해 달라질 수 있다. 우리는 저장된 브랜드 레이블 20개, 질의 언어 8개, 제공자 별칭 3개, 프롬프트 식별자 15개를 교차한 설계에서 얻은 12,933개의 응답으로 이 측정 문제를 검토한다. 결과 변수는 다국어 감성 분류기의 부호 있는 승리 클래스 신뢰도이며, 중립이 승리한 경우는 0으로, 긍정과 부정이 승리한 경우에는 부호 있는 신뢰도로 코딩한다. 전체 응답에 적합한 교차 선형 혼합 모형은 적합된 분산의 26.49%를 질의 언어에, 1.46%를 브랜드에 배정한다. 영어를 제외하고 다시 적합한 탐색적 분석에서는 언어에 5.07%, 브랜드에 2.23%가 배정된다. 이 백분율들은 분모가 서로 다르다. 전체 적합 분산은 65.08% 감소하고, 브랜드 분산의 절대량은 46.65% 감소한다. 영어에서는 1,620개의 답변 중 591개가 부정 분류기 점수를 받은 반면, 나머지 일곱 개 언어에서는 11,313개의 답변 중 77개가 부정 점수를 받았다. 이 결과는 원래의 분산 분해가 영어 포함 여부에 매우 민감함을 보여준다. 다만 영어가 인과적 효과를 가진다는 점을 식별하지 못하며, 영어 답변이 브랜드에 대해 더 부정적이라는 점을 입증하지도 않는다. 이 분류기는 트윗 감성에 맞춰 학습되었고, 별도의 대상 브랜드 조건을 입력받지 않으며, 문서화된 감성 미세조정 세트에 포함된 연구 언어는 영어뿐이다. 따라서 자동 점수의 차이는 실질적인 결론을 내리기 전에 답변과 측정 도구 양쪽의 속성으로서 점검되어야 한다.
예제 기반 프로그래밍을 위한 해결기 인식 분해: 나누려면 정복하는 법을 알아야 할 때
Solver-Aware Decompositions for Programming-by-Example: When Dividing Requires Knowing How to Conquer
분해 기반 예제 기반 프로그래밍(Programming-by-Example)은 과제를 하위 과제로 나눈다. 분해기는 중간 하위 목표를 예측하고, 학습된 합성기는 각 하위 목표에 대한 프로그램을 생성한다. 실행-분해 접근법은 분해기가 정답(GT) 하위 목표를 모방하도록 학습시키며, 그에 따라 분해의 품질을 과제만의 속성으로 취급한다. 그러나 학습된 합성기는 고유한 귀납적 편향을 가지며, GT 하위 목표는 주석 작성자가 과제를 어떻게 분해했는지를 반영할 뿐 이 합성기가 무엇을 풀 수 있는지를 반영하지 않는다. 따라서 이를 모방하는 분해기는 논리적으로는 타당하지만 합성기가 풀기 어려운 하위 목표를 제안할 수 있다. 이러한 관찰에 착안하여 우리는 해결기 인식 분해(Solver-Aware Decompositions, SAD)를 제안한다. SAD는 GT 하위 목표에 대한 지도 학습을 구조적 발판으로 유지하면서, 고정된 합성기를 상대로 자기 비판적(self-critical) 정책 경사를 이용해 분해기를 온라인으로 추가 학습시킨다. 샘플링된 각 하위 목표에는 목표 프로그램에 대한 합성기의 음의 교차 엔트로피가 보상으로 주어지며, 이는 해당 합성기에게 하위 과제가 얼마나 어려운지를 나타내는 연속적 신호이다. 실험은 정확도의 역설을 보여 준다. 합성기를 고정했을 때 GT로 지도 학습된 분해기는 GT 하위 목표와 더 자주 일치하지만, 합성기가 동일한 GT 데이터로 학습되었음에도 그 하위 목표는 더 낮은 합성 정확도로 이어진다. 두 가지 리스트 처리 도메인에서 SAD는 분포 내 및 길이 일반화 상황 모두에서 GT로 지도 학습된 분해기보다 합성 및 과제 정확도를 향상시키며, 외부 벤치마크로의 제로샷 전이와 미세 조정된 언어 모델에서도 마찬가지이다. 추론 시점에 동일한 합성기와 탐색을 사용하면서 GT 하위 목표를 제공받는 오라클조차 SAD가 해결하는 과제에서 실패하며, 이러한 과제에 대한 SAD의 해 중 GT 프로그램과 일치하는 것은 2% 미만이다. 따라서 분해의 품질은 과제의 속성이 아니라 하위 목표를 실행하는 합성기에 의존한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.