대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
데이터와 레이블의 특성이 시간에 따라 변하는 온라인 환경에서 기계학습 모델 예측의 불확실성을 정량화하는 것은 어려운 일이다. 온라인 컨포멀 예측(OCP) 방법은 각 관측치에 대한 구간을 생성하고 그중 일정 비율이 해당 레이블을 포함하도록 보장함으로써 이 문제를 다루며, 이러한 성질을 주변 커버리지라 한다. 그러나 OCP 방법은 연령이나 인종과 같은 속성으로 정의되는 집단에 속한 관측치를 체계적으로 과소 커버할 수 있어 공정성 문제를 야기한다. 집단 조건부 OCP(G-OCP) 방법은 여러 집단에 대해 커버리지를 제공하는 구간을 생성함으로써 이를 해결한다. 기존 접근법은 데이터 스트림의 변화에 반응하는 방식을 제어하는 학습률에 의존하는데, 온라인 환경에서는 이를 조정하기가 어려울 수 있다. 학습률이 필요 없는 방법론의 발전을 활용하여, 선행 연구에서 요구되던 것보다 약한 가정 하에서도 성립하는 강력한 집단 커버리지 보장을 갖춘 학습률 불필요 G-OCP 알고리즘을 개발한다. 실험 결과, 제안 방법은 집단 커버리지를 제공하고, 표준 방법과 경쟁력 있는 구간 길이를 생성하며, 고정 학습률 방법보다 데이터의 변화에 더 효과적으로 반응함을 보인다.
동적 시스템 응답을 예측하기 위한 정확하고 계산 효율적인 대리 모델을 구축하는 것은 많은 공학 분야에서 매우 중요하지만, 외부 가진과 시스템 파라미터로부터 시스템 응답으로의 사상이 강한 비선형성과 고차원성을 지니므로 여전히 어려운 과제이다. 본 연구는 최근 제안된 $\mathcal{F}$-NARX 방법을 함수 대 함수 회귀 관점에서 재정식화한 새로운 외생 입력을 갖는 함수 대 함수 비선형 자기회귀 모델(F2NARX)을 제안한다. 제안된 프레임워크는 높은 정확도를 유지하면서 예측 효율을 크게 향상시킨다. 주성분 분석과 가우시안 프로세스 회귀를 결합함으로써, F2NARX는 무향 변환을 이용해 자기회귀 방식으로 동적 응답의 확률론적 예측을 추가로 가능하게 한다. 이 방법의 효과는 다양한 복잡도의 사례 연구를 통해 입증된다. 결과는 F2NARX가 최신 NARX 모델보다 효율에서 수십 배 이상의 자릿수 차이로 우수하면서도 일반적으로 더 높은 정확도를 달성함을 보여준다. F2NARX의 확률론적 예측 능력은 능동 학습과 결합하여 최초 통과 확률 추정에 적용함으로써 추가로 입증되며, 이는 신뢰성 지향 응용에서의 잠재력을 보여준다.
확률적 매개변수를 갖는 운동론 방정식의 높은 차원성은 불확실성 정량화(UQ)에 큰 계산적 어려움을 야기한다. 전통적인 몬테카를로(MC) 표집 방법은 널리 사용되지만 수렴이 느리고 분산이 크며, 매개변수 공간의 차원이 커질수록 이러한 문제가 점점 심해진다. MC 표집을 가속하기 위해, 우리는 단순화된 운동론 모델의 저충실도 해를 활용하여 분산을 줄이는 다중 스케일 통제 변량 전략을 채택한다. 표집 효율을 더욱 높이고 기저의 물리를 보존하기 위해, 구조 및 점근 보존 신경망(SAPNN)에 기반한 대리 모델을 도입한다. 이러한 심층 신경망은 양수성, 보존 법칙, 엔트로피 소산, 점근 극한을 포함한 핵심 물리적 성질을 만족하도록 특별히 설계되었다. SAPNN을 저충실도 모델로 학습시키고 전체 볼츠만 방정식에서 선별한 고충실도 표본으로 보강함으로써, 우리의 방법은 물리적 일관성과 점근적 정확도를 유지하면서 상당한 분산 감소를 달성한다. 제안한 방법론은 운동론 UQ에서 효율적인 대규모 예측을 가능하게 하며, 균질 및 비균질 다중 스케일 영역 모두에서 검증된다. 수치 결과는 표준 MC 기법에 비해 정확도와 계산 효율이 향상됨을 보여 준다.
배경: 딥러닝은 초음파에서 갑상선 결절을 분류할 수 있으나, 판별 성능만으로는 임상적 신뢰성이 확립되지 않는다. 우리는 불확실성 인지 선택적 예측과 보수적인 영상 기반 선별을 갖춘 보정된 딥 앙상블 프레임워크를 개발하였다. 방법: 3겹 내부 아키텍처 선택을 포함한 중첩 5겹 교차 검증으로 squeeze-and-excitation 블록을 갖춘 ConvNeXt-Tiny를 선택하였고, 이를 이용해 결정론적 5개 구성원 앙상블을 구축하였다. 각 폴드 내에서 학습, 조기 종료, 보정, 임계값 부분집합을 분리하였으며, 외부 테스트 데이터는 격리된 상태로 유지하였다. 상호 정보량(MI), 예측 분산, 최대 소프트맥스 확률(MSP) 불확실성을 위험-커버리지 및 선별 분석과, 가정한 악성 유병률 5%-70%에 걸친 예측값으로 비교하였다. 고정된 TN5000 앙상블을 재보정 없이 TN3K에 적용하였다. 결과: TN5000에서 풀링된 out-of-fold AUC-ROC는 0.9377, 평균 정밀도는 0.9708, 기대 보정 오차는 0.0138, Brier 점수는 0.0827이었다. MI 기반 주 정책에서 영상의 8.86%가 No-FNA 제안을, 60.00%가 FNA 권고를, 31.14%가 영상의학과 의사 검토를 받았으며, 악성 영상 3574건 중 14건(0.39%)이 No-FNA, 708건(19.81%)이 검토를 받았다. 예측 분산과 MSP가 MI보다 오류를 더 잘 순위화하였고(AURC, AUGRC), 모든 선별 결과를 최적화한 척도는 없었다. 유병률 5%-70% 전반에서 NPV는 99.95%-97.93%, PPV는 29.28%-94.75%였다. TN3K에서 AUC-ROC는 0.7870, 평균 정밀도는 0.7254, 기대 보정 오차는 0.1899, 영상의학과 의사 검토율은 83.7%였다. 결론: 앙상블은 내부적으로 강한 판별 및 보정 성능을 보였으나 TN3K에서는 성능이 크게 저하되어, 데이터셋 이동 하에서 이식성이 제한적임을 나타냈다. 임상 사용 전에 다기관 검증, 기관별 재보정, 임계값 검증, 전향적 평가가 필요하다.
많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.
대기 중 이산화탄소(CO$_2$)의 우주 기반 관측은 전 지구 탄소 수지를 제약한다. NASA의 궤도 탄소 관측위성 2호(OCO-2)는 고해상도 스펙트럼으로부터 CO$_2$의 칼럼 평균 건조 공기 몰분율(XCO$_2$)을 추정하지만, 운용 중인 반演 방법은 계산 비용이 크고 반演된 사후분포에 엄격한 가우시안성 가정을 부과한다. 우리는 상각된 확률적 추론을 통해 이 두 문제를 모두 해결하는 딥러닝 프레임워크를 제시한다. 실제 관측에 대한 참값이 없으므로, 보정된 순방향 모형 오차를 갖는 고충실도 OCO-2 시뮬레이션 앙상블에서 학습하고 평가하며, 동일한 복사휘도에 대해 편향 보정을 적용하지 않은 버전 10 운용 완전 물리 반演과 비교한다. 우리의 아키텍처는 각 스펙트럼 대역을 별도로 인코딩하고, Laplace 근사와 조건부 정규화 흐름을 사용하여 전체 CO$_2$ 칼럼 또는 그 요약량의 사후분포를 추정한다. 일단 학습되면 추론 비용은 관측 한 건당 분 단위가 아니라 밀리초 단위이다. 순방향 모형 불일치를 명시적으로 포함하는 시뮬레이션으로 학습한 우리의 반演은 우리가 고려한 두 데이터 분할 모두에서 XCO$_2$에 대해 운용 반演보다 더 정확하며, 프로파일에서는 경쟁력이 있다. 흐름 모형은 가우시안이 표현할 수 없는 비대칭 사후분포를 표현하며, 이 이득은 규모가 아니라 형태에 기인하고, 예측 밀도에서의 이점은 정확도 이점이 사라진 곳에서도 지속된다. 이러한 결과는 육지 전용 앙상블에서 운용 알고리즘의 한 가지 구성에 대해 확립된 것이다. 보류된 기준 관측과 보지 못한 두 달에서도 XCO$_2$와 밀도의 이점이 지속된다. XCO$_2$의 경우 2월 데이터에서 커버리지가 명목값에 가까우며, 보지 못한 달들에서는 명목값에 미치지 못하지만 운용 반演의 경우보다 훨씬 더 명목값에 가깝다.
대규모 생의학 및 사회과학 데이터 분석에 널리 쓰이는 일반화 선형 혼합 모델(GLMM)의 확장 가능한 베이지안 추론을 위해, Fisher의 항등식을 활용한 주변 로그 가능도 그래디언트 추정에 기반한 확률적 그래디언트 MCMC(SGMCMC) 알고리즘을 제안한다. 데이터 서브샘플링과 그래디언트 근사에서 발생하는 분산 팽창을 사후 보정하여 전자 건강 기록 데이터 분석을 포함한 시뮬레이션 연구에서 기존 제어 변량 방법 대비 정확한 사후 불확실성 정량화를 달성하였다.
현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.
많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.
대규모 언어 모델(LLM)이 중요도가 높은 실제 AI 시스템에서 핵심 의사결정 구성요소로 점점 더 많이 배치되면서 LLM의 신뢰성은 가장 중요한 실무적 관심사가 되었다. 본 논문에서는 선택적 예측(SP)을 통해 LLM의 신뢰성을 향상시키는 데 초점을 맞춘다. SP는 LLM이 정답일 가능성이 높은 입력에 대해서만 예측하게 하고(즉, 커버리지), 그 부분의 입력에서 오류율(즉, 위험)을 줄이며, 나머지 입력은 추후 사람의 판단을 위해 표시하는 전략이다. 다시 말해 SP는 위험-커버리지 상충관계를 균형 있게 조절하고 사람과 AI의 원활한 협업을 가능하게 함으로써 LLM 신뢰성을 향상시킨다. SP를 LLM에 통합하기 위해 우리는 LLM 사후 학습 정렬 단계에 초점을 맞추고, 주로 정확도나 보정 지표에 집중하는 기존 LLM 정렬 방법과 달리 SP 성능 지표에 LLM을 정렬할 것을 제안한다. 구체적으로, 널리 쓰이는 SP 성능 지표인 위험-커버리지 곡선 아래 면적(AURC)을 정렬 목표로 하는 새로운 정렬 프레임워크인 선택 보상을 위한 강화학습(RLSR)을 제안한다. RLSR은 도메인 내 및 도메인 외 과제 모두에서 여러 정렬 기준선에 비해 훨씬 더 나은 위험-커버리지 상충관계를 달성한다.
Rare events govern the safety profile of modern AI systems, yet their probabilities are extremely difficult to estimate: direct Monte Carlo requires prohibitive sample budgets. Subset Simulation (SS) addresses this by decomposing a rare-event probability into moderate conditional probabilities over nested intermediate events. However, classical SS requires a handcrafted scalar performance function whose sublevel sets define those events, demanding detailed knowledge of the failure geometry and limiting transfer to new domains. We propose SCARCE (Scalable Cascade Analysis for Rare-event Characterisation via Embeddings), which replaces the performance function with learned latent representations and geometric rulers that score proximity to failure regions. Adaptive thresholding constructs nested intermediate events directly from data. We formalise SCARCE through a non-negative supermartingale, yielding a high-probability upper envelope that remains valid under early stopping. On MNIST misclassification, where dense Monte Carlo provides ground truth, SCARCE achieves approximately 400--500 times lower mean absolute error than grid-searched traditional SS while eliminating systematic over-counting. We then study PAIR-style LLM jailbreaks under a fleet-level threat model with adversarial fraction $\eta$. On Llama-Guard-3-8B hidden states, a PCA-based ruler attains 2.6% mean relative error for $\eta \geq 10^{-3}$ against finite-sample references whose average bootstrap relative half-width is 27.9%, and transfers to a GCG-style corpus with 2.93% relative error after recalibration. A directional criterion $\mathrm{KL}(p_{\mathrm{good}}\,\|\,p_{\mathrm{bad}})$ ranks rulers consistently with estimation error (Spearman $\rho=0.83$).
통계적 적대적 탐지(SAD)는 탐지를 2-표본 검정으로 취급한다. 깨끗한 예제(CE)의 참조 집합과, 알 수 없는 비율로 CE와 적대적 예제(AE)가 섞여 있을 수 있는 쿼리 배치가 주어졌을 때, SAD는 거짓 경보율을 통제하면서 쿼리 분포가 CE 분포에서 벗어났는지 판단한다. 기존 SAD 기반 방법은 주로 분포 간 불일치를 측정하기 위해 최대 평균 불일치(MMD)를 사용한다. 그러나 MMD의 분포적 특성은 탐지에 중요한 AE의 특징적 불확실성 패턴을 포착하는 능력을 제한한다. AE는 일반적으로 비정상적인 특징 퍼짐(즉, 전역 불확실성)과 교란에 대한 불안정성(즉, 국소 불확실성)을 보인다. 이 간극을 메우기 위해 우리는 두 가지 새로운 통계량으로 이러한 불확실성 패턴을 명시적으로 포착하는 불확실성 인지 통계적 적대적 탐지(USAD)를 제안한다. (1) 분산 불일치(VD)는 AE와 CE 사이의 특징 퍼짐의 차이를 측정하여 전역 불확실성 차이를 포착한다. (2) 교란 기반 공분산 불일치(PCD)는 가우시안 교란 하에서 특징 공분산을 비교하여 국소 불확실성 차이를 포착한다. VD와 PCD를 집계함으로써 USAD는 다양한 적대적 공격에 대해 기준선 방법보다 우수한 탐지 성능을 달성하며, 효과적인 SAD를 위해 AE의 특징적 행동을 고려하는 것이 중요함을 보여 준다. 코드는 https://github.com/yeager20001118/USAD 에서 이용할 수 있다.
평가 점수가 LLM의 실제 성능을 포착한다고 신뢰할 수 있는가? 인증 가능한 평가는 LLM의 참 성능을 높은 확률(예: 95%)로 포함하는 신뢰구간(CI)을 제공함으로써 이 질문에 답한다. 특히 기존 방법은 고정된 풀에서 평가 샘플을 순차적으로 선택하며, CI 폭이 목표 정밀도에 도달하는 등 특정 조건이 충족될 때까지 CI를 계속 갱신한다. 그러나 기존 방법은 일반적으로 언제든 유효(anytime-valid)하지 않다. CI를 반복적으로 갱신하고 중단 시점을 결정하는 데 사용하면 주장된 포괄 확률(예: 95%)이 성립하지 않을 수 있어, 이론적 엄밀성과 실제 사이에 간극이 남는다. 본 논문은 E-프로세스를 활용하여 언제든 유효한 CI를 구성하는, 효율적인 LLM 평가를 위한 인증 가능 프레임워크 CELEUS를 제안함으로써 이 간극을 메운다. 구체적으로 두 가지 요소를 결합한 새로운 신호를 제안한다. (i) 평가에 정보량이 많은 샘플을 선택하는 불확실성 유도 샘플링과, (ii) 평가되지 않은 샘플에 대한 대리 모델 지원 근사이다. 이 새로운 신호가 과거를 조건으로 할 때 평가 점수에 대해 불편성을 유지함을 증명하며, 이는 통계적으로 근거 있는 언제든 유효한 e-프로세스 CI를 가능하게 한다. 더 중요한 것은, 두 요소가 추정 분산을 줄이고 더 적은 수의 평가 샘플로 목표 정밀도에 도달하도록 돕는다는 점이다. 또한 CELEUS가 얻은 CI가 로그 인자를 제외하면 근모수적 속도로 수축할 수 있음을 증명하고, 경험적 불확실성 유도 방식의 동기가 되는 오라클 분산 최적 샘플링 규칙을 분석한다. 실험 결과 CELEUS는 언제든 유효한 포괄 확률을 유지하면서 기준 방법보다 54-62% 적은 평가 샘플로 목표 정밀도에 도달한다. 코드는 https://github.com/zyecs/celeus 에서 확인할 수 있다.
대규모 언어 모델(LLM)은 인간의 판단을 포착하는 데 서투른가? 흔히 언급되는 두 가지 한계는 LLM이 응답의 전체 분포를 포착하지 못한다는 점과 표현 변화에 따라 판단이 불안정하다는 점이다. 우리는 이러한 한계를 완화하는 간단한 프롬프팅 전략을 제시한다. 미국을 대표하는 144개 도덕 시나리오 집합과 32개국을 다루는 국제사회조사프로그램(ISSP)의 가족과 변화하는 성 역할 모듈의 38개 도덕적 신념이라는 두 데이터셋에 걸쳐, 간단한 유도 기법이 AI-인간 정렬을 개선하는 방식을 보인다. 첫째, 모델에게 표준편차와 응답 비율을 보고하도록 프롬프트하면 일반적인 전략보다 인간 응답의 전체 범위를 더 잘 복원한다. 둘째, 인간의 혼동 평가에 반영되듯 시나리오가 인간 참여자에게 명확하도록 보장하는 것은 더 강한 모델 정렬과 관련되며, LLM은 인간의 혼동 평가를 추적할 수 있다. 동시에 모델의 확신도 평가는 모델 판단의 오류를 일관되게 추적하지는 않지만, 인간의 변동성은 비교적 잘 예측할 수 있음을 발견한다. 이러한 결과는 LLM에 더 나은 질문을 하면 더 나은 답을 얻을 수 있음을 시사한다.
그래디언트 플로우 최적화를 랜덤 효과 모델(random-effects model)의 통계적 추론 문제로 재해석하여, 학습 시간을 분산 성분(variance component) 매개변수로 다루는 이론적 프레임워크를 제시한다. 이를 기반으로 REML(restricted maximum likelihood) 기반 조기 종료(early stopping) 규칙을 도출하였으며, UK Biobank 프로테오믹스 데이터 실험에서 검증 데이터 분할 없이도 경쟁력 있는 예측 정확도를 달성함을 보인다.
빠른 태양풍 조건을 정확하게 예측하는 것은 불확실성이 크고 기존의 단일값 예측 모델로는 이를 정량화할 수 없기 때문에 어려운 과제입니다. 특히 기술적 인프라에 피해를 줄 수 있는 고속 태양풍 스트림(HSS)의 위험은 확률론적 예측 없이는 신뢰성 있게 평가될 수 없습니다. 본 연구에서는 4일의 리드 타임으로 지구에서의 시간별 태양풍 속도(SWS)를 예측하는 확률론적 머신러닝 모델인 PROSWIN을 제시합니다. 이 접근 방식은 심층 신경망(deep neural network)과 분포 회귀(distributional regression) 알고리즘을 결합하여 태양 영상과 자기장 지도(magnetogram)를 통합합니다. 표준 오차 지표는 HSS 피크의 중요성을 과소평가하므로, 타임라인과 HSS 피크 정확도를 함께 보상하는 모델 선택 지표인 예측 점수(prediction score)를 추가로 도입합니다. 14년간의 데이터에서 본 연구의 예측은 매우 잘 보정된 불확실성(평균 편차 <1%)을 달성합니다. 분포 정확도를 평가하는 지표인 연속 순위 확률 점수(CRPS)를 사용하여 타임라인 CRPS 41.0 km/s, HSS 피크 CRPS 45.3 km/s, 예측 점수 42.3 km/s를 얻었습니다. 또한 171 Å 채널이 일반적으로 사용되는 193 Å 및 211 Å 채널에 중요한 보완 요소가 되며, 모델 선택을 위한 예측 점수가 모델의 적용 가능성을 향상시킨다는 점을 확인했습니다. 기존 문헌에서 선정된 모델들과 비교했을 때, 본 모델은 둘 중 하나를 희생하지 않고 타임라인과 HSS 피크 값 모두에서 정확한 유일한 모델입니다. 이러한 결과는 단일값 태양풍 모델 대비 확률론적 모델의 이점을 뒷받침합니다. 도입된 방법론은 다른 예측 문제에도 전이 가능합니다.
본 연구는 변화 전후의 분포가 알려져 있지 않으며 \emph{전혀 제한되지 않은} 독립 관측치에 대한 분포 무관 순차적 변화점 탐지라는 어려운 문제를 다룬다. 20년 넘게 이 문제의 주된 기존 해법은 Vovk의 컨포멀 검정 마팅게일과 이에 연관된 e-탐지기를 사용해 왔으며, 이들은 각각 오경보 확률(PFA)과 평균 실행 길이(ARL)를 제어한다. 이러한 연구 대부분은 타당성에 초점을 맞추고 있으며, 통계적 효율성은 대체로 시뮬레이션에 맡겨져 왔다. 본 논문은 알려지지 않은 시점 $T$에 변화점이 있는 비교환 가능 데이터에서 컨포멀 p-값이 어떻게 거동하는지에 대한 포괄적인 이론을 전개한다. 이를 이용해 변화 후 성장과 그에 따른 탐지 지연을 분석하였고, 기존의 표준 방법이 PFA 및 ARL 제어에 대해 증명 가능하게 최적이 아니며 각각 $\Omega(T)$와 $\Omega(\sqrt{\text{ARL}})$ 수준의 지연을 초래할 수 있음을 발견하였다. 우리는 학습된 점수와 고정된 분포 독립적 베팅 사전(dictionary)을 사용하는 새로운 컨포멀 e-프로세스와 e-탐지기를 구성한다. KL 발산이 양의 유한값인 모든 분포 쌍에 대해, 제안한 방법은 PFA 제어에서 $\log T/\mathrm{KL}$ 지연을, ARL 제어에서 $\log\mathrm{ARL}/\mathrm{KL}$ 지연(선도 상수 1로 엄밀함)을 점근적으로 달성하며, 이 둘은 적절한 이중 배열 프레임워크에서 미니맥스 최적임이 증명된다. 시뮬레이션은 새로운 접근법의 큰 경험적 이점을 보여 준다.
불확실성 추정은 LLM의 신뢰할 수 있는 배포에 필수적이다. 이는 자기 정제를 뒷받침하고, 검증기에서 협업 에이전트에 이르는 하위 시스템의 의사결정 신호로 쓰인다. 그러나 기존 접근법은 최적이 아닌 단위에서 동작한다. 토큰 수준 점수는 의미적 일관성이 부족하고, 시퀀스 수준 점수는 오류를 국소화하지 못한다. 우리는 불확실성에 자연스러운 단위, 즉 각각 평가 가능한 하나의 의미 단위를 전달하는 의미적으로 일관된 텍스트 스팬을 대상으로 하는 새로운 과제인 스팬 수준 불확실성 추정(SLUE)을 정식화한다. 이 과제를 해결하기 위해, 비용이 큰 다중 샘플 추론의 불확실성 지식을 LLM 은닉 상태에 대한 단일 순전파로 증류하는 경량 프로브 SPANUQ를 제안한다. SPANUQ는 DETR 방식의 스팬 디코더를 사용하여 스팬을 검출하는 동시에 베타 분포 혼합을 통해 그 불확실성을 추정하며, 베타 NLL 회귀와 대조적 순위 목적함수를 원칙적으로 결합하여 학습된다. 우리는 다중 샘플 주장 검증에서 도출한 연속적인 소프트 레이블과 함께 2만 개의 프롬프트와 29만 3천 개의 주석된 스팬으로 구성된 최초의 스팬 수준 불확실성 벤치마크 SPANUQ-BENCH를 구축한다. 다섯 가지 LLM 백본에 대한 실험에서 SPANUQ는 일관되게 최고의 스팬 수준 불확실성 품질을 달성하여, 가장 강력한 프로브 기준선과 모든 샘플링 기반 방법을 능가하면서도 10~20배 빠르다. DETR 기반 스팬 검출기는 0.910 F1을 달성하여 최고의 휴리스틱을 39.4% 앞서며, 시퀀스 수준 방법이 제공할 수 없는 정밀한 오류 국소화를 가능하게 한다. 동일한 아키텍처는 두 모델 계열에 걸친 다섯 가지 LLM에 적용되며 백본마다 프로브를 하나씩 학습한다. 또한 시퀀스 수준 불확실성이 부분적으로 분해 가능함을 관찰하였으며, 이는 스팬 수준 추정이 시퀀스 수준 추정을 특수한 경우로 포함함을 시사한다. 프로젝트 페이지는 damon-demon.github.io/SpanUQ 에서 확인할 수 있다.
The response time of a biosensor is a crucial metric in safety-critical applications such as medical diagnostics where an earlier diagnosis can markedly improve patient outcomes. However, the speed at which a biosensor reaches a final equilibrium state can be limited by poor mass transport and long molecular diffusion times that increase the time it takes target molecules to reach the active sensing region of a biosensor. While optimization of system and sensor design can promote molecules reaching the sensing element faster, a simpler and complementary approach for response time reduction that is widely applicable across all sensor platforms is to use time-series forecasting to predict the ultimate steady-state sensor response. In this work, we show that ensembles of long short-term memory (LSTM) networks can accurately predict equilibrium biosensor response from a small quantity of initial time-dependent biosensor measurements, allowing for significant reduction in response time by a mean and median factor of improvement of 18.6 and 5.1 respectively. The ensemble of models simultaneously estimates uncertainty, which is vital for ensuring confidence in the predictions and subsequent safety-related decisions that are made. This approach is demonstrated on real-time experimental data collected by exposing porous silicon biosensors to buffered protein solutions using a multi-channel fluidic cell that enables the automated measurement of 100 porous silicon biosensors in parallel. The dramatic improvement in sensor response time achieved using LSTM network ensembles and associated uncertainty quantification opens the door to trustworthy and faster responding biosensors, enabling more rapid medical diagnostics for faster clinical decision making that can lead to improved patient outcomes and healthcare access, as well as quicker identification of toxins in food and the environment.