arXiv:1810.07310

Prediction of Atomization Energy Using Graph Kernel and Active Learning

Yu-Hang Tang, Wibe A. de Jong

제출 2018-10-16

원문 초록

Data-driven prediction of molecular properties presents unique challenges to the design of machine learning methods concerning data structure/dimensionality, symmetry adaption, and confidence management. In this paper, we present a kernel-based pipeline that can learn and predict the atomization energy of molecules with high accuracy. The framework employs Gaussian process regression to perform predictions based on the similarity between molecules, which is computed using the marginalized graph kernel. To apply the marginalized graph kernel, a spatial adjacency rule is first employed to convert molecules into graphs whose vertices and edges are labeled by elements and interatomic distances, respectively. We then derive formulas for the efficient evaluation of the kernel. Specific functional components for the marginalized graph kernel are proposed, while the effect of the associated hyperparameters on accuracy and predictive confidence are examined. We show that the graph kernel is particularly suitable for predicting extensive properties because its convolutional structure coincides with that of the covariance formula between sums of random variables. Using an active learning procedure, we demonstrate that the proposed method can achieve a mean absolute error of 0.62 +- 0.01 kcal/mol using as few as 2000 training samples on the QM7 data set.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2602.01929v3math.DS공통 태그 Active Learning

확률적 동적 시스템의 확률론적 대리 모델링을 위한 함수 대 함수 비선형 자기회귀 모델(F2NARX)

Function-on-function nonlinear autoregressive model (F2NARX) for probabilistic surrogate modeling of stochastic dynamical systems

동적 시스템 응답을 예측하기 위한 정확하고 계산 효율적인 대리 모델을 구축하는 것은 많은 공학 분야에서 매우 중요하지만, 외부 가진과 시스템 파라미터로부터 시스템 응답으로의 사상이 강한 비선형성과 고차원성을 지니므로 여전히 어려운 과제이다. 본 연구는 최근 제안된 $\mathcal{F}$-NARX 방법을 함수 대 함수 회귀 관점에서 재정식화한 새로운 외생 입력을 갖는 함수 대 함수 비선형 자기회귀 모델(F2NARX)을 제안한다. 제안된 프레임워크는 높은 정확도를 유지하면서 예측 효율을 크게 향상시킨다. 주성분 분석과 가우시안 프로세스 회귀를 결합함으로써, F2NARX는 무향 변환을 이용해 자기회귀 방식으로 동적 응답의 확률론적 예측을 추가로 가능하게 한다. 이 방법의 효과는 다양한 복잡도의 사례 연구를 통해 입증된다. 결과는 F2NARX가 최신 NARX 모델보다 효율에서 수십 배 이상의 자릿수 차이로 우수하면서도 일반적으로 더 높은 정확도를 달성함을 보여준다. F2NARX의 확률론적 예측 능력은 능동 학습과 결합하여 최초 통과 확률 추정에 적용함으로써 추가로 입증되며, 이는 신뢰성 지향 응용에서의 잠재력을 보여준다.

arXiv:2603.27049v3stat.ML공통 태그 Active Learning

인센티브 붕괴 역설 극복하기

Overcoming the Incentive Collapse Paradox

AI 보조 작업 위임은 점차 일반화되고 있으나, 이러한 시스템에서 인간의 노력은 비용이 많이 들고 통상 관측 불가능합니다. Bastani와 Cachon (2025); Sambasivan 등 (2021)의 최근 연구는 정확도 기반 지불 방식이 인센티브 붕괴(incentive collapse) 문제를 겪는다는 것을 보여줍니다. 즉, AI 정확도가 향상됨에 따라 긍정적인 인간의 노력을 유지하려면 무한한 지불이 필요합니다. 우리는 출력 정확도가 관측되지 않은 노력에 의존하는 전략적 인간 에이전트(agent)가 포함된 예산 제약이 있는 주인-에이전트(principal-agent) 프레임워크 내에서 이 현상을 연구합니다. 첫 번째 기여는 인센티브 붕괴가 단순한 선형 지불의 한계에 불과한 것이 아니라, 관측된 작업 정확도에만 기반한 모든 지불 규칙에 대해 발생한다는 것을 보여주는 일반적인 불가능성 결과입니다. 이러한 장벽을 극복하기 위해, 우리는 AI 정확도와 무관하게 유한한 비용으로 인간의 노력 수준을 엄격하게 양의 값이고 제어 가능한 수준으로 강제하는 감시자 감사(sentinel-auditing) 지불 메커니즘을 제안합니다. 이 인센티브 강건한 기반을 바탕으로, 우리는 단일 예산 하에서 최종 통계적 손실(loss)을 최소화하기 위해 (i) 감사율과 (ii) 다양한 난이도의 작업에 대한 능동적 샘플링 및 예산 할당을 공동으로 최적화하는 인센티브 인지 능동적 통계 추론(inference) 프레임워크를 개발합니다. 실험 결과, 표준 능동 학습 및 감사 전용 기준선에 비해 개선된 비용-오차 트레이드오프를 입증합니다.

arXiv:2606.20820v3cs.LG공통 태그 Active Learning

CELEUS: E-Process 기반 인증 가능하고 효율적인 LLM 평가

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

평가 점수가 LLM의 실제 성능을 포착한다고 신뢰할 수 있는가? 인증 가능한 평가는 LLM의 참 성능을 높은 확률(예: 95%)로 포함하는 신뢰구간(CI)을 제공함으로써 이 질문에 답한다. 특히 기존 방법은 고정된 풀에서 평가 샘플을 순차적으로 선택하며, CI 폭이 목표 정밀도에 도달하는 등 특정 조건이 충족될 때까지 CI를 계속 갱신한다. 그러나 기존 방법은 일반적으로 언제든 유효(anytime-valid)하지 않다. CI를 반복적으로 갱신하고 중단 시점을 결정하는 데 사용하면 주장된 포괄 확률(예: 95%)이 성립하지 않을 수 있어, 이론적 엄밀성과 실제 사이에 간극이 남는다. 본 논문은 E-프로세스를 활용하여 언제든 유효한 CI를 구성하는, 효율적인 LLM 평가를 위한 인증 가능 프레임워크 CELEUS를 제안함으로써 이 간극을 메운다. 구체적으로 두 가지 요소를 결합한 새로운 신호를 제안한다. (i) 평가에 정보량이 많은 샘플을 선택하는 불확실성 유도 샘플링과, (ii) 평가되지 않은 샘플에 대한 대리 모델 지원 근사이다. 이 새로운 신호가 과거를 조건으로 할 때 평가 점수에 대해 불편성을 유지함을 증명하며, 이는 통계적으로 근거 있는 언제든 유효한 e-프로세스 CI를 가능하게 한다. 더 중요한 것은, 두 요소가 추정 분산을 줄이고 더 적은 수의 평가 샘플로 목표 정밀도에 도달하도록 돕는다는 점이다. 또한 CELEUS가 얻은 CI가 로그 인자를 제외하면 근모수적 속도로 수축할 수 있음을 증명하고, 경험적 불확실성 유도 방식의 동기가 되는 오라클 분산 최적 샘플링 규칙을 분석한다. 실험 결과 CELEUS는 언제든 유효한 포괄 확률을 유지하면서 기준 방법보다 54-62% 적은 평가 샘플로 목표 정밀도에 도달한다. 코드는 https://github.com/zyecs/celeus 에서 확인할 수 있다.

arXiv:2607.14817v2cs.LG공통 태그 Active Learning

인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.

arXiv:2606.23662v2stat.ML공통 태그 Active Learning

Action-BED: 단일 intractable 목적을 갖는 태스크 기반 베이지안 실험 설계(BED)

Action-BED: Task-Driven Bayesian Experimental Design with Singly Intractable Objectives

베이지안 실험 설계(BED)는 전통적으로 사전(prior)에서 사후(posterior)로의 기대 불확실성 감소를 최대화하는 것에 기반해 왔다. 이 접근법의 주요 한계는 이중 intractable 목적함수로 이어져 최적화가 어렵다는 점이며, 관심 있는 특정 다운스트림 태스크에 맞게 맞춤화하는 것도 역시 어렵다. 1원칙 의사결정 이론에 따라, 우리는 BED를 다운스트림 행동(downstream actions)에 대한 기대 미래 손실(expected future loss, EFL)로 대안적으로 표현할 수 있음을 보인다. 이는 단순하고 자연스럽게 태스크 기반 프레임워크를 제공한다. 핵심적으로, 우리는 이러한 모든 EFL이 단일 intractable 목적함수로 재배치될 수 있으며, 확률적 그래디언트(stochastic gradients)를 사용해 설계 정책(design policy)과 다운스트림 행동 정책(downstream action policy) 모두에 대해 공동 최적화될 수 있음을 보인다. 우리는 이 접근법을 ACTION-BED라고 부른다. 이 공식화는 명시적인 사후(posterior) 또는 주변 가능도(marginal likelihood) 추정의 필요성을 추가로 우회하며, 자연스럽게 암시적(implicit) 방식으로, 모델 파라미터와 데이터에 대한 결합 모델(joint model)에서 샘플링하고 다운스트림 손실 함수를 평가하는 능력만 필요로 한다. 따라서 이는 기존 방법보다 더 효과적이고, 효율적이며, 간단하게 설계 정책을 학습할 수 있게 하면서, 서로 다른 다운스트림 태스크와 손실에 대한 쉬운 맞춤화를 제공한다.

arXiv:2609.37687v3cs.AI공통 태그 Active Learning

WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점

WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation

능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA

토론

이 논문과 연결된 포럼 글이 아직 없습니다.