Chernoff Sampling for Active Testing and Extension to Active Regression
원문 초록
Active learning can reduce the number of samples needed to perform a hypothesis test and to estimate the parameters of a model. In this paper, we revisit the work of Chernoff that described an asymptotically optimal algorithm for performing a hypothesis test. We obtain a novel sample complexity bound for Chernoff's algorithm, with a non-asymptotic term that characterizes its performance at a fixed confidence level. We also develop an extension of Chernoff sampling that can be used to estimate the parameters of a wide variety of models and we obtain a non-asymptotic bound on the estimation error. We apply our extension of Chernoff sampling to actively learn neural network models and to estimate parameters in real-data linear and non-linear regression problems, where our approach performs favorably to state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자율적 과학 발견에서의 거짓 과학 유도
False-science induction in autonomous scientific discovery
폐루프(closed-loop) 발견 시스템이 실험을 수행하고 의사결정을 업데이트하는 과정을 점점 더 자율화함에 따라, 기록 무결성(record integrity)은 실험 장비의 일부로 자리 잡고 있습니다. 본 논문에서는 정당한 물리적 대상과 측정값이 잘못 결합될 때 거짓 과학 유도(false-science induction)가 발생함을 보입니다. 이는 한계 데이터 분포(marginal data distribution)가 변하지 않은 채로 유지되는 반면, 신경 대리 모델(neural surrogate)이 실제 대상-결과 관계와 일치하지 않는 기록 기반 연관성을 충실하게 학습하도록 만듭니다. 녹색 형광 단백질(GFP) 적합도 및 재료 밴드갭(band-gap) 예측 루프 전반에서, 일관된 쌍별 오결합(coherent paired misbinding)은 실험 예산을 성능이 낮은 분지(basin) 쪽으로 체계적으로 전환시키는 반면, 동일한 규모의 무작위 치환은 무시할 수 있는 수준의 영향만을 미쳤습니다. 이러한 관찰은 테스트된 루프에서 예산 오배분을 제어하는 주요 변수가 단순 오류 빈도가 아닌 오류 일관성(error coherence)임을 밝혀냅니다. 결과적으로 도출된 결합 식별성 경계(binding identifiability boundary)는 모니터링 축 격리 및 피드백 충돌 분류(feedback-conflict triage)를 뒷받침하며, 이는 실행 전에 과도하게 집중된 제안을 차단하고 오염된 가설 축을 격리합니다.
기계학습 힘장의 학습 및 미세조정에서 적은 레이블로 전체 데이터 정확도 달성
Full-data accuracy with fewer labels for training and fine-tuning machine-learning force fields
기계학습 힘장(MLFF)은 학습 분포 근처에서만 신뢰할 수 있으므로, 다양한 학습 세트를 효율적으로 구축하는 것은 처음부터 학습과 기초 모델 미세조정 워크플로 모두에서 주요 병목이 된다. 능동 학습(active learning)은 이러한 비용을 줄일 수 있지만, 표준 모델 위원회(model committee) 불확실성은 위원회 각 구성원마다 별도의 미세조정 실행이 필요하기 때문에 기초 MLFF에는 실용적이지 않다. 우리는 구성(configuration)별로 전방 패스(forward pass) 비용이 낮은 불확실성 추정기인 최종 층 투영 회귀(last-layer-projection regression, LLPR)를 기반으로 한 능동 학습 워크플로를 제시한다. 분자, 응축상(condensed-phase), 전해질 시스템 전반에 걸쳐 LLPR은 전자 구조(electronic-structure) 레이블의 극히 일부만으로 전체 데이터 정확도를 회복하는 컴팩트하고 고가치의 학습 세트를 식별한다. 기초 모델 미세조정에서 LLPR이 선택한 구성은 무작위 선택보다 훨씬 적은 레이블로 전체 풀 미세조정 상한에 도달한다. 반복적 전해질 미세조정에서 LLPR은 DFT 레이블링 이전에 비물리적 국소 배위(local coordination)를 감지하고, 절대적인 힘 오차 임계값을 제공하며, 학습 루프의 자동 종료를 가능하게 한다. 결과 모델은 기준(reference) 밀도와 이온 배위 구조를 재현하며, MLFF 학습 체계 전반에 걸친 확장 가능한 불확실성 정량화(uncertainty quantification) 전략을 제공한다.
고차원 M-추정에서의 영향력 진단: 정밀 점근 분석
Influence Diagnostics in High-dimensional M-estimation: Precise Asymptotics
통계 모델에 대한 특정 학습 데이터 포인트의 영향은 고전적으로 leave-one-out 영향력을 통해 측정되며, 이는 학습 세트에서 해당 포인트를 제거했을 때 모델 정확도에 미치는 효과를 정량화한다. Leave-one-out 영향력의 통계적 특성은 저차원 대표본 극한 $n\to \infty, d=O(1)$에서는 잘 이해되어 있지만, 고차원에서는 특정 샘플의 영향력이 다른 모든 학습 샘플과 비자명한 의존성을 형성하게 되어 더욱 복잡해진다. 가우시안 설계 하의 볼록 M-추정에서, 고차원 극한 $n\asymp d$에서 학습 세트 전체에 걸친 영향력의 분포가 특정 극한 측도로 수렴함을 보이며, 이를 정밀하게 특성화한다. 이러한 결과를 바탕으로, 영향력이 큰 샘플이 결정 경계(decision boundary) 근처에 위치하는 경향이 있음에 대한 근거를 제시하며, 이를 통해 능동 학습(active learning)의 표준적인 데이터 선택 휴리스틱과의 연결점을 확인한다.
스코어 매칭을 통한 베이지안 실험 설계
Bayesian Experimental Design via Score Matching
베이지안 실험 설계(BED)에 대한 정책 기반 접근법은 이전에 수집된 데이터를 바탕으로 지능적인 설계 결정을 적응적으로 내리는 심층 정책 네트워크의 학습을 가능하게 한다. 그러나 이러한 정책의 학습은 기대 정보 이득(EIG)의 이중 난해성(double intractability)이라는 근본적인 문제로 인해 제약을 받는 경우가 많다. 이로 인해 정책 자체의 최적화에 투자할 수 있는 노력을 제한하는, 비용이 크거나 복잡한 근사 방법이 요구된다. 이를 해결하기 위해, 우리는 EIG의 이중 난해성을 정책 학습으로부터 분리할 수 있음을 보인다. 구체적으로, 사용되는 정책에 독립적인 스코어 매칭 문제를 먼저 풀고, 학습된 스코어 근사를 활용하여 단일 난해한(singly intractable) 방식으로 정책을 학습한다. 이를 통해 핵심적인 곱셈적 비용이 덧셈적 비용으로 전환되고, 정책 학습 자체의 계산 부담이 경감되어, 아키텍처 탐색, 하이퍼파라미터 튜닝, 또는 지역 최적해 회피 등 정책을 여러 번 학습해야 하는 경우에 훨씬 저렴하게 학습할 수 있다. 실험에서는 가능도 평가에서 곱셈적 비용을 유발하지 않고 여러 경쟁력 있는 정책을 학습하였으며, 하이퍼파라미터 또는 아키텍처 탐색 없이도 최적의 정책을 선택할 수 있어 성능을 향상시킬 수 있음을 보였다.
예측 기반 능동적 테스팅
Prediction-Powered Active Testing
능동적 테스팅(Active testing)은 어떤 테스트 포인트에 레이블을 부여할지 적응적으로 선택함으로써 레이블 효율적인 위험(risk) 추정 방법을 제공한다. 그러나 기존 추정기들은 강력한 블랙박스 모델의 유익한 예측값을 활용하지 못하는데, 이러한 예측값은 레이블 비용이 높은 환경에서 점점 더 많이 이용 가능해지고 있다. 이를 해결하기 위해, 우리는 비편향 LURE 추정기(Farquhar et al., 2021)와 예측 기반 제어 변량(control variate)을 결합한 새로운 레이블 효율적 위험 추정 프레임워크인 예측 기반 능동적 테스팅(Prediction-Powered Active Testing, PPAT)을 제안한다. PPAT는 대리 예측값을 편향된 의사 레이블(pseudo-label)로 사용하는 대신, 손실(loss)을 잔차화(residualise)하는 데 활용함으로써 비편향성을 유지하면서 분산을 줄인다. 추정기 자체를 넘어, PPAT는 어떤 포인트를 획득해야 하는지도 변경한다: 우리는 추정기의 분산 감소에 맞춰 조정된 오라클 및 실용적인 대리 기반 획득 규칙(acquisition rule)을 도출한다. 나아가, PPAT에 대한 점근적 정규성(asymptotic normality)을 확립하여 점근적으로 유효한 신뢰 구간을 제공하며, 이를 통해 추정치 주변의 불확실성에 대한 원칙적인 추정을 가능하게 한다. 표 형식 회귀 및 이미지 분류(classification) 태스크 전반에 걸쳐, PPAT는 위험 추정에서 기존 방법들을 능가하며, 그 신뢰 구간은 훨씬 적은 레이블과 더 좁은 폭으로 목표 커버리지를 달성한다.
적대적 불확실성 하에서의 강건한 베이즈 의사결정
Robust Bayesian Decision Making under Adversarial Uncertainty
과학적 실험은 흔히 정보 획득을 최대화하도록 설계되지만, 많은 응용에서 주된 목적은 신뢰할 수 있는 하위 의사결정을 지원하는 것이다. 기존의 의사결정 인식 실험 설계(decision-aware experimental design) 및 능동 학습(active learning) 방법들은 대개 결과 모델이 올바르게 명세되어 있다고 가정하며, 실세계 교란 하에서 최적 결정의 안정성에 암묵적으로 의존한다. 그러나 실제로는 실험 결과가 숨겨지거나 약하게 모델링된 효과에 의해 빈번히 영향을 받으며, 이는 결정 최적성을 크게 변화시키고 오도적인 결론으로 이어질 수 있다. 우리는 순차적 적대적 강건 의사결정 인식 실험 설계를 연구하며, 여기서 데이터 수집은 적대적 변수의 변동으로 모델링된 그럴듯한 최악 상황의 예상치 못한 효과에 대한 정보 획득을 고려해야 한다. 베이즈 결정 이론에 기반하여, 우리는 이 설정 하에서 적대적 강건 최적 결정을 형식화하고 원칙적인 베이즈 실험 설계 기준을 도출한다. 이 기준은 명목 최적성보다 결정 안정성을 명시적으로 목표로 삼는다. 합성 및 실세계 과학 데이터셋에 대한 실험에서, 기존의 의사결정 인식 설계는 높은 신뢰도이지만 취약한 결정으로 빠르게 수렴할 수 있는 반면, 우리의 강건성 인식 접근법은 적대적 변동 하에서 현저히 더 안정적이고 신뢰할 수 있는 결정을 산출함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.