arXiv:2004.10931

Active Learning for Gaussian Process Considering Uncertainties with Application to Shape Control of Composite Fuselage

Xiaowei Yue, Yuchen Wen, Jeffrey H. Hunt, Jianjun Shi

제출 2020-04-23

원문 초록

In the machine learning domain, active learning is an iterative data selection algorithm for maximizing information acquisition and improving model performance with limited training samples. It is very useful, especially for the industrial applications where training samples are expensive, time-consuming, or difficult to obtain. Existing methods mainly focus on active learning for classification, and a few methods are designed for regression such as linear regression or Gaussian process. Uncertainties from measurement errors and intrinsic input noise inevitably exist in the experimental data, which further affects the modeling performance. The existing active learning methods do not incorporate these uncertainties for Gaussian process. In this paper, we propose two new active learning algorithms for the Gaussian process with uncertainties, which are variance-based weighted active learning algorithm and D-optimal weighted active learning algorithm. Through numerical study, we show that the proposed approach can incorporate the impact from uncertainties, and realize better prediction performance. This approach has been applied to improving the predictive modeling for automatic shape control of composite fuselage.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27883v1cs.LG공통 태그 regression, Active Learning

자율적 과학 발견에서의 거짓 과학 유도

False-science induction in autonomous scientific discovery

폐루프(closed-loop) 발견 시스템이 실험을 수행하고 의사결정을 업데이트하는 과정을 점점 더 자율화함에 따라, 기록 무결성(record integrity)은 실험 장비의 일부로 자리 잡고 있습니다. 본 논문에서는 정당한 물리적 대상과 측정값이 잘못 결합될 때 거짓 과학 유도(false-science induction)가 발생함을 보입니다. 이는 한계 데이터 분포(marginal data distribution)가 변하지 않은 채로 유지되는 반면, 신경 대리 모델(neural surrogate)이 실제 대상-결과 관계와 일치하지 않는 기록 기반 연관성을 충실하게 학습하도록 만듭니다. 녹색 형광 단백질(GFP) 적합도 및 재료 밴드갭(band-gap) 예측 루프 전반에서, 일관된 쌍별 오결합(coherent paired misbinding)은 실험 예산을 성능이 낮은 분지(basin) 쪽으로 체계적으로 전환시키는 반면, 동일한 규모의 무작위 치환은 무시할 수 있는 수준의 영향만을 미쳤습니다. 이러한 관찰은 테스트된 루프에서 예산 오배분을 제어하는 주요 변수가 단순 오류 빈도가 아닌 오류 일관성(error coherence)임을 밝혀냅니다. 결과적으로 도출된 결합 식별성 경계(binding identifiability boundary)는 모니터링 축 격리 및 피드백 충돌 분류(feedback-conflict triage)를 뒷받침하며, 이는 실행 전에 과도하게 집중된 제안을 차단하고 오염된 가설 축을 격리합니다.

arXiv:2607.14486v1physics.chem-ph공통 태그 regression, Active Learning

기계학습 힘장의 학습 및 미세조정에서 적은 레이블로 전체 데이터 정확도 달성

Full-data accuracy with fewer labels for training and fine-tuning machine-learning force fields

기계학습 힘장(MLFF)은 학습 분포 근처에서만 신뢰할 수 있으므로, 다양한 학습 세트를 효율적으로 구축하는 것은 처음부터 학습과 기초 모델 미세조정 워크플로 모두에서 주요 병목이 된다. 능동 학습(active learning)은 이러한 비용을 줄일 수 있지만, 표준 모델 위원회(model committee) 불확실성은 위원회 각 구성원마다 별도의 미세조정 실행이 필요하기 때문에 기초 MLFF에는 실용적이지 않다. 우리는 구성(configuration)별로 전방 패스(forward pass) 비용이 낮은 불확실성 추정기인 최종 층 투영 회귀(last-layer-projection regression, LLPR)를 기반으로 한 능동 학습 워크플로를 제시한다. 분자, 응축상(condensed-phase), 전해질 시스템 전반에 걸쳐 LLPR은 전자 구조(electronic-structure) 레이블의 극히 일부만으로 전체 데이터 정확도를 회복하는 컴팩트하고 고가치의 학습 세트를 식별한다. 기초 모델 미세조정에서 LLPR이 선택한 구성은 무작위 선택보다 훨씬 적은 레이블로 전체 풀 미세조정 상한에 도달한다. 반복적 전해질 미세조정에서 LLPR은 DFT 레이블링 이전에 비물리적 국소 배위(local coordination)를 감지하고, 절대적인 힘 오차 임계값을 제공하며, 학습 루프의 자동 종료를 가능하게 한다. 결과 모델은 기준(reference) 밀도와 이온 배위 구조를 재현하며, MLFF 학습 체계 전반에 걸친 확장 가능한 불확실성 정량화(uncertainty quantification) 전략을 제공한다.

arXiv:2607.09250v1stat.ML공통 태그 regression, Active Learning

고차원 M-추정에서의 영향력 진단: 정밀 점근 분석

Influence Diagnostics in High-dimensional M-estimation: Precise Asymptotics

통계 모델에 대한 특정 학습 데이터 포인트의 영향은 고전적으로 leave-one-out 영향력을 통해 측정되며, 이는 학습 세트에서 해당 포인트를 제거했을 때 모델 정확도에 미치는 효과를 정량화한다. Leave-one-out 영향력의 통계적 특성은 저차원 대표본 극한 $n\to \infty, d=O(1)$에서는 잘 이해되어 있지만, 고차원에서는 특정 샘플의 영향력이 다른 모든 학습 샘플과 비자명한 의존성을 형성하게 되어 더욱 복잡해진다. 가우시안 설계 하의 볼록 M-추정에서, 고차원 극한 $n\asymp d$에서 학습 세트 전체에 걸친 영향력의 분포가 특정 극한 측도로 수렴함을 보이며, 이를 정밀하게 특성화한다. 이러한 결과를 바탕으로, 영향력이 큰 샘플이 결정 경계(decision boundary) 근처에 위치하는 경향이 있음에 대한 근거를 제시하며, 이를 통해 능동 학습(active learning)의 표준적인 데이터 선택 휴리스틱과의 연결점을 확인한다.

arXiv:2607.08347v1stat.ML공통 태그 regression, Active Learning

예측 기반 능동적 테스팅

Prediction-Powered Active Testing

능동적 테스팅(Active testing)은 어떤 테스트 포인트에 레이블을 부여할지 적응적으로 선택함으로써 레이블 효율적인 위험(risk) 추정 방법을 제공한다. 그러나 기존 추정기들은 강력한 블랙박스 모델의 유익한 예측값을 활용하지 못하는데, 이러한 예측값은 레이블 비용이 높은 환경에서 점점 더 많이 이용 가능해지고 있다. 이를 해결하기 위해, 우리는 비편향 LURE 추정기(Farquhar et al., 2021)와 예측 기반 제어 변량(control variate)을 결합한 새로운 레이블 효율적 위험 추정 프레임워크인 예측 기반 능동적 테스팅(Prediction-Powered Active Testing, PPAT)을 제안한다. PPAT는 대리 예측값을 편향된 의사 레이블(pseudo-label)로 사용하는 대신, 손실(loss)을 잔차화(residualise)하는 데 활용함으로써 비편향성을 유지하면서 분산을 줄인다. 추정기 자체를 넘어, PPAT는 어떤 포인트를 획득해야 하는지도 변경한다: 우리는 추정기의 분산 감소에 맞춰 조정된 오라클 및 실용적인 대리 기반 획득 규칙(acquisition rule)을 도출한다. 나아가, PPAT에 대한 점근적 정규성(asymptotic normality)을 확립하여 점근적으로 유효한 신뢰 구간을 제공하며, 이를 통해 추정치 주변의 불확실성에 대한 원칙적인 추정을 가능하게 한다. 표 형식 회귀 및 이미지 분류(classification) 태스크 전반에 걸쳐, PPAT는 위험 추정에서 기존 방법들을 능가하며, 그 신뢰 구간은 훨씬 적은 레이블과 더 좁은 폭으로 목표 커버리지를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.