arXiv:2001.11143

A Graph-Based Approach for Active Learning in Regression

Hongjing Zhang, S. S. Ravi, Ian Davidson

제출 2020-01-30

원문 초록

Active learning aims to reduce labeling efforts by selectively asking humans to annotate the most important data points from an unlabeled pool and is an example of human-machine interaction. Though active learning has been extensively researched for classification and ranking problems, it is relatively understudied for regression problems. Most existing active learning for regression methods use the regression function learned at each active learning iteration to select the next informative point to query. This introduces several challenges such as handling noisy labels, parameter uncertainty and overcoming initially biased training data. Instead, we propose a feature-focused approach that formulates both sequential and batch-mode active regression as a novel bipartite graph optimization problem. We conduct experiments on both noise-free and noisy settings. Our experimental results on benchmark data sets demonstrate the effectiveness of our proposed approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27883v1cs.LG공통 태그 regression, Active Learning

자율적 과학 발견에서의 거짓 과학 유도

False-science induction in autonomous scientific discovery

폐루프(closed-loop) 발견 시스템이 실험을 수행하고 의사결정을 업데이트하는 과정을 점점 더 자율화함에 따라, 기록 무결성(record integrity)은 실험 장비의 일부로 자리 잡고 있습니다. 본 논문에서는 정당한 물리적 대상과 측정값이 잘못 결합될 때 거짓 과학 유도(false-science induction)가 발생함을 보입니다. 이는 한계 데이터 분포(marginal data distribution)가 변하지 않은 채로 유지되는 반면, 신경 대리 모델(neural surrogate)이 실제 대상-결과 관계와 일치하지 않는 기록 기반 연관성을 충실하게 학습하도록 만듭니다. 녹색 형광 단백질(GFP) 적합도 및 재료 밴드갭(band-gap) 예측 루프 전반에서, 일관된 쌍별 오결합(coherent paired misbinding)은 실험 예산을 성능이 낮은 분지(basin) 쪽으로 체계적으로 전환시키는 반면, 동일한 규모의 무작위 치환은 무시할 수 있는 수준의 영향만을 미쳤습니다. 이러한 관찰은 테스트된 루프에서 예산 오배분을 제어하는 주요 변수가 단순 오류 빈도가 아닌 오류 일관성(error coherence)임을 밝혀냅니다. 결과적으로 도출된 결합 식별성 경계(binding identifiability boundary)는 모니터링 축 격리 및 피드백 충돌 분류(feedback-conflict triage)를 뒷받침하며, 이는 실행 전에 과도하게 집중된 제안을 차단하고 오염된 가설 축을 격리합니다.

arXiv:2607.14486v1physics.chem-ph공통 태그 regression, Active Learning

기계학습 힘장의 학습 및 미세조정에서 적은 레이블로 전체 데이터 정확도 달성

Full-data accuracy with fewer labels for training and fine-tuning machine-learning force fields

기계학습 힘장(MLFF)은 학습 분포 근처에서만 신뢰할 수 있으므로, 다양한 학습 세트를 효율적으로 구축하는 것은 처음부터 학습과 기초 모델 미세조정 워크플로 모두에서 주요 병목이 된다. 능동 학습(active learning)은 이러한 비용을 줄일 수 있지만, 표준 모델 위원회(model committee) 불확실성은 위원회 각 구성원마다 별도의 미세조정 실행이 필요하기 때문에 기초 MLFF에는 실용적이지 않다. 우리는 구성(configuration)별로 전방 패스(forward pass) 비용이 낮은 불확실성 추정기인 최종 층 투영 회귀(last-layer-projection regression, LLPR)를 기반으로 한 능동 학습 워크플로를 제시한다. 분자, 응축상(condensed-phase), 전해질 시스템 전반에 걸쳐 LLPR은 전자 구조(electronic-structure) 레이블의 극히 일부만으로 전체 데이터 정확도를 회복하는 컴팩트하고 고가치의 학습 세트를 식별한다. 기초 모델 미세조정에서 LLPR이 선택한 구성은 무작위 선택보다 훨씬 적은 레이블로 전체 풀 미세조정 상한에 도달한다. 반복적 전해질 미세조정에서 LLPR은 DFT 레이블링 이전에 비물리적 국소 배위(local coordination)를 감지하고, 절대적인 힘 오차 임계값을 제공하며, 학습 루프의 자동 종료를 가능하게 한다. 결과 모델은 기준(reference) 밀도와 이온 배위 구조를 재현하며, MLFF 학습 체계 전반에 걸친 확장 가능한 불확실성 정량화(uncertainty quantification) 전략을 제공한다.

arXiv:2607.09250v1stat.ML공통 태그 regression, Active Learning

고차원 M-추정에서의 영향력 진단: 정밀 점근 분석

Influence Diagnostics in High-dimensional M-estimation: Precise Asymptotics

통계 모델에 대한 특정 학습 데이터 포인트의 영향은 고전적으로 leave-one-out 영향력을 통해 측정되며, 이는 학습 세트에서 해당 포인트를 제거했을 때 모델 정확도에 미치는 효과를 정량화한다. Leave-one-out 영향력의 통계적 특성은 저차원 대표본 극한 $n\to \infty, d=O(1)$에서는 잘 이해되어 있지만, 고차원에서는 특정 샘플의 영향력이 다른 모든 학습 샘플과 비자명한 의존성을 형성하게 되어 더욱 복잡해진다. 가우시안 설계 하의 볼록 M-추정에서, 고차원 극한 $n\asymp d$에서 학습 세트 전체에 걸친 영향력의 분포가 특정 극한 측도로 수렴함을 보이며, 이를 정밀하게 특성화한다. 이러한 결과를 바탕으로, 영향력이 큰 샘플이 결정 경계(decision boundary) 근처에 위치하는 경향이 있음에 대한 근거를 제시하며, 이를 통해 능동 학습(active learning)의 표준적인 데이터 선택 휴리스틱과의 연결점을 확인한다.

arXiv:2607.08347v1stat.ML공통 태그 regression, Active Learning

예측 기반 능동적 테스팅

Prediction-Powered Active Testing

능동적 테스팅(Active testing)은 어떤 테스트 포인트에 레이블을 부여할지 적응적으로 선택함으로써 레이블 효율적인 위험(risk) 추정 방법을 제공한다. 그러나 기존 추정기들은 강력한 블랙박스 모델의 유익한 예측값을 활용하지 못하는데, 이러한 예측값은 레이블 비용이 높은 환경에서 점점 더 많이 이용 가능해지고 있다. 이를 해결하기 위해, 우리는 비편향 LURE 추정기(Farquhar et al., 2021)와 예측 기반 제어 변량(control variate)을 결합한 새로운 레이블 효율적 위험 추정 프레임워크인 예측 기반 능동적 테스팅(Prediction-Powered Active Testing, PPAT)을 제안한다. PPAT는 대리 예측값을 편향된 의사 레이블(pseudo-label)로 사용하는 대신, 손실(loss)을 잔차화(residualise)하는 데 활용함으로써 비편향성을 유지하면서 분산을 줄인다. 추정기 자체를 넘어, PPAT는 어떤 포인트를 획득해야 하는지도 변경한다: 우리는 추정기의 분산 감소에 맞춰 조정된 오라클 및 실용적인 대리 기반 획득 규칙(acquisition rule)을 도출한다. 나아가, PPAT에 대한 점근적 정규성(asymptotic normality)을 확립하여 점근적으로 유효한 신뢰 구간을 제공하며, 이를 통해 추정치 주변의 불확실성에 대한 원칙적인 추정을 가능하게 한다. 표 형식 회귀 및 이미지 분류(classification) 태스크 전반에 걸쳐, PPAT는 위험 추정에서 기존 방법들을 능가하며, 그 신뢰 구간은 훨씬 적은 레이블과 더 좁은 폭으로 목표 커버리지를 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.