arXiv:2003.07658

Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)

Ziang Liu, Xue Jiang, Hanbin Luo, Weili Fang, Jiajing Liu, Dongrui Wu

제출 2020-03-17

원문 초록

Active learning (AL) selects the most beneficial unlabeled samples to label, and hence a better machine learning model can be trained from the same number of labeled samples. Most existing active learning for regression (ALR) approaches are supervised, which means the sampling process must use some label information, or an existing regression model. This paper considers completely unsupervised ALR, i.e., how to select the samples to label without knowing any true label information. We propose a novel unsupervised ALR approach, iterative representativeness-diversity maximization (iRDM), to optimally balance the representativeness and the diversity of the selected samples. Experiments on 12 datasets from various domains demonstrated its effectiveness. Our iRDM can be applied to both linear regression and kernel regression, and it even significantly outperforms supervised ALR when the number of labeled samples is small.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27883v1cs.LG공통 태그 regression, Active Learning

자율적 과학 발견에서의 거짓 과학 유도

False-science induction in autonomous scientific discovery

폐루프(closed-loop) 발견 시스템이 실험을 수행하고 의사결정을 업데이트하는 과정을 점점 더 자율화함에 따라, 기록 무결성(record integrity)은 실험 장비의 일부로 자리 잡고 있습니다. 본 논문에서는 정당한 물리적 대상과 측정값이 잘못 결합될 때 거짓 과학 유도(false-science induction)가 발생함을 보입니다. 이는 한계 데이터 분포(marginal data distribution)가 변하지 않은 채로 유지되는 반면, 신경 대리 모델(neural surrogate)이 실제 대상-결과 관계와 일치하지 않는 기록 기반 연관성을 충실하게 학습하도록 만듭니다. 녹색 형광 단백질(GFP) 적합도 및 재료 밴드갭(band-gap) 예측 루프 전반에서, 일관된 쌍별 오결합(coherent paired misbinding)은 실험 예산을 성능이 낮은 분지(basin) 쪽으로 체계적으로 전환시키는 반면, 동일한 규모의 무작위 치환은 무시할 수 있는 수준의 영향만을 미쳤습니다. 이러한 관찰은 테스트된 루프에서 예산 오배분을 제어하는 주요 변수가 단순 오류 빈도가 아닌 오류 일관성(error coherence)임을 밝혀냅니다. 결과적으로 도출된 결합 식별성 경계(binding identifiability boundary)는 모니터링 축 격리 및 피드백 충돌 분류(feedback-conflict triage)를 뒷받침하며, 이는 실행 전에 과도하게 집중된 제안을 차단하고 오염된 가설 축을 격리합니다.

arXiv:2609.27208v1cs.CV공통 태그 Diversity, Active Learning

비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹

Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics

공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.

arXiv:2609.23957v1cs.AI공통 태그 Diversity, Active Learning

자율 재료 발견에서 발산하는 전략과 수렴하는 결과

Divergent strategies and convergent outcomes in autonomous materials discovery

과학 에이전트(scientific agents)는 주로 과제 완료 여부나 알려진 결과 재현 여부로 평가되지만, 본 연구는 반복된 개방형(open-ended) 캠페인 간 변이를 조사한다. 동일한 모델-하니스(model-harness) 구성으로 각각 독립 초기화된 16개 세션에 12,499개 금속-유기 골격(metal-organic frameworks)의 고정(frozen) 데이터베이스, 메탄 저장(methane-storage) 목표, 고정(pinned) 프로토콜, 1주 예산이 주어졌다. 전략은 100~5,000개를 스크리닝한 구조 범위를 아우르는 네 가지 접근으로 갈라졌고, 여덟 세션은 2,253개의 가설(hypothetical) 구조를 생성했다. 그럼에도 에이전트들은 약 200 cm^3/cm^3 부근의 동일한 재료 프론티어(materials frontier)를 회복했으며, 데이터베이스 다공(porous) 영역에 대한 독립 계산은 최상위 9개 구조가 모두 그들의 보고에 포함됨을 확인했다. 절반의 에이전트에 강제 검증(enforced checks)을 적용하면 신규 실행(fresh-run) 재현이 8개 중 1개에서 8개 중 8개로 늘었으나 결론 타당성(conclusion validity)은 눈에 띄게 개선되지 않았다. 16개 중 15개 에이전트가 동일한 감사 제외(audit-excluded) 항목, 즉 누락된 음이온(anion)이 인공적인 기공 부피(pore volume)를 만든 불완전 구조를 선택했기 때문이다. 따라서 복제(replicated) 에이전트는 견고한(robust) 결론과 공유 입력(shared inputs)에서 비롯된 공통 모드(common-mode) 오류를 함께 드러낸다.

arXiv:2607.14486v1physics.chem-ph공통 태그 regression, Active Learning

기계학습 힘장의 학습 및 미세조정에서 적은 레이블로 전체 데이터 정확도 달성

Full-data accuracy with fewer labels for training and fine-tuning machine-learning force fields

기계학습 힘장(MLFF)은 학습 분포 근처에서만 신뢰할 수 있으므로, 다양한 학습 세트를 효율적으로 구축하는 것은 처음부터 학습과 기초 모델 미세조정 워크플로 모두에서 주요 병목이 된다. 능동 학습(active learning)은 이러한 비용을 줄일 수 있지만, 표준 모델 위원회(model committee) 불확실성은 위원회 각 구성원마다 별도의 미세조정 실행이 필요하기 때문에 기초 MLFF에는 실용적이지 않다. 우리는 구성(configuration)별로 전방 패스(forward pass) 비용이 낮은 불확실성 추정기인 최종 층 투영 회귀(last-layer-projection regression, LLPR)를 기반으로 한 능동 학습 워크플로를 제시한다. 분자, 응축상(condensed-phase), 전해질 시스템 전반에 걸쳐 LLPR은 전자 구조(electronic-structure) 레이블의 극히 일부만으로 전체 데이터 정확도를 회복하는 컴팩트하고 고가치의 학습 세트를 식별한다. 기초 모델 미세조정에서 LLPR이 선택한 구성은 무작위 선택보다 훨씬 적은 레이블로 전체 풀 미세조정 상한에 도달한다. 반복적 전해질 미세조정에서 LLPR은 DFT 레이블링 이전에 비물리적 국소 배위(local coordination)를 감지하고, 절대적인 힘 오차 임계값을 제공하며, 학습 루프의 자동 종료를 가능하게 한다. 결과 모델은 기준(reference) 밀도와 이온 배위 구조를 재현하며, MLFF 학습 체계 전반에 걸친 확장 가능한 불확실성 정량화(uncertainty quantification) 전략을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.