Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient
원문 초록
Recently, several studies have investigated active learning (AL) for natural language processing tasks to alleviate data dependency. However, for query selection, most of these studies mainly rely on uncertainty-based sampling, which generally does not exploit the structural information of the unlabeled data. This leads to a sampling bias in the batch active learning setting, which selects several samples at once. In this work, we demonstrate that the amount of labeled training data can be reduced using active learning when it incorporates both uncertainty and diversity in the sequence labeling task. We examined the effects of our sequence-based approach by selecting weighted diverse in the gradient embedding approach across multiple tasks, datasets, models, and consistently outperform classic uncertainty-based sampling and diversity-based sampling.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비용 효율적 공간 전사체학을 위한 능동적 스팟 선택 벤치마킹
Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics
공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.
자율 재료 발견에서 발산하는 전략과 수렴하는 결과
Divergent strategies and convergent outcomes in autonomous materials discovery
과학 에이전트(scientific agents)는 주로 과제 완료 여부나 알려진 결과 재현 여부로 평가되지만, 본 연구는 반복된 개방형(open-ended) 캠페인 간 변이를 조사한다. 동일한 모델-하니스(model-harness) 구성으로 각각 독립 초기화된 16개 세션에 12,499개 금속-유기 골격(metal-organic frameworks)의 고정(frozen) 데이터베이스, 메탄 저장(methane-storage) 목표, 고정(pinned) 프로토콜, 1주 예산이 주어졌다. 전략은 100~5,000개를 스크리닝한 구조 범위를 아우르는 네 가지 접근으로 갈라졌고, 여덟 세션은 2,253개의 가설(hypothetical) 구조를 생성했다. 그럼에도 에이전트들은 약 200 cm^3/cm^3 부근의 동일한 재료 프론티어(materials frontier)를 회복했으며, 데이터베이스 다공(porous) 영역에 대한 독립 계산은 최상위 9개 구조가 모두 그들의 보고에 포함됨을 확인했다. 절반의 에이전트에 강제 검증(enforced checks)을 적용하면 신규 실행(fresh-run) 재현이 8개 중 1개에서 8개 중 8개로 늘었으나 결론 타당성(conclusion validity)은 눈에 띄게 개선되지 않았다. 16개 중 15개 에이전트가 동일한 감사 제외(audit-excluded) 항목, 즉 누락된 음이온(anion)이 인공적인 기공 부피(pore volume)를 만든 불완전 구조를 선택했기 때문이다. 따라서 복제(replicated) 에이전트는 견고한(robust) 결론과 공유 입력(shared inputs)에서 비롯된 공통 모드(common-mode) 오류를 함께 드러낸다.
Determinantal point process sampling for bioacoustic active learning
NEPv를 통한 스펙트럼 DPP: 다양성 인식 데이터 선택을 위한 결정식 MAP의 확장 가능한 연속 완화
Spectral DPPs via NEPv: A Scalable Continuous Relaxation of Determinantal MAP for Diversity-Aware Data Selection
방대한 후보군에서 작고 다양하며 고품질의 부분집합을 선택하는 것은 현대 머신러닝에서 반복적으로 등장하는 기본 연산입니다. 여기에는 대규모 모델의 학습 및 미세조정을 위한 데이터 큐레이션과 코어셋 선택, 능동학습 배치 획득, 문맥 내 학습을 위한 프롬프트 및 예제 선택, 검색 다양화, 그리고 실험 설계가 포함됩니다. 결정식 점 과정(Determinantal Point Processes, \DPP s)은 이 작업을 위해 원칙에 기반하고 잘 보정된 다양성의 개념을 제공하지만, 크기가 $k$인 부분집합 $S$를 선택하여 $\logdet(L_S)$를 최대화하는 \emph{MAP} 목적함수는 NP-난해(NP-hard)하며, 표준적인 탐욕적 알고리즘과 샘플링 알고리즘은 기본 집합의 크기 $n$에 대해 초선형적으로 증가합니다. 이러한 비용은 다양성이 가장 중요한 데이터 중심 환경, 즉 $n$이 수백만에서 수십억 개의 후보 예제, 특징(feature), 또는 임베딩에 이르는 경우에 특히 과도합니다. 우리는 \DPP-MAP을 스티펠 다양체(Stiefel manifold) 위의 연속 최적화 문제로 재정의하고, 그 1계 최적성 조건이 이전에 연구되지 않은 형태의 \emph{고유벡터 의존성을 가진 비선형 고유값 문제}(\NEPv)를 형성함을 보입니다. 이 \NEPv\는 스펙트럼 간(spectral gap)에 기반한 국소 수축 보장을 갖는 자기 일치 장(\SCF) 반복(iteration)을 허용하며, 이는 다양성 목적함수가 고유벡터 의존 연산자를 구동하는 원칙에 기반한 반복적 솔버를 제공합니다. 그 결과인 알고리즘인 \OurMethod은 커널(kernel)과의 행렬-벡터 곱만을 필요로 하며, 적은 수의 반복 $t$에 대해 $O\! \big((ndk+nk^2)\,t\big)$ 시간에 실행되어 $n$에 대해 거의 선형적으로 확장되며 ML에서 일반적인 저계수 및 특징 맵 커널과 직접 통합됩니다. 본 논문은 완화, 솔버, 및 확장성 분석에 초점을 맞추며, 실제 데이터에 대한 전체 벤치마킹은 계획된 실증 연구로 미뤄집니다.
A Novel Ensemble Learning Approach to Unsupervised Record Linkage
CELEUS: E-Process 기반 인증 가능하고 효율적인 LLM 평가
CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes
토론
이 논문과 연결된 포럼 글이 아직 없습니다.