arXiv:1808.04244

Affect Estimation in 3D Space Using Multi-Task Active Learning for Regression

Dongrui Wu, Jian Huang

제출 2018-08-08

원문 초록

Acquisition of labeled training samples for affective computing is usually costly and time-consuming, as affects are intrinsically subjective, subtle and uncertain, and hence multiple human assessors are needed to evaluate each affective sample. Particularly, for affect estimation in the 3D space of valence, arousal and dominance, each assessor has to perform the evaluations in three dimensions, which makes the labeling problem even more challenging. Many sophisticated machine learning approaches have been proposed to reduce the data labeling requirement in various other domains, but so far few have considered affective computing. This paper proposes two multi-task active learning for regression approaches, which select the most beneficial samples to label, by considering the three affect primitives simultaneously. Experimental results on the VAM corpus demonstrated that our optimal sample selection approaches can result in better estimation performance than random selection and several traditional single-task active learning approaches. Thus, they can help alleviate the data labeling problem in affective computing, i.e., better estimation performance can be obtained from fewer labeling queries.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27883v1cs.LG공통 태그 regression, Active Learning

자율적 과학 발견에서의 거짓 과학 유도

False-science induction in autonomous scientific discovery

폐루프(closed-loop) 발견 시스템이 실험을 수행하고 의사결정을 업데이트하는 과정을 점점 더 자율화함에 따라, 기록 무결성(record integrity)은 실험 장비의 일부로 자리 잡고 있습니다. 본 논문에서는 정당한 물리적 대상과 측정값이 잘못 결합될 때 거짓 과학 유도(false-science induction)가 발생함을 보입니다. 이는 한계 데이터 분포(marginal data distribution)가 변하지 않은 채로 유지되는 반면, 신경 대리 모델(neural surrogate)이 실제 대상-결과 관계와 일치하지 않는 기록 기반 연관성을 충실하게 학습하도록 만듭니다. 녹색 형광 단백질(GFP) 적합도 및 재료 밴드갭(band-gap) 예측 루프 전반에서, 일관된 쌍별 오결합(coherent paired misbinding)은 실험 예산을 성능이 낮은 분지(basin) 쪽으로 체계적으로 전환시키는 반면, 동일한 규모의 무작위 치환은 무시할 수 있는 수준의 영향만을 미쳤습니다. 이러한 관찰은 테스트된 루프에서 예산 오배분을 제어하는 주요 변수가 단순 오류 빈도가 아닌 오류 일관성(error coherence)임을 밝혀냅니다. 결과적으로 도출된 결합 식별성 경계(binding identifiability boundary)는 모니터링 축 격리 및 피드백 충돌 분류(feedback-conflict triage)를 뒷받침하며, 이는 실행 전에 과도하게 집중된 제안을 차단하고 오염된 가설 축을 격리합니다.

arXiv:2607.14486v1physics.chem-ph공통 태그 regression, Active Learning

기계학습 힘장의 학습 및 미세조정에서 적은 레이블로 전체 데이터 정확도 달성

Full-data accuracy with fewer labels for training and fine-tuning machine-learning force fields

기계학습 힘장(MLFF)은 학습 분포 근처에서만 신뢰할 수 있으므로, 다양한 학습 세트를 효율적으로 구축하는 것은 처음부터 학습과 기초 모델 미세조정 워크플로 모두에서 주요 병목이 된다. 능동 학습(active learning)은 이러한 비용을 줄일 수 있지만, 표준 모델 위원회(model committee) 불확실성은 위원회 각 구성원마다 별도의 미세조정 실행이 필요하기 때문에 기초 MLFF에는 실용적이지 않다. 우리는 구성(configuration)별로 전방 패스(forward pass) 비용이 낮은 불확실성 추정기인 최종 층 투영 회귀(last-layer-projection regression, LLPR)를 기반으로 한 능동 학습 워크플로를 제시한다. 분자, 응축상(condensed-phase), 전해질 시스템 전반에 걸쳐 LLPR은 전자 구조(electronic-structure) 레이블의 극히 일부만으로 전체 데이터 정확도를 회복하는 컴팩트하고 고가치의 학습 세트를 식별한다. 기초 모델 미세조정에서 LLPR이 선택한 구성은 무작위 선택보다 훨씬 적은 레이블로 전체 풀 미세조정 상한에 도달한다. 반복적 전해질 미세조정에서 LLPR은 DFT 레이블링 이전에 비물리적 국소 배위(local coordination)를 감지하고, 절대적인 힘 오차 임계값을 제공하며, 학습 루프의 자동 종료를 가능하게 한다. 결과 모델은 기준(reference) 밀도와 이온 배위 구조를 재현하며, MLFF 학습 체계 전반에 걸친 확장 가능한 불확실성 정량화(uncertainty quantification) 전략을 제공한다.

arXiv:2607.09250v1stat.ML공통 태그 regression, Active Learning

고차원 M-추정에서의 영향력 진단: 정밀 점근 분석

Influence Diagnostics in High-dimensional M-estimation: Precise Asymptotics

통계 모델에 대한 특정 학습 데이터 포인트의 영향은 고전적으로 leave-one-out 영향력을 통해 측정되며, 이는 학습 세트에서 해당 포인트를 제거했을 때 모델 정확도에 미치는 효과를 정량화한다. Leave-one-out 영향력의 통계적 특성은 저차원 대표본 극한 $n\to \infty, d=O(1)$에서는 잘 이해되어 있지만, 고차원에서는 특정 샘플의 영향력이 다른 모든 학습 샘플과 비자명한 의존성을 형성하게 되어 더욱 복잡해진다. 가우시안 설계 하의 볼록 M-추정에서, 고차원 극한 $n\asymp d$에서 학습 세트 전체에 걸친 영향력의 분포가 특정 극한 측도로 수렴함을 보이며, 이를 정밀하게 특성화한다. 이러한 결과를 바탕으로, 영향력이 큰 샘플이 결정 경계(decision boundary) 근처에 위치하는 경향이 있음에 대한 근거를 제시하며, 이를 통해 능동 학습(active learning)의 표준적인 데이터 선택 휴리스틱과의 연결점을 확인한다.

arXiv:2607.08347v1stat.ML공통 태그 regression, Active Learning

예측 기반 능동적 테스팅

Prediction-Powered Active Testing

능동적 테스팅(Active testing)은 어떤 테스트 포인트에 레이블을 부여할지 적응적으로 선택함으로써 레이블 효율적인 위험(risk) 추정 방법을 제공한다. 그러나 기존 추정기들은 강력한 블랙박스 모델의 유익한 예측값을 활용하지 못하는데, 이러한 예측값은 레이블 비용이 높은 환경에서 점점 더 많이 이용 가능해지고 있다. 이를 해결하기 위해, 우리는 비편향 LURE 추정기(Farquhar et al., 2021)와 예측 기반 제어 변량(control variate)을 결합한 새로운 레이블 효율적 위험 추정 프레임워크인 예측 기반 능동적 테스팅(Prediction-Powered Active Testing, PPAT)을 제안한다. PPAT는 대리 예측값을 편향된 의사 레이블(pseudo-label)로 사용하는 대신, 손실(loss)을 잔차화(residualise)하는 데 활용함으로써 비편향성을 유지하면서 분산을 줄인다. 추정기 자체를 넘어, PPAT는 어떤 포인트를 획득해야 하는지도 변경한다: 우리는 추정기의 분산 감소에 맞춰 조정된 오라클 및 실용적인 대리 기반 획득 규칙(acquisition rule)을 도출한다. 나아가, PPAT에 대한 점근적 정규성(asymptotic normality)을 확립하여 점근적으로 유효한 신뢰 구간을 제공하며, 이를 통해 추정치 주변의 불확실성에 대한 원칙적인 추정을 가능하게 한다. 표 형식 회귀 및 이미지 분류(classification) 태스크 전반에 걸쳐, PPAT는 위험 추정에서 기존 방법들을 능가하며, 그 신뢰 구간은 훨씬 적은 레이블과 더 좁은 폭으로 목표 커버리지를 달성한다.

arXiv:2607.14817v2cs.LG공통 태그 Active Learning

인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서

Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning

현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.