Prediction stability as a criterion in active learning
원문 초록
Recent breakthroughs made by deep learning rely heavily on large number of annotated samples. To overcome this shortcoming, active learning is a possible solution. Beside the previous active learning algorithms that only adopted information after training, we propose a new class of method based on the information during training, named sequential-based method. An specific criterion of active learning called prediction stability is proposed to prove the feasibility of sequential-based methods. Experiments are made on CIFAR-10 and CIFAR-100, and the results indicates that prediction stability is effective and works well on fewer-labeled datasets. Prediction stability reaches the accuracy of traditional acquisition functions like entropy on CIFAR-10, and notably outperforms them on CIFAR-100.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점
WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation
능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
JevForest: 예산 제약 특징 획득을 위한 경로 투표
JevForest: Path Voting for Budgeted Feature Acquisition
제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.
3채널 점수 충돌에서의 통제된 정보 획득과 판단 보류
Controlled Acquisition and Abstention in Three-Channel Score Conflicts
오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.