Active Learning for New Domains in Natural Language Understanding
원문 초록
We explore active learning (AL) for improving the accuracy of new domains in a natural language understanding (NLU) system. We propose an algorithm called Majority-CRF that uses an ensemble of classification models to guide the selection of relevant utterances, as well as a sequence labeling model to help prioritize informative examples. Experiments with three domains show that Majority-CRF achieves 6.6%-9% relative error rate reduction compared to random sampling with the same annotation budget, and statistically significant improvements compared to other AL approaches. Additionally, case studies with human-in-the-loop AL on six new domains show 4.6%-9% improvement on an existing NLU system.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Wide Contextual Residual Network with Active Learning for Remote Sensing Image Classification
Probabilistic Word Association for Dialogue Act Classification with Recurrent Neural Networks
UD_Czech-PDTC 소개: Universal Dependencies의 대규모 장르 풍부 트리뱅크
Meet UD_Czech-PDTC: A Large and Genre-Rich Treebank in Universal Dependencies
체코어는 2015년 첫 릴리스부터 Universal Dependencies의 일부였다. 또한 프라하 의존 트리뱅크가 대부분의 다른 UD 트리뱅크보다 한 자릿수 이상 큰 규모로, 가장 잘 대표되는 언어 중 하나였다. 최근에는 프라하 계열의 다른 데이터셋 세 개가 추가되고 주석이 전면적으로 재검토되어 "프라하 의존 트리뱅크 통합판"(PDT-C)이 구성되었다. 원래의 PDT와 비교하여 PDT-C는 두 배 이상 크며, 장르와 도메인 면에서도 훨씬 다양하다. 본 논문은 이 새로운 자원을 Universal Dependencies로 변환한 과정을 기술한다. 두 주석 체계는 언뜻 비슷해 보이지만, 의존 구조의 위상과 품사 및 관계 유형 목록의 세분화 정도에는 수많은 사소한 차이가 있다. 이러한 차이 중 일부를 예시로 보이고, 서로 다른 동기를 논의하며, 변환 중 차이를 극복하는 방법을 다룬다. PDT는 덜 "보편적"이고 하나의 언어에 더 밀접하게 묶여 있지만, 다층 주석이 풍부하여 기본 UD 트리에 필요한 모든 정보와 그 이상을 제공한다고 주장한다.
CELEUS: E-Process 기반 인증 가능하고 효율적인 LLM 평가
CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes
평가 점수가 LLM의 실제 성능을 포착한다고 신뢰할 수 있는가? 인증 가능한 평가는 LLM의 참 성능을 높은 확률(예: 95%)로 포함하는 신뢰구간(CI)을 제공함으로써 이 질문에 답한다. 특히 기존 방법은 고정된 풀에서 평가 샘플을 순차적으로 선택하며, CI 폭이 목표 정밀도에 도달하는 등 특정 조건이 충족될 때까지 CI를 계속 갱신한다. 그러나 기존 방법은 일반적으로 언제든 유효(anytime-valid)하지 않다. CI를 반복적으로 갱신하고 중단 시점을 결정하는 데 사용하면 주장된 포괄 확률(예: 95%)이 성립하지 않을 수 있어, 이론적 엄밀성과 실제 사이에 간극이 남는다. 본 논문은 E-프로세스를 활용하여 언제든 유효한 CI를 구성하는, 효율적인 LLM 평가를 위한 인증 가능 프레임워크 CELEUS를 제안함으로써 이 간극을 메운다. 구체적으로 두 가지 요소를 결합한 새로운 신호를 제안한다. (i) 평가에 정보량이 많은 샘플을 선택하는 불확실성 유도 샘플링과, (ii) 평가되지 않은 샘플에 대한 대리 모델 지원 근사이다. 이 새로운 신호가 과거를 조건으로 할 때 평가 점수에 대해 불편성을 유지함을 증명하며, 이는 통계적으로 근거 있는 언제든 유효한 e-프로세스 CI를 가능하게 한다. 더 중요한 것은, 두 요소가 추정 분산을 줄이고 더 적은 수의 평가 샘플로 목표 정밀도에 도달하도록 돕는다는 점이다. 또한 CELEUS가 얻은 CI가 로그 인자를 제외하면 근모수적 속도로 수축할 수 있음을 증명하고, 경험적 불확실성 유도 방식의 동기가 되는 오라클 분산 최적 샘플링 규칙을 분석한다. 실험 결과 CELEUS는 언제든 유효한 포괄 확률을 유지하면서 기준 방법보다 54-62% 적은 평가 샘플로 목표 정밀도에 도달한다. 코드는 https://github.com/zyecs/celeus 에서 확인할 수 있다.
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
현재 인식론적 불확실성의 평가는 분포 외 탐지, 능동 학습, 선택적 예측과 같은 과제에 의존한다. 그러나 상호 정보량이나 예측의 분산과 같은 일반적인 인식론적 불확실성 점수는 후회(regret), 즉 예측기가 베이즈 최적 예측기에 비해 갖는 초과 오류를 추정한다. 본 논문은 인식론적 거부 옵션 프레임워크를 바탕으로, 후회를 식별하는 능력으로 인식론적 불확실성을 평가하고 이 평가를 다른 과제들과 비교한다. 반복된 사람 레이블이 있는 데이터셋에서 표준 방법들을 벤치마킹한 결과, 과제마다 방법의 순위가 다르게 나타나며, 한 기준에서는 최상위이고 다른 기준에서는 최하위인 방법 간의 쌍별 순위 역전도 포함된다. 이러한 불일치는 각 과제가 서로 다른 점수를 요구하는 최적 상태에서 이미 나타난다. 선택적 예측을 커버리지, 기대 위험, 후회에 대한 제약 최적화로 정식화하여, 최적 점수가 실제 우연적 불확실성과 인식론적 불확실성의 볼록 결합임을 증명하며, 따라서 선택적 예측과 후회 과제는 하나의 과제 족의 두 끝점이 된다. 이에 분포 외 탐지, 능동 학습, 후회 과제는 어떤 방법이 인식론적 불확실성의 좋은 추정기인지에 대해 이론적으로나 경험적으로 서로 일치하지 않으며, 선택적 예측은 실제 위험과 후회가 입력의 순서를 다르게 매기는 지점에서 후회 과제와 갈라진다. 따라서 연구자들은 모델의 무지에 대한 일반적 개념에 의존하는 대신, 인식론적 불확실성 추정이 지원하고자 하는 하위 의사결정을 명시해야 한다.
Action-BED: 단일 intractable 목적을 갖는 태스크 기반 베이지안 실험 설계(BED)
Action-BED: Task-Driven Bayesian Experimental Design with Singly Intractable Objectives
베이지안 실험 설계(BED)는 전통적으로 사전(prior)에서 사후(posterior)로의 기대 불확실성 감소를 최대화하는 것에 기반해 왔다. 이 접근법의 주요 한계는 이중 intractable 목적함수로 이어져 최적화가 어렵다는 점이며, 관심 있는 특정 다운스트림 태스크에 맞게 맞춤화하는 것도 역시 어렵다. 1원칙 의사결정 이론에 따라, 우리는 BED를 다운스트림 행동(downstream actions)에 대한 기대 미래 손실(expected future loss, EFL)로 대안적으로 표현할 수 있음을 보인다. 이는 단순하고 자연스럽게 태스크 기반 프레임워크를 제공한다. 핵심적으로, 우리는 이러한 모든 EFL이 단일 intractable 목적함수로 재배치될 수 있으며, 확률적 그래디언트(stochastic gradients)를 사용해 설계 정책(design policy)과 다운스트림 행동 정책(downstream action policy) 모두에 대해 공동 최적화될 수 있음을 보인다. 우리는 이 접근법을 ACTION-BED라고 부른다. 이 공식화는 명시적인 사후(posterior) 또는 주변 가능도(marginal likelihood) 추정의 필요성을 추가로 우회하며, 자연스럽게 암시적(implicit) 방식으로, 모델 파라미터와 데이터에 대한 결합 모델(joint model)에서 샘플링하고 다운스트림 손실 함수를 평가하는 능력만 필요로 한다. 따라서 이는 기존 방법보다 더 효과적이고, 효율적이며, 간단하게 설계 정책을 학습할 수 있게 하면서, 서로 다른 다운스트림 태스크와 손실에 대한 쉬운 맞춤화를 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.