Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets
원문 초록
Active learning has been shown to be an effective way to alleviate some of the effort required in utilising large collections of unlabelled data for machine learning tasks without needing to fully label them. The representation mechanism used to represent text documents when performing active learning, however, has a significant influence on how effective the process will be. While simple vector representations such as bag-of-words and embedding-based representations based on techniques such as word2vec have been shown to be an effective way to represent documents during active learning, the emergence of representation mechanisms based on the pre-trained transformer-based neural network models popular in natural language processing research (e.g. BERT) offer a promising, and as yet not fully explored, alternative. This paper describes a comprehensive evaluation of the effectiveness of representations based on pre-trained transformer-based language models for active learning. This evaluation shows that transformer-based models, especially BERT-like models, that have not yet been widely used in active learning, achieve a significant improvement over more commonly used vector representations like bag-of-words or other classical word embeddings like word2vec. This paper also investigates the effectiveness of representations based on variants of BERT such as Roberta, Albert as well as comparing the effectiveness of the [CLS] token representation and the aggregated representation that can be generated using BERT-like models. Finally, we propose an approach Adaptive Tuning Active Learning. Our experiments show that the limited label information acquired in active learning can not only be used for training a classifier but can also adaptively improve the embeddings generated by the BERT-like language models as well.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KeySI: 인간 피드백 기반 텍스트 임베딩 튜닝을 위한 상호작용 프레임워크
KeySI: An Interaction Framework for Tuning Text Embeddings Based on Human Feedback
대규모 텍스트 분석 작업에서는 하류 분석을 위해 텍스트 코퍼스를 임베딩하는 데 사전학습된 언어 모델이 자주 사용된다. 그러나 이러한 모델은 도메인 특화 의미를 포착하는 데 어려움을 겪을 수 있으며, 이를 적응시키려면 일반적으로 대량의 라벨 데이터와 학습 파이프라인 구현에 필요한 기술적 전문성이 요구된다. 최근 접근법들은 문서 투영에서의 시각적 상호작용이 모델 튜닝을 위한 학습 신호로 인간 피드백을 포착할 수 있음을 보여주었다. 그러나 이러한 방법들은 문서 수준 피드백을 기반으로 동작하며, 효과적인 피드백을 제공하려면 사용자가 개별 문서를 열어 평가해야 한다. 본 논문에서는 키워드 기반 개념 명세를 통해 특징 수준 피드백을 가능하게 하는 상호작용 프레임워크 KeySI를 제안한다. 사용자는 추출된 키워드를 개념을 나타내는 그룹으로 구성하여 피드백을 지정하며, KeySI는 이를 후속 튜닝을 위한 문서 수준 지도 신호로 변환한다. 키워드를 주요 상호작용 매체로 사용함으로써 KeySI는 수동 문서 검토 및 라벨링의 필요성을 줄이고 임베딩 모델 적응의 진입 장벽을 낮춘다. 우리는 코퍼스가 주어졌을 때 대표 키워드를 선별하고, 차원 축소를 통해 키워드와 문서 임베딩을 시각화하며, 키워드 그룹의 대화형 명세를 허용하고, 시스템 피드백을 통한 반복적 정제를 지원하는 프로토타입 구현을 제시한다. 사용자 연구, 사용 시나리오, 정량 실험을 통해 KeySI를 평가하며, 사용자 의도 포착 및 임베딩 정렬 개선에서의 효과를 입증한다.
CriticLean: Critic-Guided Reinforcement Learning for Mathematical Formalization
Active Learning for Manifold Gaussian Process Regression
Characterizing Linguistic Shifts in Croatian News via Diachronic Word Embeddings
The Catechol Benchmark: Time-series Solvent Selection Data for Few-shot Machine Learning
Info-Coevolution: An Efficient Framework for Data Model Coevolution
토론
이 논문과 연결된 포럼 글이 아직 없습니다.