Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection
원문 초록
Detecting the user's intent and finding the corresponding slots among the utterance's words are important tasks in natural language understanding. Their interconnected nature makes their joint modeling a standard part of training such models. Moreover, data scarceness and specialized vocabularies pose additional challenges. Recently, the advances in pre-trained language models, namely contextualized models such as ELMo and BERT have revolutionized the field by tapping the potential of training very large models with just a few steps of fine-tuning on a task-specific dataset. Here, we leverage such models, namely BERT and RoBERTa, and we design a novel architecture on top of them. Moreover, we propose an intent pooling attention mechanism, and we reinforce the slot filling task by fusing intent distributions, word features, and token representations. The experimental results on standard datasets show that our model outperforms both the current non-BERT state of the art as well as some stronger BERT-based baselines.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Invocable APIs derived from NL2SQL datasets for LLM Tool-Calling Evaluation
Middle-Layer Representation Alignment for Cross-Lingual Transfer in Fine-Tuned LLMs
ESF-Bench: 실전 기업 애플리케이션의 도전적인 슬롯 채우기(slot filling) 시나리오 벤치마킹
ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications
대규모 언어 모델(LLM)의 급속한 부상은 기업 전반에 걸쳐 혁신적인 도입을 이끌고 있다. 그러나 이러한 모델을 실제 환경에 배포하는 것은 복잡한 시스템 제약과 예상치 못한 사용자 행동으로 인해 고유한 과제를 제기한다. 이러한 애플리케이션 중 슬롯 채우기(slot filling)는 비구조화 입력을 구조화되고 실행 가능한 데이터로 변환하는 데 필수적이다. 본 연구에서는 8개의 고유 도메인에 걸쳐 810개의 다중 턴(multi-turn) 샘플과 6530개의 슬롯으로 구성된 도전적인 Enterprise Slot Filling 벤치마크인 ESF-Bench를 제안한다. 실제 기업 배포 과정에서 관찰된 57가지 가장 도전적인 슬롯 채우기 시나리오의 분류체계를 바탕으로 구축된 ESF-Bench는 현재 최첨단 LLM의 현저한 한계를 드러내며, GPT-OSS-120b low는 벤치마크 샘플의 20.7%에서만 슬롯을 성공적으로 추출한다. 이 분야의 지속적인 연구를 지원하기 위해 벤치마크 데이터셋, 분류체계, 그리고 동봉된 평가 코드를 GitHub에 공개한다.
An Interdisciplinary Review of Commonsense Reasoning and Intent Detection
Exploring the Vulnerability of the Content Moderation Guardrail in Large Language Models via Intent Manipulation
Interpretable and Robust Dialogue State Tracking via Natural Language Summarization with LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.