arXiv:2103.10325

Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents

Ashish Shenoy, Sravan Bodapati, Katrin Kirchhoff

제출 2021-03-18

원문 초록

Goal-oriented conversational interfaces are designed to accomplish specific tasks and typically have interactions that tend to span multiple turns adhering to a pre-defined structure and a goal. However, conventional neural language models (NLM) in Automatic Speech Recognition (ASR) systems are mostly trained sentence-wise with limited context. In this paper, we explore different ways to incorporate context into a LSTM based NLM in order to model long range dependencies and improve speech recognition. Specifically, we use context carry over across multiple turns and use lexical contextual cues such as system dialog act from Natural Language Understanding (NLU) models and the user provided structure of the chatbot. We also propose a new architecture that utilizes context embeddings derived from BERT on sample utterances provided during inference time. Our experiments show a word error rate (WER) relative reduction of 7% over non-contextual utterance-level NLM rescorers on goal-oriented audio datasets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24742v1cs.RO공통 태그 Automatic Speech Recognition, Natural Language Understanding

MyBuddy 휴머노이드 로봇을 위한 LLM 기반 대화형 AI 지식 어시스턴트

LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot

휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.

arXiv:2607.14100v1cs.CL공통 태그 Sentence, Natural Language Understanding

아랍어를 위한 양자 조합 자연어 처리: 회로 토폴로지의 문법, 형태론, 단어 의미

Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology

우리는 pregroup grammar 기반 양자 조합 자연어 처리(quantum compositional natural language processing, QNLP)를 아랍어에 최초로 적용한다. 아랍어는 형태론적으로 풍부하고 자유 어순(free-word-order) 언어로, 그 구조적 복잡성이 양자 회로에서의 의미 조합 이론에 대한 독특하게 까다로운 시험대를 제공한다. 우리 시스템은 아랍어 문장을 문법적 구조를 반영하는 토폴로지의 양자 회로로 변환한다. 주어, 동사, 목적어는 양자 게이트가 되며, 이들 사이의 타입 의존성(pregroup grammar)이 해당 게이트들이 어떻게 연결되는지를 결정한다. 우리는 어순, 형태론적 시제, 동사 의미 모호성 해소를 아우르는 세 가지 통제 실험을 수행하고, AraVec(아랍어 단어 임베딩) 및 AraBERT(사전학습된 아랍어 트랜스포머)를 포함한 고전적 베이스라인과 양자 회로 방법을 비교한다.

arXiv:2607.05052v1cs.CL공통 태그 Sentence, Natural Language Understanding

독립 레이블을 넘어서: 인간 가치 탐지를 위한 슈바르츠 기하학적 디코딩

Beyond Independent Labels: Schwartz-Geometry Decoding for Human Value Detection

인간 가치 탐지는 일반적으로 19개의 정제된 슈바르츠 가치에 대한 문장 수준의 다중 레이블 분류(multi-label classification)로 공식화되며, 각 레이블은 독립적으로 예측된다. 그러나 슈바르츠 이론은 이 가치들을 원형의 동기적 연속체(circular motivational continuum)로 설명하며, 인접한 가치는 서로 양립 가능하고 대립하는 가치는 긴장 관계에 있다. 우리는 이 구조를 명시적인 출력 공간 기하학(output-space geometry)으로 구체화하여 하드 제약(hard constraint)이 아닌 소프트 바이어스로 활용할 수 있는지를 탐구한다. DeBERTa-v3-base 분류기를 대상으로, 이를 주입하는 두 가지 방법을 비교한다: 학습 시 기하학 인식 목적 함수(geometry-aware objectives)와 전체 레이블 집합을 공동으로 점수화하는 사후(post-hoc) 슈바르츠 인식 에너지 디코더(Schwartz-aware energy decoder). 5개의 시드에 걸쳐, 학습 시 기하학은 제한적인 성능 향상만을 보이며—진정한 연속체에 대해서도 무작위 순서 대비 더 크지 않은 수준이었다—반면 디코더는 우리가 새롭게 제안하는 이론 인식 일관성 지표에서 레이블 집합을 연속체에 더 일관되게 만들며, 선택 규칙에 의해 Macro-F1 및 Micro-F1은 유지된다. 이 성능 향상은 진정한 슈바르츠 순서에 특정적이며, 동일한 디코더를 통한 무작위 순열이나 경험적 공동 출현 그래프에서는 나타나지 않는다. 제한된 Qwen2.5-72B-Instruct 진단 실험은 추론 시 연속체를 제공하면 동작이 변하지만 지도 학습 기반 구조적 예측에는 미치지 못함을 보여준다. 따라서 이론 인식 디코딩은 가치 탐지를 해당 레이블 공간에 충실하게 만드는 경량의 제어 가능한 방법을 제공한다.

arXiv:2606.26100v1cs.CL공통 태그 Sentence, Natural Language Understanding

HierBias: 문맥 조건 계층적 미디어 바이어스 탐지와 다중 과제 유형 분류

HierBias: Context-Conditioned Hierarchical Media Bias Detection with Multi-Task Type Classification

미디어 바이어스 탐지는 공정하고 균형 잡힌 정보 전달을 보장하기 위한 중요한 과제이지만, 기존의 문장 수준 접근법은 각 문장을 독립적으로 분류하여 인간 주석자가 자연스럽게 활용하는 문장 간 문맥 신호를 무시한다. 우리는 바이어스 예측에서 문서 문맥을 형식적으로 모델링하는 계층적 문맥 조건 미디어 바이어스 탐지기 \textbf{HierBias}를 제안한다. 우리는 \emph{context-conditioned bias probability}를 도입하고, 문장 간 상호정보량이 0이 아닐 때 문서 문맥을 활용하면 문장 수준 분류의 베이즈 오류가 엄격하게 감소함을 이론적으로 증명한다. 다중 과제 일반화 한계는 추가로, 이진 바이어스 탐지와 세분화된 바이어스 유형 분류를 공동 학습하면 소규모 주석 코퍼스에서 표본 효율이 향상됨을 입증한다. 아키텍처적으로 HierBias는 문장 수준 RoBERTa 인코더와 문장 간 트랜스포머 집약기, 그리고 이진 탐지와 4클래스 유형 분류를 위한 이중 출력 헤드를 결합한다. BABE와 BASIL에서 평가한 결과, HierBias는 F1 0.853과 MCC 0.723을 달성하여, 최첨단 바이어스 탐지기 대비 F1 $+2.6\%$, MCC $+4.3\%$를 초과한다(McNemar 검정, $p < 0.05$). Ablation 실험은 각 이론적 구성 요소가 독립적이고 일관되게 기여함을 확인한다.

arXiv:2606.27206v1cs.CL공통 태그 Sentence, Natural Language Understanding

구문적 믿음 갱신이 정원길 처리 난이도의 동인

Syntactic Belief Update as the Driver of Garden Path Processing Difficulty

정원길 문장은 인간에게 처리 난이도를 제기한다. 문장 접두 문맥은 청자를 한 가지 해석으로 이끌다가, 청자가 초기 해석이 틀렸음을 드러내는 핵심 단어를 듣게 될 때까지 그렇게 된다. 어휘적 놀람도(surprisal)는 통상 문장 처리 난이도를 꽤 잘 예측하는 척도이지만, 정원길 문장에 대해서는 좋은 예측을 제공하지 못한다. 우리는 구문 트리에 대한 확률 분포(구문적 믿음)를 능동적으로 예측하고, 각 새 단어 이후에 그 분포를 갱신하는 대안을 제안한다. 처리기가 정원길로 이끌리면 구문적 믿음은 틀리게 되며, 핵심 단어에서 큰 갱신이 필요해진다. 갱신의 크기는 일반화된 Rényi divergence로 측정된다. 중요한 점은, 이 지표가 어휘 항목에 의존하지만 어휘 항목의 확률과는 완전히 독립적이라는 것이다. 이 구문적 믿음 갱신(Syntactic Belief Update)은 정원길 문장에 대한 인간의 읽기 시간 데이터에 더 잘 맞는다. 이는 심리언어학에서 놀람도에 대한 순수하게 비어휘적 대안을 탐구하는 새로운 연구 방향을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.