Dziri Voicebot: An End-to-End Low-Resource Speech-to-Speech Conversational System for Algerian Dialect
원문 초록
Automatic speech and language technologies are still heavily biased toward high-resource languages, limiting their applicability to dialectal and low-resource settings such as Algerian Dialect. This language presents additional challenges including lack of standardized orthography, frequent codeswitching with French, and scarcity of annotated speech resources. This paper addresses the problem of building a complete speech-to-speech conversational system for Algerian Dialect. We propose a modular pipeline integrating automatic speech recognition, natural language understanding, retrieval-augmented generation, and text-to-speech synthesis within a unified architecture. This work is the continuation of our previous work on Algerian dialectal conversational systems Bechiri and Lanasri [2026], extending it from text-based dialogue modeling to full speech-based interaction. We constructed dedicated datasets for ASR, NLU, and TTS in the telecom domain and fine-tune pretrained models for each component. The ASR system is built on Whisper-based adaptation, while the NLU module combines transformer-based embeddings with a task-oriented dialogue framework. A neural TTS system is trained on a newly collected dialectal corpus to enable spoken response generation. Experimental results show strong performance across all components, including low word error rate for ASR, high intent classification and entity recognition scores for NLU, and stable speech synthesis quality. The proposed system provides a reproducible baseline for end-to-end conversational modeling in Algerian Dialect.
요약
알제리 방언을 위한 End-to-End 음성-음성 대화 시스템 Dziri Voicebot은 자동 음성 인식(ASR), 자연어 이해(NLU), 검색-증강 생성(RAG), 음성 합성(TTS)을 하나의 모듈형 파이프라인으로 통합해 표준 표기 부재, 프랑스어 코드스위칭, 주석 음성 자원 부족 같은 저자원·방언 환경의 과제를 다룬다. 통신 도메인 전용 데이터셋으로 Whisper 기반 ASR, 트랜스포머 임베딩과 과제 지향 대화 NLU, 신경망 TTS를 파인튜닝한 결과 ASR 단어 오류율 13.74%, 의도 분류 98.4%, 개체 F1 93.9%, 안정적인 음성 합성 품질을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26003v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제
NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task
NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.
MyBuddy 휴머노이드 로봇을 위한 LLM 기반 대화형 AI 지식 어시스턴트
LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot
휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.
검색-증강 생성 대규모 언어 모델을 활용한 외부 지식 기반 역사 문서 복원
Leveraging External Knowledge for Historical Document Restoration via Retrieval-Augmented Large Language Models
역사 문서는 귀중한 지식 아카이브 역할을 하지만, 물리적 열화와 손상으로 인해 종종 판독이 어려운 상태에 놓인다. 마스크 언어 모델링(masked language modeling) 기반의 기존 복원 방법은 지역적 문맥을 효과적으로 활용하지만, 외부 역사 지식이 필요한 개체명(named entities) 복원에는 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 검색-증강 생성(RAG)을 갖춘 대규모 언어 모델(LLM)을 활용하는 역사 문서 복원을 위한 새로운 프레임워크를 제안한다. 사전학습(pre-training)된 LLM의 암묵적 지식과 명시적으로 검색된 외부 컨텍스트를 결합함으로써, 우리의 모델 ARI는 문맥 의존적 고유명사를 추론하는 문제를 효과적으로 완화한다. 한국 역사 문서에 대한 광범위한 실험 결과, 우리의 접근법이 베이스라인을 크게 능가하며 일반 문자와 개체명 복원 모두에서 상당한 성능 향상을 달성함을 보여준다. 또한 전문가 평가를 포함한 종합적인 평가를 통해 ARI가 도메인 전문가를 위한 실용적인 도구로 기능하며, 역사 기록 분석을 가속화할 것임을 확인하였다.
피부 면역 관련 부작용 식별을 위한 휴먼-인-더-루프 대규모 언어 모델 프레임워크
Human-in-the-Loop Large Language Model Framework for Identification of Cutaneous Immune-Related Adverse Events
본 연구는 임상 기록에서 피부 면역 관련 부작용(cirAEs)을 탐지하기 위한 검색-증강 생성(RAG), 다중 에이전트, 대규모 언어 모델(LLM) 기반, 휴먼-인-더-루프 프레임워크를 평가했다. 보조 없는 수동 검토와 비교했을 때, LLM 보조 워크플로는 정확도(F1 = 0.88 vs 0.77), Cohen's kappa로 측정한 평가자 간 일치도(kappa = 0.82 vs 0.50)를 향상시켰으며, 평균 검토 시간을 약 절반으로 단축했다. 이 프레임워크는 LLM을 여러 장기계에 걸친 면역 관련 독성을 식별하는 데 어떻게 적용할 수 있는지 시범적으로 보여주며, 더 넓게는 정확하고 확장 가능하며 투명한 부작용 데이터 추출을 가능하게 한다.
HG-RAG: 구조화된 지식 그래프를 위한 계층 유도 검색-증강 생성
HG-RAG: Hierarchy-Guided Retrieval-Augmented Generation for Structured Knowledge Graphs
검색-증augumentation 생성(RAG)은 대규모 언어 모델(LLM)의 출력 품질을 더 넓은 컨텍스트로 향상시키는 데 널리 성공적인 방법으로 입증되었다. 그러나 RAG 시스템은 일반적으로 평면(flat) 문서 저장소에서 컨텍스트를 검색하며, 쿼리가 구조화된 지식을 가로질러 계층적 또는 관계적 추론을 요구할 때 어려움을 겪는다. 본 연구는 계층적 지식 그래프에 대한 그래프 순회(graph-traversal)를 수행하여 언어 모델에 구조화된 컨텍스트를 제공하는 프레임워크인 HG-RAG(Hierarchy-Guided RAG)를 제안한다. 검색 파이프라인은 쿼리에서 명명된 개체(named entity) 앵커를 해석한 뒤, 필요에 따라 부모 노드를 따라 위로, 관계 이웃을 통해 옆으로, 자식 노드를 통해 아래로 컨텍스트를 확장한다. HG-RAG를 세 가지 세계 규모(18–800개 노드)와 네 가지 쿼리 유형(지역 사실, 계층적, 이웃, 다중 홉)에 걸쳐 밀집 검색 기준선과 비교 평가하였다. 결과에 따르면 HG-RAG는 계층적·관계적·다중 홉 추론 과제에서 평면 기준선을 지속적으로 능가하며, 환각을 줄이고 지역성 일관성(locality coherence)을 유지한다.
SmartRAG: 모바일 기기용 네이티브 그래프 기반 RAG
SmartRAG: Native Graph-Based RAG for Mobile Device
모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.