AVATAR: Robust Voice Search Engine Leveraging Autoregressive Document Retrieval and Contrastive Learning
원문 초록
Voice, as input, has progressively become popular on mobiles and seems to transcend almost entirely text input. Through voice, the voice search (VS) system can provide a more natural way to meet user's information needs. However, errors from the automatic speech recognition (ASR) system can be catastrophic to the VS system. Building on the recent advanced lightweight autoregressive retrieval model, which has the potential to be deployed on mobiles, leading to a more secure and personal VS assistant. This paper presents a novel study of VS leveraging autoregressive retrieval and tackles the crucial problems facing VS, viz. the performance drop caused by ASR noise, via data augmentations and contrastive learning, showing how explicit and implicit modeling the noise patterns can alleviate the problems. A series of experiments conducted on the Open-Domain Question Answering (ODSQA) confirm our approach's effectiveness and robustness in relation to some strong baseline systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
얽힘이 격차의 하한을 규정할 때: 오디오 이해 모델의 인구통계적 공정성 감사 및 보정
When Entanglement Lower-Bounds Disparity: Auditing and Repairing Demographic Fairness in Audio Understanding Models
음성 기술은 일부 목소리에 불리하게 작용한다. 흑인 화자에 대해서는 인식 오류가 거의 두 배 더 자주 발생하며, 제2언어 억양과 고령 화자에 대해서는 정확도가 떨어진다. 우리는 TRIAD를 제안한다. 이는 제어 가능한 텍스트 음성 변환을 통해 120개 텍스트, 24개의 렌더링된 인구통계적 음성 프로파일(성별, 연령대, 억양), 10가지 표현 스타일을 교차하는 감사 그리드로, 콘텐츠 및 affect와 지각된 인구통계 속성을 분리한다. 10개의 오픈 가중치(open-weights) 인코더에 대해 축 충실도(axis-fidelity) 함수적, 부분공간 간 주각(principal-angle) 누출, 그룹 조건부 격차를 정의한다. 한 명제는 평균 프로브(probe) 격차가 우리가 측정하는 동일한 집계 음성-의미 누출 $\Lambda$와 함께 증가함을 증명하고, 한 따름 정리는 최대 누출이 활성 영역 내 최악의 경우 격차를 강제함을 보인다. 측정된 평균제곱 프로브 격차는 $\Lambda$를 추적한다(Pearson r = 0.93), 블랙박스 프로토콜은 두 개의 폐쇄형(closed-source) 모델에서 동일한 특성을 드러낸다. ORCA는 축별 대조(contrastive) 헤드, 직交성(orthogonality) 페널티, 그룹 균형 샘플링을 결합한 어댑터로, 누출을 72% 줄이고 격차를 대략 절반으로 줄인다.
EidosDoc: 비용 효율적인 반구조화 문서 QA를 위한 암시적 구조 인코딩
EidosDoc: Implicit Structure Encoding for Cost-Effective Semi-Structured Document QA
반구조화 문서는 과학 보고서, 재무제표, 기술 매뉴얼 등에서 흔히 등장한다. 이러한 문서에 대한 질의응답(QA)은 텍스트, 표, 차트, 복잡한 계층적 레이아웃을 동시에 이해해야 한다. 기존 방법은 구조 파싱과 검색을 위해 대규모 언어 모델(LLM)을 반복 호출하여 높은 비용과 큰 지연을 초래하거나, 문서를 평탄화하여 레이아웃과 계층 정보를 잃고 답변 정확도를 희생한다. 이를 해결하기 위해 최소한의 계산 비용으로 최고 수준의 정확도를 달성하는 새로운 시스템 EidosDoc을 제안한다. 우리 접근법은 세 가지 핵심 혁신을 도입한다. (1) 대조 학습(contrastive learning)과 구조 일관성 손실(structure consistency loss)으로 학습되는 암시적 구조 인코더(Implicit Structure Encoder). 이 모듈은 계층적 관계, 공간적 위치, 텍스트 내용을 밀집 벡터 공간에 공동 임베딩하여, 수동으로 정의하고 오류가 발생하기 쉬운 구조 없이 문서 구조를 전체적으로 포착한다. (2) BM25, 레이아웃 핑거프린트, 경량 cross-encoder를 활용해 LLM을 전혀 호출하지 않고 고정밀도 검색을 수행하는 하이브리드 검색 파이프라인으로, 비용과 지연을 크게 줄인다. (3) 공간적으로 인접하고 구조적으로 관련된 증거를 적응적으로 검색하여 고정 경로 검색 방법에서 흔한 증거 누락을 극복하는 동적 증거 확장(Dynamic Evidence Expansion) 메커니즘. 네 개의 벤치마크에서 EidosDoc을 평가했으며, 종합 평가 결과 EidosDoc은 네 벤치마크 모두에서 새로운 최고 수준의 정확도를 달성한다. 특히 이전 최고 수준 방법 대비 비용은 50배 감소하고 지연은 4배 낮다. 이 결과는 EidosDoc이 정확도, 비용, 속도 사이의 새로운 최적 절충을 확립하며, 정확한 반구조화 문서 분석을 위한 실용적이고 확장 가능한 경로를 제공함을 보여준다.
MyBuddy 휴머노이드 로봇을 위한 LLM 기반 대화형 AI 지식 어시스턴트
LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot
휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.
교훈으로부터의 진화: 연산별 표 질의응답을 위한 스킬 증강 표 그래프 추론
Evolving from Lessons: Skill-Augmented Table Graph Reasoning for Operation-wise Table Question Answering
표 질의응답(TableQA)은 표를 추론하여 사용자 질의에 답하는 것을 목표로 한다. 기존 연구는 모든 질문을 동일하게 취급하고 전체 정확도만으로 평가하여, LLM이 단순 조회에는 뛰어나지만 집계(aggregation) 및 산술(arithmetic)과 같은 복잡한 연산에는 어려움을 겪는다는 중요한 현실을 가린다. 이러한 격차를 드러내기 위해, 세분화된 질문 분류체계를 갖춘 새로운 연산별 표 질의응답(Operation-wise TableQA) 과제를 도입하고, 평가를 위해 WikiTQ-ow와 TabFact-ow라는 두 데이터셋을 공개한다. 모델링 병목 측면에서, 기존 방법은 표를 선형화된 텍스트로 평탄화하여 고유 구조를 훼손하고 ``lost-in-the-middle'' 문제를 유발하며, 이는 복잡한 행 간 추론의 주요 장벽이 된다. 또한 이들은 일반적으로 처음부터 추론하여, 유사한 연산 간에 공유되는 재사용 가능한 패턴을 간과한다. 이러한 한계를 해결하기 위해, 자기 진화(self-evolving) 구조화 추론을 위한 스킬 증강 표 그래프 추론(Skill-augmented Table Graph Reasoning, SkillTGR) 프레임워크를 제안한다. 구체적으로 SkillTGR는 명시적인 행-열-셀 구조를 갖춘 속성 그래프(attributed graph)로 표를 표현하며, LLM이 그래프 순회(graph traversal) 추론을 위해 증거 서브그래프(evidence subgraph)를 검색하기 위해 동적 체인을 계획하고 실행한다. 이를 바탕으로 SkillTGR는 인지적 휴리스틱(cognitive heuristics) 하에서 추론 궤적(reason trajectories)을 추상적 스킬로 증류하는 계층적 SkillBank를 구축한 뒤, 성공 및 실패 스킬을 모두 하이브리드 검색하여 대조적 증강 표 그래프 추론(contrastive augmented table graph reasoning)을 수행함으로써 지속적인 자기 진화를 가능하게 한다. 광범위한 실험 결과 SkillTGR는 전체적으로 평균 5.91%, 연산별로 6.03%의 성능 향상을 달성했으며, 토큰 소비를 19.76%, 추론 지연 시간을 27.64% 감소시킨다. 코드와 데이터는 논문 게재 후 공개될 예정이다.
Transformer Based Punctuation Restoration for Turkish
Explainability of Speech Recognition Transformers via Gradient-based Attention Visualization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.