더 나은 검색, 더 낮은 견고성: 멀티홉 RAG가 상류 ASR 오류를 어떻게 증폭하는가
Better Retrieval, Worse Robustness: How Multi-hop RAG Amplifies Upstream ASR Errors
한국어 초록
음성 기반 애플리케이션은 검색 모듈 이전에 음성 질의를 음성 인식(ASR)에 통과시키므로, ASR 오류는 고정된 상류 제약으로 파이프라인에 유입된다. 본 연구는 표준 검색-증강 생성(RAG)의 두 확장인 엔티티 그래프 링킹(entity-graph linking)과 반복적 재구성(iterative reformulation)이 이러한 오류를 흡수하는지 증폭하는지 실증적으로 검증한다. 신경망 TTS로 합성한 네 가지 영어 억양을 사용해, 깨끗한 텍스트 오라클 대비 세 가지 다중 홉(multi-hop) QA 벤치마크(HotpotQA, 2WikiMultiHopQA, MuSiQue)에서 네 가지 RAG 구성을 평가한다. 구조적으로 더 풍부한 구성은 ASR 입력에서도 일반적으로 더 높은 절대 F1을 유지하지만, 두 확장 모두 오류를 증폭한다. 깨끗한 텍스트에서 WER이 가장 높은 억양까지의 F1 격차는 세 벤치마크 모두에서 단순 밀집 검색(naive dense retrieval) 대비 두 확장의 조합에서 36–67% 더 크다. 지배적 실패 양상은 하나 이상의 질의 엔티티 손상이며, 네 가지 방법 모두 2WikiMultiHopQA에서 성능 저하 사례의 87–96%를 차지한다. 두 가지 경량 표면 형태(surface-form) 완화 기법은 격차의 대부분을 그대로 남기며, 이는 하류 검색 구조가 잔여 엔티티 오류를 증폭함을 시사한다. 코드와 데이터는 https://github.com/Continuum-AI-Corp/spoken-multihop-rag 에 공개한다.
원문 초록
Speech-based applications pass spoken queries through automatic speech recognition (ASR) before any retrieval module, so ASR errors enter the pipeline as a fixed upstream constraint. We empirically test whether two extensions to standard retrieval-augmented generation (RAG), entity-graph linking and iterative reformulation, absorb or amplify these errors. Using four English accents synthesized through neural TTS, we evaluate four RAG configurations on three multi-hop QA benchmarks (HotpotQA, 2WikiMultiHopQA and MuSiQue) against a clean-text oracle. Although the structurally richer configurations generally retain higher absolute F1 under ASR input, both extensions amplify the error: the F1 gap from clean text to the highest-WER accent is 36-67% larger under their combination than under naive dense retrieval, on all three benchmarks. The dominant failure mode is corruption of one or more query entities, accounting for 87-96% of degradation cases on 2WikiMultiHopQA across all four methods. Two lightweight surface-form mitigations leave most of the gap intact, indicating that downstream retrieval structure amplifies remaining entity errors. We release code and data at https://github.com/Continuum-AI-Corp/spoken-multihop-rag .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.22872v2제출 시각 미확인
- arXiv:2608.22872v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.