arXiv:1906.00579

Listening while Speaking and Visualizing: Improving ASR through Multimodal Chain

Johanes Effendi, Andros Tjandra, Sakriani Sakti, Satoshi Nakamura

제출 2019-06-03

원문 초록

Previously, a machine speech chain, which is based on sequence-to-sequence deep learning, was proposed to mimic speech perception and production behavior. Such chains separately processed listening and speaking by automatic speech recognition (ASR) and text-to-speech synthesis (TTS) and simultaneously enabled them to teach each other in semi-supervised learning when they received unpaired data. Unfortunately, this speech chain study is limited to speech and textual modalities. In fact, natural communication is actually multimodal and involves both auditory and visual sensory systems. Although the said speech chain reduces the requirement of having a full amount of paired data, in this case we still need a large amount of unpaired data. In this research, we take a further step and construct a multimodal chain and design a closely knit chain architecture that combines ASR, TTS, image captioning, and image production models into a single framework. The framework allows the training of each component without requiring a large number of parallel multimodal data. Our experimental results also show that an ASR can be further trained without speech and text data and cross-modal data augmentation remains possible through our proposed chain, which improves the ASR performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13807v1cs.CL공통 태그 Data Augmentation, Automatic Speech Recognition (ASR)

오류율만으로는 충분하지 않다: 저자원 음성 인식에서 데이터 증강의 비용

Error Rate is Not Enough: Costs of Augmentation in Low-Resource ASR

데이터 증강(data augmentation)은 저자원 자동 음성 인식(ASR)의 표준적인 관행이지만, 그 이점은 거의 항상 종합 오류율로만 보고되어 특정 방법이 왜, 그리고 언제 도움이 되는지는 불분명한 상태로 남아 있습니다. 본 연구에서는 4개의 저자원 언어와 5가지 데이터 규모의 영어를 대상으로 기존 오디오를 수정하는 두 가지 증강 기법(속도 섭동(speed perturbation) 및 SpecAugment)과 텍스트 전사본을 수정한 후 오디오를 합성하는 두 가지 기법을 교차 적용했습니다. 음소 수준에서 오류를 분석한 결과, 이들 방법이 상호보완적인 이유로 도움이 된다는 점을 발견했습니다. SpecAugment는 가장 안정적인 종합 성능 향상을 보였으나 성조 및 구개음화 오류를 증가시켰고, 텍스트 기반 방법은 자음 삽입 오류를 유발했습니다. 결합 시 각 방법은 상대방이 유발한 오류를 줄여줍니다. 이러한 상호보완성은 예측 가능합니다. 성조와 구개음화는 각각 단일 음향 속성으로 신호화되며 학습 시 가장 낮은 빈도로 발생(가장 낮은 학습 노출도)하는데, 단어 빈도를 평탄화(flatten)하는 텍스트 기반 방법은 이들의 빈도를 37~38% 높여 종합 오류를 더욱 개선하는 동시에 해당 오류를 되돌립니다. 방법들을 결합하여 얻은 성능 향상은 개별 개선점들의 합을 초과하지만, 이러한 초부가성(superadditivity)은 100시간 규모에서 사라져 상호보완성이 저자원 영역에 국한됩니다. 특정 오류 유형이 중요한 경우, 학습 전 측정이 가능한 학습 노출도와 음향 속성에 따라 데이터 증강 기법을 선택할 것을 권장합니다.

arXiv:2608.10706v3cs.CV공통 태그 Image Captioning, Image Retrieval

MMArt: 시각 예술 이해를 위한 다중 관점 멀티모달 데이터셋

MMArt: A Multi-Perspective Multimodal Dataset for Visual Art Understanding

최근의 비전-언어 모델(vision-language model)은 인상적인 범용 시각적 이해 능력을 보여주지만, 예술 해석에 있어서는 여전히 피상적인 수준에 머물러 있다. 이러한 모델들은 표면적인 내용은 설명하지만 형식적 분석, 근거 있는 역사적 해석, 또는 정서적 특성화에는 어려움을 겪는다. 우리는 이것이 모델의 한계일 뿐만 아니라 데이터셋의 한계이기도 하다고 주장한다. 기존의 예술 데이터셋은 단일 관점 자원으로, 동일한 작품에 대해 서사적(narrative), 형식적(formal), 정서적(emotional), 역사적(historical) 관점을 동시에 제공하는 데이터셋은 존재하지 않는다. 우리는 74,234점의 WikiArt 회화로 구성된 대규모 데이터셋인 MMArt를 소개한다. 각 작품에는 독립적으로 주석이 달린 네 가지 관점과 이를 통합한 캡션이 함께 제공되며, 이는 특화된 비전-언어 모델 또는 사람에 의한 주석(annotation)을 통해 생성되고 상호 보완적인 품질 평가를 통해 검증되었다. 두 가지 상보성(complementarity) 분석을 통해 각 관점이 실제로 서로 다른 정보를 담고 있음을 입증하였다. 생성적(generative) 분석 결과, 형식적 분석 설명이 구성적 스타일을 가장 잘 보존하며, 역사적 설명은 재구성된 이미지에서 강한 정서적 신호를 담고 있는 것으로 나타났다. 판별적(discriminative) 검색 분석은 과제 간 비대칭성을 드러낸다. 서사적 설명은 검색 성능을 견인하는 반면(R@1 = 44.0%), 재구성에서는 가장 강력했던 형식적 설명은 검색 규모에서는 거의 판별력을 갖지 못한다(R@1 = 7.8%). Leave-one-out 분석은 나아가 역사적 설명이 두 과제 모두에서 가장 대체하기 어려운 관점임을 확인시켜 준다. 두 분석을 종합하면, 단일 관점만으로는 모든 과제에 충분하지 않음이 입증되며, 이는 MMArt의 다중 관점(multi-perspective) 설계를 직접적으로 뒷받침한다. 데이터셋, 코드, 추가 정보는 https://shuaiwang97.github.io/MMArt/ 에서 확인할 수 있다.

arXiv:2607.08208v2cs.CL공통 태그 Data Augmentation, Automatic Speech Recognition

다국어 두 화자 대화 음성을 위한 화자 분리 기반 Qwen-ASR 적응

Diarization-Guided Qwen-ASR Adaptation for Multilingual Two-Speaker Conversational Speech

본 논문은 다국어 두 화자 대화 음성을 대상으로 하는 MLC-SLM 2026 챌린지 Task 1을 위해 자체 설계한 시스템을 기술한다. 이 시스템은 모듈형 화자 분리(speaker diarization) 프론트엔드와 챌린지에 맞게 적응된 Qwen3-ASR-1.7B 인식기를 결합한다. 화자 분리 프론트엔드는 음성 활동 감지(voice activity detection), 서브세그먼트 생성, CAMPPlus 화자 임베딩 추출, 두 화자 스펙트럴 클러스터링(spectral clustering), RTTM 기반 오디오 분할을 수행한다. 이렇게 생성된 화자 귀속 세그먼트는 언어 또는 지역별로 그룹화되어 적응된 ASR 모델로 디코딩된다. ASR 적응을 위해 먼저 공식 학습 데이터로 지도 완전 미세조정(supervised full fine-tuning)을 수행한 뒤, 3단계 파이프라인 TTS 기반 합성 음성 증강 프레임워크로 생성한 합성 음성으로 LoRA 미세조정을 적용하고, 마지막으로 WER/CER 기반 보상과 환각(hallucination), 반복, 길이 편차에 대한 패널티를 사용하는 GRPO 강화학습으로 모델을 정제한다. 공식 개발 세트에서 전체 시스템은 평균 tcpMER 23.70을 달성하여, 공개된 Qwen-ASR-1.7B 대비 오류율을 절대값 6.83포인트 감소시켰다. 최종 평가 세트에서는 평균 tcpMER 17.97을 달성하였다. 에이블레이션 결과에 따르면 지도 미세조정이 가장 큰 성능 향상을 제공하며, 합성 음성 LoRA 적응과 강화학습이 추가적으로 견고성을 개선하는 것으로 나타났다.

arXiv:2607.06097v1cs.CV공통 태그 Data Augmentation, Image Captioning

PVCap: PseudoCap과 VoxelCapNet을 통한 정확한 3D 밀집 캡셔닝

PVCap: Towards Accurate 3D Dense Captioning via PseudoCap and VoxelCapNet

3D 밀집 캡셔닝(3D dense captioning)은 새롭게 부상하는 비전-언어(vision-language) 태스크로, 3D 장면 내 각 객체에 대한 설명 문장을 생성하는 것을 목표로 한다. 기존 방법들이 인상적인 결과를 달성했음에도 불구하고, 두 가지 한계점이 존재한다. 첫째, 현재 연구들은 장면의 공간적 레이아웃을 변경하지 않는 회전과 같은 전역 강체 변환(global rigid transformation)을 데이터 증강에 주로 활용한다. 그러나 다양한 공간적 레이아웃은 객체 간의 공간적 관계를 설명하는 3D 밀집 캡셔닝 모델 학습에 필수적이다. 둘째, 기존 연구들은 캡션 생성 파이프라인 설계에 주로 집중하면서 캡셔닝에 필요한 풍부한 의미 정보 추출에 중요한 백본(backbone)과 검출 헤드(detection head) 등 나머지 구성요소에는 단순한 네트워크 아키텍처를 사용한다. 본 논문에서는 앞서 언급한 문제들을 완화하기 위해 PVCap을 제안한다. PVCap은 PseudoCap과 VoxelCapNet으로 구성된다. 구체적으로, PseudoCap은 데이터셋 내 인스턴스에 랜덤 믹싱(random mixing) 기법을 적용하여 인스턴스 수준에서 다양한 공간적 레이아웃을 가진 수많은 의사 프레임(pseudo frame)을 생성한다. 교사-학생(teacher-student) 프레임워크를 활용하여 PseudoCap은 이러한 의사 프레임에 대한 의사 캡션 레이블을 획득한다. 이 데이터 증강 접근법은 학습 샘플 수를 크게 늘리고 모델이 환경을 효과적으로 설명하는 능력을 향상시킨다. VoxelCapNet과 관련하여, 복셀(voxel) 특징을 활용하고 캡션 헤드를 복셀 기반 네트워크 아키텍처에 적응시킨 강건한 캡션 네트워크를 도입한다. VoxelCapNet은 3D 밀집 캡셔닝에 관한 향후 연구를 위한 경쟁력 있는 기준선(baseline)으로 활용될 수 있다. ScanRefer와 Nr3D의 두 가지 널리 사용되는 벤치마크에서 광범위한 실험을 수행하였으며, 제안하는 방법은 [email omitted] 현재 최고 성능 대비 각각 11.41%, 13.99% 향상된 성능을 달성한다. 코드는 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.