Transfer Learning from Audio-Visual Grounding to Speech Recognition
원문 초록
Transfer learning aims to reduce the amount of data required to excel at a new task by re-using the knowledge acquired from learning other related tasks. This paper proposes a novel transfer learning scenario, which distills robust phonetic features from grounding models that are trained to tell whether a pair of image and speech are semantically correlated, without using any textual transcripts. As semantics of speech are largely determined by its lexical content, grounding models learn to preserve phonetic information while disregarding uncorrelated factors, such as speaker and channel. To study the properties of features distilled from different layers, we use them as input separately to train multiple speech recognition models. Empirical results demonstrate that layers closer to input retain more phonetic information, while following layers exhibit greater invariance to domain shift. Moreover, while most previous studies include training data for speech recognition for feature extractor training, our grounding models are not trained on any of those data, indicating more universal applicability to new domains.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Fine-Tuning Self-Supervised Learning Models for End-to-End Pronunciation Scoring
TASK AWARE MULTI-TASK LEARNING FOR SPEECH TO TEXT TASKS
Where-OPD: 합성 장면을 활용한 MLLM의 공간 유도 온-정책 자기 증류
Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
온-정책(on-policy) 자기 증류는 특권 정보(privileged information)를 제공받는 동결되거나 지수이동평균(EMA)이 적용된 자기 자신을 통해 학생 모델을 지도함으로써 언어 모델의 추론 능력을 향상시키는 효과적인 접근법으로 최근 부상했습니다. 그러나 이를 멀티모달 대규모 언어 모델(MLLM)에 적용하는 연구는 아직 미개척 상태로 남아 있습니다. 최근 접근법들은 질문에 해당하는 이미지 크롭과 같은 특권 시각 정보를 활용하여 미세 지각 능력을 향상시키지만, 이러한 성능 향상은 시각적 줌(zooming) 효과를 얻을 수 있는 태스크에만 국한되며 사람이 주석을 단 그라운딩(grounding) 데이터나 외부 교사 모델을 필요로 합니다. 본 연구에서는 질의와 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적 그라운딩 안내(guidance)를 교사 모델에 제공하는 새로운 방식의 MLLM용 온-정책 자기 증류를 제안합니다. 객체 식별 정보와 공간 좌표를 자동으로 얻을 수 있는 절차적으로 생성된 장면을 활용하여, 확장 가능하고 주석이 필요 없는 사후 학습(post-training)을 실현합니다. 교사 모델은 이러한 공간적 안내를 활용하여 여러 관련 이미지 영역의 증거를 찾아 통합하며, 학생 모델은 이미지와 질문만을 바탕으로 그 결과를 재현하도록 학습합니다. 본 접근법은 여러 모델에 걸쳐 개수 세기, 문서 및 차트 이해 벤치마크에서 지속적으로 성능을 향상시킵니다. 특히 사후 학습에 합성 장면만을 사용함에도 불구하고, 개선된 성능이 실제 환경의 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이러한 결과는 공간적으로 그라운딩된 특권 정보가 온-정책 자기 증류를 통해 더 넓은 범위의 지각 능력을 유도할 수 있으며, 사후 학습에 사용된 태스크 및 데이터 분포를 넘어 상당한 수준의 합성-실제(synthetic-to-real) 전이를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD
VectraYX-Vision-1B: 구조화된 시각적 추론과 네이티브 도구 사용을 갖춘 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델
VectraYX-Vision-1B: A Sub-2B Spanish/LATAM Cybersecurity Vision-Language Model with Structured Visual Reasoning and Native Tool Use
우리는 동결된 SigLIP-so400m 인코더를 2층 MLP 프로젝터로 10.4억 매개변수 디코더에 결합한 2B 미만 스페인어/LATAM 사이버보안 비전-언어 모델 VectraYX-Vision-1B를 구축하고, 진단적 부정 결과를 보고한다. 시각적 그라운딩이 실패했다는 것이 아니라, 왜 그랬는지를 밝힌다. 다섯 가지 조용한 미세조정 결함을 수정한 뒤, 셔플된 이미지 대조를 포함한 9개 필드 추출 게이트에서의 그라운딩은 인코더를 그대로 두는 모든 구성에서 불변인 2/9이며, 이를 바꾸는 유일한 2×2 타일링은 필드 하나를 잃고 새로 얻는 것은 없다. 해상도는 작동 변수가 아니다. 거의 완벽하게 읽히는 필드가 코퍼스에서 가장 높은 엔트로피를 갖는다. 동결 SigLIP 특징에 대한 선형 프로브는 글리프별 복구 가능성 p~0.61을 주며, 관측 0.00 대비 1.9%를 예측한다. 타일링은 두 필드에서 복구 가능성을 거의 두 배로 늘리지만, end-to-end 모델은 더 나빠진다. 네이티브로 학습된 시각 타워를 동일한 동결 디코더와 레시피에 이식하면, 아무것도 복구하지 못한 타일링 조건보다 더 거친 토큰 예산에서 주소 필드를 0.00에서 0.81 exact로 끌어올린다. 해상도가 아니라 사전학습 체제가 손실이 얼마나 멀리 미치는지를 정한다. 이후 별도로 학습된 체크포인트는 하나의 긍정 결과를 추가한다. B8(34개 필드, 16개 템플릿, 2,040개 항목, 이중 셔플-이미지/최적 상수 대조)에서 9개 필드가 통과하여, 학습된 템플릿-필드 조합 내에서만 진정한 그라운딩이 있음을 확인한다. 가장 날카로운 새 발견은, 잘 학습된 템플릿 안에서 학습되지 않은 필드는 이미지와 무관하게 거의 일정한 오답을 반환한다는 것이다. 즉 자유 텍스트 읽기가 아니라 랜드마크 키 조회이다. B6/B7 도구 식별은 이 체크포인트를 포함한 모든 체크포인트에서 0.0을 유지한다. 더 강한 모델이 숨길 수 있는 세 가지 하네스 결함을 발견한 뒤 이전 0.08 tool-id 점수를 철회한다. 코드, 세 벤치마크 전부, 설정, B8 코퍼스를 포함한 모든 학습 체크포인트를 공개한다.
AUTOMATIC PRONUNCIATION MISTAKE DETECTOR PROJECT REPORT
Transformer-Based Named Entity Recognition for Automated Server Provisioning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.