arXiv:2606.31508v1 cs.CL

아동 읽기 학습 및 평가를 위한 자동 음성 인식 솔루션 구축

Building an ASR Solution for Training and Assessing Children's Reading

Yacouba Diarra, Nouhoum Souleymane Coulibaly, Mamadou Dembele, Aymane Dembele, Michael Leventhal

제출 2026-06-30

한국어 초록

아동 읽기를 위한 자동 음성 인식(ASR)은 Bambara를 포함한 대부분의 아프리카 언어에서 재현 가능한 문해력 평가에 잠재적 가치가 있음에도 불구하고 아직 충분히 발전하지 못한 상태다. 본 논문은 현장 데이터 수집, 벤치마크 구축, 모델 적응, 읽기 애플리케이션, 교실 검증을 연결하는 엔드투엔드 프로세스를 통해 개발된 Bambara 아동 읽기 평가용 오픈소스 시스템을 제시한다. 모바일 수집 및 평가 앱을 사용하여 60명의 아동으로부터 55시간 분량의 원시 읽기 음성을 수집하였으며, 이를 바탕으로 Bambara 아동 읽기 평가를 위한 공개 벤치마크를 구축하였다. 미세조정 실험에서는 TDT 및 CTC 디코더를 갖춘 Bambara 적응형 Fast-Conformer ASR 프레임워크인 Soloni와 컴팩트한 합성곱 ASR 아키텍처인 QuartzNet을 비교하였다. 최적의 Soloni 모델은 단어 오류율(WER)을 0.42에서 0.22로, 문자 오류율(CER)을 0.15에서 0.08로 감소시켜 고립 벤치마크에서 QuartzNet을 크게 능가하였다. 실험 결과, 동일 텍스트의 반복 읽기는 아키텍처에 따라 상이한 효과를 보였는데, QuartzNet의 성능은 크게 향상된 반면 Soloni에는 미미한 향상만을 가져왔으며, SpecAugment는 최선의 비증강 구성을 초과하지 않는 범위 내에서 학습을 조절하였다. 세분화된 분석에서는 10세 미만 아동이 잔류 오류의 주요 원인으로 확인되어 저연령 독자 대상의 집중적 데이터 수집의 필요성이 제기되었다. 10회의 교실 실험을 통해 애플리케이션의 지속 활용 가능성이 확인되었다.

원문 초록

Automatic speech recognition for children's reading remains underdeveloped for most African languages, including Bambara, despite its potential value for reproducible literacy assessment. We present an open-source system for assessing children's reading in Bambara, developed through an end-to-end process linking field data collection, benchmark construction, model adaptation, a reading application, and classroom validation. A mobile collection and assessment app was used to collect 55 hours of raw reading speech from 60 children, from which we construct a public benchmark for Bambara child-reading assessment. Fine-tuning experiments compare Soloni, a Bambara-adapted Fast-Conformer ASR framework with TDT and CTC decoders, with QuartzNet, a compact convolutional ASR architecture. The best Soloni model reduces WER from 0.42 to 0.22 and CER from 0.15 to 0.08, substantially outperforming QuartzNet on the isolated benchmark. The experiments further show that repeated readings of the same texts provide architecture-dependent benefits: they substantially improve QuartzNet but add only marginal gains for Soloni, while SpecAugment regulates training without exceeding the best unaugmented configuration. Disaggregated analysis identifies children under 10 as the main source of residual errors, motivating targeted collection from younger readers. Ten classroom trials supported continued use of the application.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.31508v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15915v1cs.CV공통 태그 Transfer Learning, Benchmarking

VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화

VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It

재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.

arXiv:2610.13435v1cs.LG공통 태그 Transfer Learning, Benchmarking

PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크

PPG-Bench: A Unified Benchmark for PPG Foundation Models

광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.

arXiv:2610.13829v1cs.RO공통 태그 Transfer Learning, Benchmarking

MC-EvoBench: 마인크래프트 에이전트의 경험 기반 자기 개선 감사

MC-EvoBench: Auditing Experience-Driven Self-Improvement in Minecraft Agents

임바디드(embodied) 재귀적 자기 개선에서 핵심 과제는 에이전트(agent)가 상호작용 기록(interaction history)을 하나의 월드를 넘어 지속되고 이후 과제로 전이되는 능력으로 전환할 수 있게 하는 것이다. 저장된 메모리나 성공적인 최종 행동 자체만으로는 재사용 가능한 능력이 획득되었음을 입증하지 못한다; 평가는 능력 변화를 이전된 자원(carried-over resources), 불균등한 소스 노출(source exposure), 초기 실행 실패와 구분해야 한다. 우리는 19개의 등록된 진화 체인(evolution chain)—12개의 주요 평가 체인과 7개의 보정(calibration) 또는 프로브(probe) 체인—으로 구성된 고정 카탈로그와, 전이(transfer)를 위한 그래프 정렬(graph-aligned) 짝지어진 프로브 패밀리 3개를 포함하는 통제된 마인크래프트 벤치마크인 MC-EvoBench를 구축한다. 이 벤치마크는 각 과제를 과제-상태 그래프(task-state graph)로 표현하고, 단계별(stage-level) 환경(environment) 검증기(verifier)를 정의하며, 일치하는 소스 및 타깃 역할을 배정하고, 타깃 월드를 리셋한 뒤, 선언된 에이전트 아티팩트(agent artifact)만이 소스-타깃 경계를 넘을 수 있도록 허용한다. 각 프로브에 대해 사전 경험 없음(no-prior), 관련(related), 무관(unrelated), 셔플된(shuffled) 소스 조건을 일치된 환경 스텝 예산과 5개의 시드(seed) 하에서 평가하며, TSR, WGP, VMP를 보고하고 출처 기록(provenance record)을 보존한다. 이 벤치마크는 컨트롤러(controller)와 플래너 기반(planner-backed) 변형 간에 일관된 직접 능력 격차(direct-capability gap)를 드러내는 반면, 관련 경험은 안정적인 전이를 제공하지 못한다: 두 도구 프로브 중 어느 것도 개선하지 못하고, 목재 종(wood-species)에서의 작은 향상은 단 하나의 시드에 의존하며, 모든 구간(interval)이 0을 포함한다. 단계별 감사(stage audit)는 또한 초기 목재 수집 및 제작(crafting) 병목이 종종 이후 능력을 관측되지 않게 만든다는 것을 추가로 보여준다. 따라서 MC-EvoBench는 지속적이고 전이 가능한 임바디드 능력을 위한 통제된 테스트베드를 제공한다. 코드와 데이터는 https://github.com/xzw-ustc/mc-bench-open-source 에서 확인할 수 있다.

arXiv:2610.10594v1cs.LG공통 태그 Data Augmentation, Benchmarking

활성화 프로브에 필요한 합성 데이터의 양을 결정하는 것은 난이도가 아닌 커버리지다

Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs

배포된 언어 모델을 모니터링하는 활성화 프로브(activation probe)는 합성 대화로 학습(training)되지만, 프로브에 얼마나 많은 데이터가 필요한지는 아직 명확하지 않습니다. 본 연구는 생성자 LLM과 프롬프트의 구체성을 변경해가며, 14개의 홀드아웃 평가(evaluation) 분포와 4개의 프로브 모델에서 세 가지 모니터링 개념(중대한 위험 상황, 사람에게 유해한 답변, 사용자의 지시를 따르지 않는 답변)에 대해 10~590개의 합성 샘플에 걸친 학습 곡선을 추적합니다. 필요한 데이터양은 모니터링 대상에 따라 결정됩니다. 중대한 위험 및 유해성에 대한 프로브는 Gemma-3-27B-IT에서 80개 샘플부터 정체기(plateau)의 수백 분의 1 이내에 도달하는 반면, 지시 프로브는 몇 배 더 많은 샘플을 필요로 하며, 이러한 순서는 세 개의 더 작은 프로브 모델과 (개발 세트의) 실제 샘플에서도 유지됩니다. 선행 연구에서는 생성 예산을 깊이(각 유형의 데이터 수 증대)보다 너비(더 다양한 유형의 데이터 확보)에 투자할 것을 권장합니다. 본 연구에서는 개념에 필요한 깊이를 적합 곡선의 절반-이득 크기(half-gain size, 즉 이득의 절반을 달성하는 샘플 수)로 해석합니다. 개념과 분포가 해당 분산의 42~45%를 설명하며, 생성자, 프로브 모델, 프롬프트 구체성은 10% 미만을 차지합니다. 절반-이득 크기의 값을 결정하는 것은 유형별 난이도(분포가 포화되는 데 필요한 자체 유형 샘플 수)가 아니라 커버리지(coverage)입니다. 평가 분포당 하나씩 할당된 모든 유형은 세 가지 개념 모두에서 동일하게 자체 유형 합성 샘플 기준 7~11개의 중앙값 절반-이득 크기를 보입니다. 차이를 만드는 것은 한 유형의 샘플이 해당 개념의 다른 유형으로 얼마나 잘 전이되는지 여부로, 중대한 위험에서는 거의 완전히 전이되고, 유해성에서는 덜 전이되며, 지시에서는 가장 적게 전이됩니다. 이는 생성된 샘플과 실제 샘플 전반에서 개념 간 격차의 대부분을 설명합니다. 따라서 너비에 투자하는 효과는 개념에 따라 다릅니다. 어떤 유형도 다른 유형을 포괄하지 못하는 지시에서는 여러 유형이 필수적이지만, 한 유형이 나머지를 포괄하는 중대한 위험에서는 거의 불필요합니다. 본 연구는 평가 스위트, 개발 세트 및 생성된 세트를 공개합니다.

arXiv:2610.03367v1cs.AI공통 태그 Transfer Learning, Benchmarking

다국어 GSM-Symbolic: 언어 간 능력 전이를 결정하는 요인은 무엇인가?

Multilingual GSM-Symbolic: What determines capability transfer across languages?

한 언어에서 습득된 능력이 다른 언어로 어떻게 전이되는지, 혹은 무엇이 이러한 전이를 지배하는지에 대해서는 알려진 바가 거의 없습니다. 기존 평가는 비교 불가능하고 포화되기 쉬운 데이터셋에 의존하며 전이의 결정 요인들을 함께 검토하는 경우가 드뭅니다. 전이를 예측하는 요인을 식별하면 모든 언어 쌍에 걸친 소모적인 평가를 피할 수 있으며, 개발자가 저자원 언어에서의 성능을 제한하는 요소를 집중 공략할 수 있게 됩니다. 교차 언어 능력 전이를 평가하기 위해, 본 연구에서는 15개 언어에 걸쳐 항목별로 매칭된 30,000개의 질문-답변 쌍을 포괄하는 확장 가능한 다국어 수학 데이터셋인 Multilingual GSM-Symbolic을 소개합니다. 이 데이터셋은 단일 샘플로부터 수백만 개의 고품질 변형 생성을 가능하게 함으로써 과적합을 방지하고 일반화를 보장하기 위해 기호 템플릿을 활용합니다. Multilingual GSM-Symbolic을 사용하여 능력의 가장 큰 결정 요인을 모델 크기($β= 1.77$), 언어 자원 수준($β= 0.77$), 추론($β= 0.67$), 언어유형학적 거리($β= -0.25$)로 정량화합니다. 이러한 공동 추정을 통해 결정 요인들을 상호 간의 관계로 표현할 수 있습니다. 즉, 마라티어로 평가된 32B 모델은 영어에서의 10B 모델과 유사하게 동작합니다. 본 연구 결과는 모델 개발자에게 중요한 시사점을 제공하며, 모델 크기와 추론 능력이 저자원 언어와 고자원 언어 간의 성능 격차를 좁히는 반면($β= -0.27$ 및 $β= -0.20$), 유사한 수단들이 언어유형학적으로 거리가 먼 언어에는 거의 또는 전혀 영향을 미치지 않음을 보여줍니다. 전반적으로 본 분석 프레임워크는 언어 간 변량의 92%를 설명하지만 모델-언어 간 변량은 23%만 설명하며, 확인되지 않은 언어에 대한 모델의 성능을 6.0%p 이내로 예측합니다(r=.96). 타깃 언어에서 단 10개 템플릿의 측정값을 통합하면 이를 4.19%p로 낮출 수 있어, 다운스트림 데이터셋이 거의 없거나 아예 없는 상황에서도 합리적인 성능 추정이 가능해집니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.