arXiv:2608.27817v4 cs.SD

기지 작업 오디오-LLM 평가를 위한 생성형 오디오 호출 감사

Auditing generative audio calls for known-task audio-llm evaluation

Mengzhe Geng

제출 2026-08-28

한국어 초록

음성 및 오디오 대규모 언어 모델(LLM)은 파형(waveform) 기반 예측과 자동 음성 인식(ASR) 전사본 기반 예측을 비교하여 평가됩니다. 정해진 폐쇄형 집합(closed-set) 작업의 경우, 이러한 방식은 음향적 증거와 생성 오디오 모델 호출의 필요성을 혼동하게 만듭니다. 본 연구에서는 호출 전 증거를 공유하는 매칭된 선택기(matched selector)를 통해 증분 호출 가치(incremental call value)를 추정합니다. 각 정책은 전사본 레이블을 유지하거나, 로컬 인코더를 사용하거나, 생성 모델을 호출할 수 있습니다. 매칭된 대조군은 생성 동작을 배제하되 호출 전 증거 및 개발 선택은 보존합니다. VocalSound에서 전사본만 사용한 정확도는 0.296인 반면, 지도학습된 CLAP 및 WavLM 대조군은 호출 없이도 각각 0.850과 0.854에 도달합니다. 전체 선택기는 12.5%의 호출 비율에서 0.925에 도달하며, 이는 매칭된 무호출(No-call) 선택기의 0.921과 비교됩니다(차이 0.004, 95% CI [-0.025, 0.033]). 따라서 결과는 전사본 및 인코더 증거를 사용할 수 있게 된 이후에는 호출로 인한 이득이 나타나지 않음을 보여줍니다. 유의미한 수치는 파형과 전사본 간의 격차가 아니라 호출을 허용함으로써 얻는 증분 정확도입니다.

원문 초록

Speech and audio LLMs are evaluated by comparing waveform predictions with predictions from an automatic speech recognition (ASR) transcript. For fixed closed-set tasks, this conflates acoustic evidence with the need to invoke a generative audio model. We estimate incremental call value with matched selectors sharing pre-call evidence. Each policy may retain the transcript label, use a local encoder, or invoke a generative model; matched control removes generative actions but preserves pre-call evidence and development selection. On VocalSound, transcript-only accuracy is 0.296, while supervised CLAP and WavLM controls reach 0.850 and 0.854 without calls. Full selector reaches 0.925 at 12.5% calls versus 0.921 for matched No-call selector (difference 0.004; 95% CI [-0.025, 0.033]). Thus, results do not show a call gain after transcript and encoder evidence are available. Relevant quantity is incremental accuracy from allowing calls, not the waveform-transcript gap.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.27817v4
  2. arXiv:2608.27817v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15897v3cs.CL공통 태그 Benchmarking, Model Selection

검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리

Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines

수학 문제에서 Qwen3-8B가 Llama-3.1-8B를 검토하면 정확도가 33.2점 상승하지만, Qwen3-8B 단독의 정확도가 그 결과보다 6.4점 더 높다. 다른 모델의 답을 검토하는 방식은 보통 생성 모델 대비 향상 폭으로 평가된다. 본 연구는 이러한 평가가 검증(verification)과 능력 전이(capability transfer)를 혼동한다는 점을 보인다. 검증은 어느 한 모델 단독보다 더 높은 정확도를 더하는 것이고, 능력 전이는 더 강한 검토 모델이 스스로도 낼 수 있었던 답을 제공하는 것이다. 수학, 지식, 코드, 추론 영역에서 12개 오픈 웨이트 모델(3B~72B)의 48개 쌍에 대해 더 강한 모델 단독과 비교해 측정한 결과, 검토 방식이 이를 능가하는 경우는 96개 검토 방향 중 9개에 불과했으며, 능력 격차가 클수록 성능이 더 나빠졌다. 그 원인은 앵커링이다. 검토 모델이 대체로 생성 모델을 따라가면서 자신의 올바른 답을 버린다. 검토 방식은 더 강한 모델 단독 대비 2.6~2.8배의 비용이 드는 반면, 동일한 두 번의 호출을 사용하는 선택기(selector)는 검토 방식보다 2.7~4.2점 더 정확하면서 비용도 더 저렴하다. 검증에 관한 연구는 생성 모델 대비 향상 폭만이 아니라 더 강한 모델 단독의 성능도 함께 보고해야 한다.

arXiv:2610.15993v1cs.AI공통 태그 Benchmarking, Model Selection

핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃

Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing

본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.

arXiv:2610.13654v1cs.LG공통 태그 Benchmarking, Model Selection

TabReliBench: 예측 정확도를 넘어 정형 파운데이션 모델 평가하기

TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy

정형 파운데이션 모델(TFM)은 뛰어난 예측 성능으로 인해 점점 더 인기를 얻고 있습니다. 많은 TFM은 사후 예측 분포(PPD)도 제공하지만, 이에 대한 신뢰성은 상대적으로 덜 연구되었습니다. 본 연구에서는 점 예측(point prediction), 분포 품질, 한계(marginal) 및 하위 집단 보정(subgroup calibration), 구간 효율성을 통해 신뢰성을 평가합니다. 그런 다음 이러한 비교 및 데이터셋 수준 분석을 위한 대규모 분류(classification) 및 회귀 벤치마크인 TabReliBench를 소개합니다. 연구 결과, TabArena와 본 벤치마크 간에, 그리고 여러 신뢰성 지표에 걸쳐 TFM의 순위가 달라지는 것을 확인했습니다. 회귀 TFM은 대개 공칭에 가까운 한계 커버리지(nominal marginal coverage)를 달성하고 좁은 구간을 유지하지만, 이러한 우수한 한계 거동이 유효한 조건부 커버리지를 보장하지는 않습니다. 데이터셋 수준 분석에 따르면 분류 난이도가 높을수록 보정 성능이 저하되는 경우가 흔한 반면, 회귀 예측 성능은 보정 성능의 신뢰할 수 있는 지표가 되지 못합니다. 앙상블은 예측 성능을 향상시키지만 PPD의 보정을 일관되게 개선하지는 않으며, TFM은 적합성 사후 처리(conformal post-processing)로부터 얻는 이점이 거의 없어 하위 집단 간의 격차를 안정적으로 해결하지 못합니다. 따라서 신뢰할 수 있는 TFM을 선택하기 위해서는 단순한 종합 순위를 넘어 다차원적인 평가가 필요합니다. 코드는 https://github.com/Tianqi-Zhao/TabReliBench 에서 확인할 수 있습니다.

arXiv:2609.32396v2cs.CL공통 태그 Automatic Speech Recognition (ASR), Benchmarking

FA-Bench: 깨끗한 음성 및 노이즈 음성 환경에서 강제 정렬과 ASR의 음소 및 단어 단위 타임스탬프 정확도 벤치마크

FA-Bench: A Benchmark for Phone- and Word-Level Timestamp Accuracy in Forced Alignment and ASR on Clean and Noisy Speech

강제 정렬(forced alignment)은 음성과 해당 전사본이 주어졌을 때 각 단어, 음소(phone) 또는 문자의 타임스탬프를 추정합니다. 기존 연구들의 비교 방식은 전사본 정규화, 데이터 분할, 경계 매칭 방식이 제각각이어서 그 수치들을 직접 비교할 수 없습니다. 본 논문에서는 이러한 선택 사항들을 통일하고 코드, 분할 데이터, 음소 매핑, 텍스트 정규화, 채점 스크립트를 공개하며 정기적으로 결과를 게시하는 공개 프레임워크인 FA-Bench를 제시합니다. 통합 프로토콜 하에 동일한 오디오(깨끗한 음성 및 4가지 방식으로 품질이 저하된 음성)를 대상으로 트랙 1에서는 모든 정렬기에 참조 전사본을 제공하고, 트랙 2에서는 인식기 출력을 제공하여 21개의 공개 모델과 9개의 상용 API를 평가합니다. 발화의 모든 경계를 채점하고 양옆의 두 라벨을 확인하므로, 인식기가 누락하거나 잘못 생성한 단어에는 페널티가 부과됩니다. 허용 오차 기반 F1을 주요 지표로 사용하여, 대화체 음성에서 인식 의존적 시스템에 대해 표준 MAE가 유발하던 9%~14%의 점수 인플레이션을 제거했습니다. 그런 다음 경계를 위치와 올바르게 인식된 인접 단어 수에 따라 그룹화하여 시스템이 어디서 점수를 잃었는지 보여줍니다. 또한 현재 시스템들이 단어 타이밍을 잡는 방식에서 체계적인 바이어스를 발견했는데, Whisper는 약 150ms 빠르고 여러 상용 ASR API는 50ms 이상 늦었습니다. 코드와 결과는 https://github.com/olewave/fa-bench 에서 확인할 수 있습니다.

arXiv:2610.02267v1cs.AI공통 태그 Benchmarking, Model Selection

빠른 모델, 느린 증거: LLM 에이전트 하네스를 위한 시스템 1 의사결정 모델의 쌍체 및 자체 감사 평가

Fast Models, Slow Evidence: A Paired and Self-Audited Evaluation of System-1 Decision Models for LLM Agent Harnesses

에이전트 하네스는 작업당 여러 가지 작고 정형화된 결정을 내립니다. 어떤 모델을 호출할지, 어떤 도구를 사용할지, 검색된 텍스트가 관련성이 있는지, 입력에 인젝션 공격이 포함되어 있는지 등이 이에 해당합니다. 시스템 1(System-1) 의사결정 모델은 클래스 확률을 통해 단 한 번의 순전파(forward pass)만으로 이러한 질문에 답하므로 대규모 언어 모델(LLM) 호출 대비 비용과 지연 시간을 대폭 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 18개 공개 소스로부터 구축된 11개 에이전트 결정 지점에 대해 오픈 가중치 모델(Laya)과 호스팅 모델(Jev) 시스템 1 모델의 쌍체 평가(paired evaluation)를 제시합니다. 이는 바이트 단위로 동일한 입력, 쌍체 검정, 하드웨어 간 및 일자 간 재현성 검증을 거친 7,283개의 기본 케이스와 6,640개의 견고성 변형 케이스를 포함합니다. Jev는 11개 결정 지점 중 9개에서 유의미하게 더 높은 정확도를 보였습니다(+10.8 ~ +46.0%p). 제로샷(zero-shot) 모델 라우팅에서는 두 모델 모두 무작위 확률을 넘어서지 못했으며, 검색-증강 생성(RAG) 관련성 게이팅에서는 동률을 기록했습니다. Laya는 선택지 순서가 뒤바뀌었을 때 답변의 30%를 바꾸었으며, 후보 수가 많거나 유사할 때 성능이 급격히 저하되었습니다(정답 도구가 유일한 항목에서 Jev가 98%를 기록한 반면, Laya는 50개 최근접 이웃 도구 조건에서 31% 기록). 또한 본 연구에서는 자체 파이프라인에 대한 감사도 수행했습니다. 세 가지 분석 오류와 한 가지 설계 혼란 변수가 주요 배포 관련 주장을 왜곡했습니다. 즉, 생략된 사전 스크리닝 비용(보고된 23.9% 절감, 실제로는 4.3%), 엔드투엔드 품질로 보고된 게이트 정확도(58% 대 98%), 표본 내 임계값(목표치 5%, 미학습 검증 데이터 누락률 최대 17%), 그리고 채널 고유 콘텐츠 환경에서는 사라지는 인젝션 오탐(false positive)에 대한 "채널 효과"가 확인되었습니다. 다른 두 가지 의심된 혼란 변수는 결론을 바꾸지 않았습니다. 모든 케이스, 원시 출력 및 분석 코드는 https://github.com/David-DL-Space/sys1-eval 에서 확인할 수 있습니다.

arXiv:2610.02762v1cs.AI공통 태그 Benchmarking, Model Selection

동적 LLM 라우터는 종종 잘못 유도된다

Dynamic LLM Routers are Often Misguided

동적 대규모 언어 모델(LLM) 라우터는 각 질의를 올바르게 답변할 수 있는 가장 저렴한 모델로 보내 추론(inference) 비용을 절감할 수 있을 것으로 기대됩니다. 본 연구에서는 8개 작업 범주를 아우르는 다양한 벤치마크를 기반으로 14개 설정에서 6개의 상용 라우터를 분석하였으며, 그 어떤 라우터도 동일한 비용 조건에서 잘 선택된 두 모델 중 하나를 무작위로 선택하는 라우터보다 우수한 성능을 내지 못함을 확인했습니다. 일부 라우터는 성능이 10%p 이상 낮았습니다. 연구진은 이러한 격차의 원인을 라우터 전반에서 만연한 네 가지 패턴, 즉 난이도 맹목성(difficulty blindness), 길이 역전(length reversal), 의미적 매칭(semantic matching), 명단(roster)의 비최적성으로 추적했습니다. 본 연구는 앞의 세 가지 패턴이 표준 목적 함수가 보상하는 바임을 보여줍니다. 즉, 실현된 비용에 기반한 비용-정확도 파레토 효율성은 가장 어려운 질의보다 적당히 어려운 질의를, 긴 질의보다 짧은 질의를 더 상위 모델로 전달(escalate)하도록 유도하며, 질의의 난이도보다는 출처에 따라 라우팅하도록 만듭니다. 또한 대규모 모델 명단을 정당화하는 두 가지 가정인 모델 세분성(granularity)과 모델 전문화(specialization)가 실증적으로 성립하지 않는다고 주장합니다. 연구진은 이러한 패턴에 보상을 주지 않는 대안 평가 방법론을 제안하고, 개념 증명(proof of concept)으로서 이 네 가지 패턴을 모두 피하는 단순한 2개 모델 라우터를 설계했습니다. 그럼에도 불구하고 잘 구성된 모델 명단에서는 라우팅할 여지가 거의 남지 않기 때문에, 무작위 라우팅 대비 성능 향상은 제한적입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.