PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.38232v2cs.SD

음성 에이전트는 언제 행동하기에 충분한 증거를 갖추는가? PACT-SLM 계약 테스트

When Does a Spoken Agent Have Enough Evidence to Act? The PACT-SLM Contract Test

스트리밍 음성 에이전트(agent)는 너무 이른 시점에 행동한 후에도 올바른 최종 행동을 생성할 수 있습니다. 최종 턴 점수는 관찰된 각 음성 접두 문맥(prefix)이 노출된 행동을 뒷받침하는지 여부를 드러내지 못합니다. 본 논문에서는 최초의 유효 행동 시점을 지정하고 행동의 일치 여부와 타이밍을 모두 평가하는 통제된 테스트인 음성 언어 모델의 턴 테이킹을 위한 부분 음성 행동 계약(PACT-SLM)을 소개합니다. 주요 테스트에서는 4개의 미확인(held-out) 의미 계열에서 추출한 80개의 쌍을 이룬 대조군을 통해 클린 환경 및 15dB 노이즈 렌더링에 걸쳐 1,600개의 접두 문맥 예측을 도출합니다. 균형을 맞춘 브랜치 코드 대신 소스 발화 의미 목표를 사용하여 WavLM Base Plus는 26.03%의 풀링된 시작 후(post-onset) 의미 레이블 정확도(95% 그룹 부트스트랩 구간 [22.14%, 29.68%])를 달성하고, 시작 전(pre-onset) 접두 문맥의 18.99%에서 행동을 노출하며, 완전한 궤적의 5.94%를 정확하게 예측합니다. 해당 모델의 풀링된 레이블 점수는 접두 문맥 내 100개 레이블 순열 중 96번째 백분위수에 해당하며, 97.5번째 백분위수 기준치(26.73%)를 밑돕니다. 이 모델은 풀링된 시작 후 레이블 정확도에서 매칭된 텍스트, 스칼라-음향 및 셔플된 표현 프로브를 능가합니다. 경과 시간은 시작 시점 정확도가 더 높지만(23.13% 대비 36.25%) 행동 일치도에 대한 정확도는 더 낮습니다(26.03% 대비 9.92%). 이러한 결과는 부분 음성 평가에서 행동의 일치 여부와 시작 타이밍을 별도로 측정해야 함을 시사합니다.

arXiv:2610.01488v1cs.SD

다자간 맞장구 예측: 진단, 벤치마크 및 한계점

Multi-Party Backchannel Prediction: a Diagnosis, a Benchmark, and a Ceiling

맞장구(backchannel) 예측은 거의 전적으로 2인 대화(dyadic conversation) 환경에서만 연구되어 왔습니다. 본 연구에서는 AMI 말뭉치를 기반으로 171개의 회의, 190명의 화자, 18,697건의 맞장구 사건과 화자가 겹치지 않는 분할(person-disjoint held-out split)로 구성된 682개의 마스킹된 청자 뷰를 포함하는 다자간 벤치마크를 소개합니다. 회의 오디오에 제로샷(zero-shot)으로 적용된 최첨단 2인 대화 모델(model)은 무작위 수준(AUROC 0.499)의 성능을 보였으나, 동결된 음향 특징 자체는 여전히 유용한 정보를 담고 있어 선형 프로브(linear probe)는 0.704에 도달하고 예측기를 재학습하면 성능이 0.751까지 향상됩니다. 재학습은 두 번째 한계점을 드러냅니다. 청자 조건화(listener conditioning)는 학습(training) 중에 관찰된 청자에 대한 예측은 향상시키지만 미관찰 청자에게는 그렇지 못하며, 용량 축소, 청자 대립 쌍 학습(listener-adversarial training), 청자별 적응, 오라클 어휘 조건화 환경에서도 이러한 격차가 유지됩니다. 대립 쌍 학습은 화자 신원 정보의 일부만 제거하는 반면, 더 강력하게 제거하면 예측 성능이 저하되어 신원 정보가 맞장구에 유용한 단서들과 얽혀 있음을 시사합니다. 모델 내 통제 실험은 이러한 패턴을 설명하는 데 도움을 줍니다. 동일한 특징과 데이터 분할을 사용할 때 발화 시작(turn-onset) 예측은 미관찰 청자에게 전이되지만, 맞장구 예측은 전이되지 않습니다. 또한 맞장구 빈도는 발화 시작 빈도보다 개인 간 편차가 약 두 배 더 큽니다. 맞장구는 전체 프레임의 약 1%만을 차지하므로 프레임 수준 F1은 기본 비율에 큰 영향을 받습니다. 따라서 청자 활성 구간에서의 사건-F1과 함께 AUROC를 보고합니다. 본 연구는 벤치마크와 평가 도구를 https://github.com/HafsatiMohammed/bc_multiparty_release 에 공개합니다.

arXiv:2609.27372v1cs.CL

침묵도 겹침도 실패가 아니다: 풀 듀플렉스 구어 대화 모델 턴 테이킹의 의도 조건부 평가

Neither Silence nor Overlap Is Failure: Intent-Conditioned Evaluation of Turn-Taking in Full-Duplex Spoken Dialogue Models

풀 듀플렉스 구어 대화 모델용 벤치마크는 턴 테이킹을 이진 고정 윈도우 규칙으로 채점하며, 이전 턴의 완결성에 따라 즉각적 응답이나 침묵을 보상한다. 우리는 지연된 침묵이든 선행적 겹침(overlap)이든 응답 오프셋의 적절성이 화자의 잠재 의도에 조건부이며, 그 의도는 해당 화자의 행동만으로 식별 가능하다고 주장한다. 다섯 개의 이인(dyadic) 코퍼스에서 9,728개 에피소드와 73.2시간으로 구성된 벤치마크 TACT를 제안한다. 각 에피소드는 대화 이력, 화자별 메모리 프로필, 주석자가 도출한 6개 의도 클래스에 대한 사후분포를 담는다. 채점은 이진 윈도우를 인간 floor-transfer-offset 분포에 맞춰 적합된 의도 조건부 타이밍 커널 가중치를 갖는 엄밀 proper(strictly proper) 임계값 가중 연속 순위 확률 점수로 대체하며, 유계성·일관성·이진 환원을 증명한다. 11개 시스템 가운데 최고 모델은 인간 상한 0.86 대비 0.47에 도달하고, 화자 프로필에 거의 불변이며, TACT는 이진 지표 0.46 대비 Spearman 0.81로 인간 판단과 일치한다.

arXiv:2607.23204v1cs.RO

문맥 인식 서두 생성을 통한 실세계 대화 로봇의 저지연 턴 테이킹

Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

대규모 언어 모델(LLM) 기반 대화 시스템은 생성이 최종 음성 인식 이후에만 시작되기 때문에 응답 지연이 발생한다. 고정 필러(filler)는 우회 방법이지만, 시간이 지날수록 부자연스러워진다. 우리는 서두 응답(prefatory response) 준비와 발화 시작을 분리하는 2단계 점진적 프레임워크를 제안한다. 사용자 의도가 예측 가능해지면, 의도 준비도(intent readiness) 탐지기가 짧은 서두 응답의 LLM 기반 생성을 트리거한다. 동시에, 음성 활동 투영(VAP) 모델이 이를 전달할 시점을 결정한다. 쇼핑몰의 경로 안내 로봇을 이용한 현장 실험을 통해 no-filler, fixed-filler, contextual-preface 세 가지 조건을 평가했다. fixed-filler와 contextual-preface 모두 no-filler 대비 초기 응답 지연을 유의미하게 줄였다. fixed-filler 대비 contextual-preface는 초기 응답 지연이 유의미하게 더 길었지만, 초기-본문 간격(initial-to-main gap)은 유의미하게 더 짧았다. 탐색적 평가에서는 유의미한 차이가 없었다. 이러한 결과는 타이밍 트레이드오프를 나타낸다.

arXiv:2607.20460v1cs.CL

Instruct-FD: 풀 듀플렉스 음성 시스템은 턴 테이킹 지시를 따를 수 있는가?

Instruct-FD: Can Your Full-Duplex Speech System Follow Turn-Taking Instructions?

현재 풀 듀플렉스(FD) 음성 대화 시스템은 유창한 상호작용을 만들어낼 수 있지만, 명시적으로 지시받았을 때 턴 테이킹(turn-taking) 행동을 적응할 수 있는지는 여전히 불분명하다. 이는 응용 분야마다 대화 정책이 다르게 적용되는(예: 능동적 튜터링 vs. 수동적 상담) 실제 배포에서 중요한 문제이다. 우리는 FD 시스템에서 제어 가능한 턴 관리를 평가하기 위한 지시 조건(instruction-conditioned) 벤치마크인 Instruct-FD를 제안한다. 이를 위해 지시 조건 대화를 생성하는 인간 검증 기반의 확장 가능한 합성 파이프라인, 배포 환경에 무관한(deployment-agnostic) 다중 턴 평가 프로토콜, LLM 기반 판정기(judge)를 개발한다. 6개의 최신(state-of-the-art) 풀 듀플렉스 시스템을 벤치마킹한 결과, 지시 준수 턴 관리에서 상당한 격차가 드러났다: 최고 성능 모델도 준수율이 64.4%에 불과하다. 성능은 행동과 시나리오에 따라 매우 불균등하며, 모델 백채널링(model backchanneling)과 끼어들기(interruption)와 같은 능동적 행동이 특히 어려운 과제로 남아 있다. 이러한 결과는 지시 준수 턴 관리가 적응 가능하고 배포 가능한 풀 듀플렉스 대화 시스템을 구축하기 위한 중요한 연구 방향임을 보여준다.

arXiv:2607.05365v1cs.CL

SPEARBench: 스트리밍 음성-음성 언어 모델의 자연스러움 평가를 위한 벤치마크

SPEARBench: A Benchmark for Naturalness Evaluation in Streaming Speech-to-Speech Language Models

스트리밍 음성-음성 언어 모델은 구어체 질의에 합성 음성으로 직접 답변하는 것을 목표로 한다. 그러나 기존의 음성 및 텍스트 벤치마크는 이러한 시스템이 대화에서 자연스럽게 동작하는지 포착하지 못한다. 대화에서는 타이밍, 순서 교대(turn-taking), 운율(prosody), 대인 태도(interpersonal stance), 언어 및 방언 일관성, 관계 인식 적절성이 복합적으로 지각 품질을 결정한다. 우리는 질의-응답 상호작용에서 음성-음성 언어 모델의 자연스러움을 평가하기 위한 벤치마크인 SPEARBench를 소개한다. SPEARBench는 Seamless Interaction 코퍼스로부터 통제된 대화 프롬프트를 구성하고, 여러 모델에 걸쳐 추론을 수행한 후, 응답 지연(response latency), 끼어들기(interruptions), 음성 품질, ASR 견고성, 언어 및 방언 일관성, 감정적 자연스러움, 대인 태도, 그리고 설명 가능한 분포적 기준선을 포괄하는 다차원 프로토콜로 생성된 답변을 평가한다. 이 벤치마크는 참조 조건으로 원본 인간 답변을 포함하며, 여러 최신 모델에 대한 결과를 보고한다. 결과에 따르면 현재 모델들은 높은 신호 수준의 품질과 낮은 ASR 오류를 달성할 수 있으나, 지연, 겹침, 방언 보존, 감정 적응, 대인 태도 역학 측면에서 인간 대화 행동과 여전히 차이를 보인다.

arXiv:2607.01345v1cs.CL

TurnNat: Automatic Evaluation of Turn-Taking Naturalness in Dyadic Spoken Dialogue

TurnNat은 이중 채널 음성 대화에서 발화 교대(turn-taking)의 자연스러움을 자동으로 평가하기 위한 가능도(likelihood) 기반 프레임워크로, 자연 대화로 학습된 인과적 예측 모델이 추정하는 미래 두 화자의 음성 활동 상태의 음의 로그 가능도(NLL)를 발화 경계 단위(TBU)에 걸쳐 집계하여 대화 수준의 자연스러움 점수를 산출한다. 인간 평가로 검증된 제어된 섭동(perturbation) 벤치마크 실험에서 TurnNat은 지연 응답, 조기 발화 시작 등 다양한 타이밍 오류를 단일 통합 프레임워크로 성공적으로 식별함을 보였다.

arXiv:2606.13544v3eess.AS

실시간 다자간 음성 에이전트를 위한 적응형 턴 테이킹

Adaptive Turn-Taking for Real-time Multi-Party Voice Agents

다자간 음성 대화에서의 턴 테이킹 문제를 해결하기 위해, 명시적인 역할에 따라 발화권을 조절하는 음성 에이전트인 ModeratorLM을 제안한다. 음성 대규모 언어 모델(LLM)과 사고의 연쇄(Chain-of-Thought) 추론을 결합한 이 방법은 실제 회의 데이터에서 턴 테이킹 정밀도와 재현율을 각각 40% 이상, 70% 이상 향상시켰다.

arXiv:2508.07375v3cs.CL

TurnGuide: 동적 턴 수준 텍스트-음성 인터리빙을 통한 의미 있는 전이중 음성 상호작용 향상

TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving

전이중 음성 언어 모델(FD-SLM)의 종단 간(e2e) 학습에서 긴 음성 시퀀스와 이중 채널 오디오에 텍스트 토큰을 끼워 넣으면 시간 정렬이 깨져 대화 품질이 떨어지는 문제를, TurnGuide가 어시스턴트 발화를 대화 턴 단위로 동적 분할한 뒤 턴 수준 텍스트-음성 생성을 인터리빙해 LLM의 의미 지능을 유지하면서 자연스러운 음향 흐름을 보존하도록 제안한다. 실험에서 의미적으로 일관된 음성 생성이 크게 개선되었고 다양한 턴 교체(turn-taking) 이벤트에서 최첨단 성능을 달성했다.

arXiv:2606.17542v1cs.CL

회의에서의 수신자 탐지, 턴 변경 예측, 다음 발화자 예측에 대한 대규모 언어 모델 능력 평가

Evaluating Large Language Models Abilities for Addressee, Turn-change, and Next Speaker Prediction in Meetings

대규모 언어 모델(LLM)을 사용하여 멀티모달 다자간 대화의 턴-테이킹(turn-taking)을 조사한다. 수신자 탐지(addressee detection), 턴 변경 예측, 다음 발화자 예측이라는 세 가지 과제에 대한 평가 프레임워크를 구축한다. 이러한 과제를 위해 학습된 지도 학습 모델, 텍스트 기반 LLM, 멀티모달 LLM(MM-LLM), 인간 피실험자를 비교한다. AMI 코퍼스에서의 실험 결과, LLM은 대상 도메인에서 학습되지 않았고 오디오나 시각 정보에 접근할 수 없음에도 불구하고 다음 발화자 예측에서 지도 학습 모델과 인간보다 우수한 성능을 보였다. MM-LLM은 수신자 탐지와 턴 변경 예측에서 텍스트 기반 LLM보다 나은 성능을 보였으나 인간 성능에는 미치지 못했으며, 이는 원시 오디오-시각 신호를 활용하는 데 어려움이 있음을 나타낸다. 어블레이션 분석을 통해 대화 맥락이 중요했으며, 특히 다음 발화자 예측에서 그러함이 밝혀졌다. 인간과 LLM의 예측 패턴이 유사했으며, 턴 변경이 빈번한 구간은 양쪽 모두에게 어려웠다.