LLM 기반 병렬 텍스트 생성을 통한 저지연 실시간 오디오 게임 해설 시스템
Low-Latency Real-Time Audio Game Commentary System via LLM-Based Parallel Text Generation
한국어 초록
우리는 라이브 게임플레이 영상으로부터 직접 음성 해설을 생성하는 저지연 실시간 오디오 게임 해설 시스템을 제안합니다. 이 엔드-투-엔드 설정에서 주요 병목은 누적 대기 시간입니다. 기존 파이프라인은 각 발화에 대해 프레임을 캡처하고, 텍스트를 생성하며, 음성을 합성하는 과정을 순차적으로 수행하며, 음성 재생이 완료될 때까지 다음 생성을 요청하지 않습니다. 이러한 엄격한 순차성으로 인해 발화 사이에 길고 비자연스러운 침묵이 발생합니다. 이러한 지연 병목을 해결하기 위해, 본 시스템은 음성 재생과 병렬로 텍스트 생성을 실행하고 여러 후보 발화를 미리 버퍼링하여, 재생 경계에서 즉시 합성이 가능하도록 합니다. 빠른 템포의 게임 영상에 대한 실험 결과, 병렬 설계는 순차적 기준 모델 대비 평균 발화 간 침묵을 9.6초에서 0.3초로 줄이는 것으로 나타났습니다. 또한 전문적인 말하기 및 침묵 타이밍 패턴과의 유사성을 40% 이상 향상시켰으며, 120명의 숙련된 게임 플레이어를 대상으로 한 사용자 연구에서 인지된 말하기 리듬이 유의미하게 개선되었음을 확인했습니다. 데모 영상은 다음에서 확인할 수 있습니다: https://youtu.be/pmrRUlvav8M.
원문 초록
We present a low-latency real-time audio game commentary system that generates spoken commentary directly from live gameplay video. In this end-to-end setting, a key bottleneck is accumulated waiting time; conventional pipelines capture frames, generate text, and synthesize speech sequentially for each utterance, and do not request the next generation until speech playback has completed. This strict sequentiality causes long and unnatural silence between utterances. To address this latency bottleneck, our system runs text generation in parallel with speech playback and buffers multiple candidate utterances ahead of time, enabling immediate synthesis at playback boundaries. Experiments on fast-paced game videos show that our parallel design reduces the mean inter-utterance silence from 9.6 seconds to 0.3 seconds compared to sequential baselines. It also improves similarity to professional speaking--silence timing patterns by over 40 %, and a user study with 120 experienced game players confirms significantly improved perceived speaking rhythm. Our demo video is available at: https://youtu.be/pmrRUlvav8M.
요약
기존 순차적 파이프라인의 대기 시간으로 인한 비자연스러운 침묵을 해결하기 위해, 음성 재생과 텍스트 생성을 병렬로 수행하여 후보 발화를 미리 버퍼링하는 실시간 오디오 게임 해설 시스템을 제안한다. 해당 시스템은 발화 간 침묵을 9.6초에서 0.3초로 줄이고 전문적인 말하기 리듬과 유사성을 40% 이상 향상시켰다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13322v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구
Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System
공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.
개인화된 선호도 최적화를 위한 그래디언트 정렬 쌍 선택
Gradient-Aligned Pair Selection for Personalized Preference Optimization
대규모 언어 모델(LLM)을 개인화하려면 생성 동작을 전체적인 평균 품질이 아닌 사용자별 선호도에 정렬(alignment)시켜야 합니다. 직접 선호 최적화(DPO)는 선호도 학습을 위한 안정적인 프레임워크를 제공하지만, 개인화된 환경에서의 효과는 선호도 쌍을 어떻게 선택하느냐에 크게 의존합니다. 기존 접근 방식은 일반적으로 가능도(likelihood) 기반 극단값과 같은 휴리스틱 기준에 의존하므로, 최적화가 명시적인 사용자 효용과 분리되어 개인화 성능 저하로 이어질 수 있습니다. 본 연구에서는 기대 사용자 효용의 그래디언트와 DPO 업데이트 방향 간의 1차 상호작용을 분석하여, 개인화된 선호도 학습을 기하학적으로 정렬된 최적화 문제로 공식화합니다. 분석 결과, 오프-정책(off-policy) 샘플링 하에서 선호도 마진이 효용 그래디언트와 방향적으로 정렬될 때 DPO 업데이트가 순수한 오류 수정 신호에서 강화 형태의 업데이트로 전환됨을 확인했습니다. 이러한 관점은 쌍 선택이 선호도 최적화가 개인화를 촉진하는지 저해하는지를 좌우하는 기하학적 결정임을 보여줍니다. 이러한 통찰을 바탕으로, 에포크(epoch)별 재생성을 통해 분포 변화를 제어하면서 효용을 인지하고 기하학적으로 정렬된 쌍 선택을 수행하는 반복 알고리즘인 GAP-DPO(Geometry-Aligned Preference DPO)를 제안합니다. 개인화된 텍스트 생성 벤치마크에 대한 실험은 GAP-DPO가 표준 DPO 변형들과 비교하여 문체 충실도, 선호도 정렬 및 생성 품질을 지속적으로 향상함을 보여줍니다. 종합적으로 본 연구의 결과는 그래디언트 정렬을 개인화된 선호도 최적화를 위한 통합 원리로 확립하며, 쌍 선택이 휴리스틱 전처리 단계가 아니라 최적화 기하학의 본질적인 구성 요소임을 입증합니다.
가차 디코딩: 지시 준수를 통한 다양한 생성 도출
Gacha Decoding: Eliciting Diverse Generations Through Instruction Following
본 논문에서는 모델 성능에 비례하여 확장되며 다양한 언어 모델 생성을 도출하는 추론 시점(inference-time) 방법인 가차 디코딩(Gacha Decoding)을 소개합니다. 개방형 도메인(실제 대화, 창작 글쓰기, 이미지 생성을 위한 계획 수립, 단백질 설계) 전반에서, Gacha Decoding은 동일한 품질 조건 하에서 기존의 생성 다양성 접근법들을 크게 능가하며(차순위 기존 접근법 대비 최대 2.4배 높은 Vendi 점수 달성), 10배 이상 적은 샘플 수(11.0배)로도 동일한 수의 고품질 모드를 확보하고 기존의 어떤 접근법으로도 드러나지 않았던 새로운 모드를 발견합니다. 본 연구의 핵심 통찰은 다양성을 지시 준수(instruction-following) 문제로 다루는 데 있습니다. 즉, 언어 모델의 토큰 엔트로피에만 의존하는 대신 모델의 지시 준수 능력과 외부 난수 생성기(RNG) 도구의 무작위성을 결합하여 응답 공간의 구별되는 모드들을 확장 가능한 방식으로 식별하고 구현합니다. 이러한 '주사위 기반 계획 수립(planning with dice)' 접근 방식을 통해 Gacha는 다양성과 모델 성능 간에 오랫동안 관찰되어 온 긴장 관계를 반전시킬 수 있었습니다. 기반 언어 모델의 지시 준수 능력이 향상될수록, 기존 접근법 하에서는 토큰 엔트로피와 다양성이 감소하더라도 Gacha Decoding 하에서의 다양성은 일관되게 향상됩니다. 종합적으로, 본 결과는 토큰 엔트로피 단독보다는 지시 준수가 생성 다양성을 견인할 수 있음을 강조합니다.
정확한 피드백은 제어가 아니다: LLM에서 텍스트 기반 폐루프 수정 평가
Exact Feedback Is Not Control: Evaluating Text-based Closed-Loop Revision in LLMs
폐루프(closed-loop) 수정은 대규모 언어 모델(LLM) 응용에서 점점 더 많이 쓰이지만, 실패는 불완전한 피드백 또는 올바른 피드백에 대한 비효과적인 대응에서 비롯될 수 있다. 우리는 정확한 길이, 어휘, 구성(compositional) 제약에 걸친 모든 남은 위반을 보고하는 결정론적 검증기(deterministic verifiers)를 갖춘 고정 예산 수정 프로토콜을 제안한다. 피드백의 정확성과 완전성을 고정함으로써 모델 측 수정 동작을 분리한다. 19개의 오픈·폐쇄형 소스 모델 전반에서, 컨트롤러 수준의 최종 결합 성공률 평균은 17.4%에서 99.8%까지 분포하며, 동일한 초안에서도 상당한 모델 간 격차가 지속된다. 통제 실험은 정확한(exact) 피드백에 대한 재현 가능한 모델별 반응을 보여준다. 사후 학습과 스케일(scale)은 이러한 반응을 재형성하지만, 정확한 수정에 더 가깝게 일관되게 끌어오지는 못한다. 모든 제약 계열에서 실패 궤적은 종종 이전 출력을 반복하며, 선행 반복은 이후 회복 가능성 저하와 연관된다. 매칭 상태(matched-state) 개입은 현재 초안과 피드백을 고정한 채 이전 대화를 제거하면 반복 탈출은 변하지만 최종 성공을 믿을 만하게 개선하지는 않음을 보여준다; 효과는 모델, 과제, 트리거 상태 구성에 따라 달라진다. 정확한 피드백은 수정 오류를 관찰 가능하게 하지만, 폐루프를 신뢰할 수 있게 만들지는 않는다. 코드 및 재현 방법: https://github.com/kevinjiang0121-cyber/exact-feedback-code.
시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?
Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.