PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10387v1eess.AS

GigaChat Audio: 시간 인식 대형 오디오 언어 모델

GigaChat Audio: Time-aware Large Audio Language Model

긴 녹음에서의 시간적 그라운딩(temporal grounding)은 오디오 조건부 대규모 언어 모델(LLM)에게 여전히 어려운 과제이다. 우리는 최대 120분 분량의 입력에 대해 명시적 타임스탬프와 함께 질문에 답하는 시간 인식 오디오 LLM을 제안한다. 우리의 접근 방식은 캐스케이드 파이프라인을 통한 대규모 합성 지도 학습을 활용하여 주기적 시간 마커를 연속적 오디오 토큰과 교차 삽입한다. 제안 모델은 단기 및 장기 벤치마크에서 강력한 시간적 그라운딩 정확도를 달성하며, 시간 앵커 기반 구간 설명 및 요약을 지원한다. 광범위한 절제 실험(ablation)을 통해 시간 표현 방식, 마커 빈도, 토큰화, 지속 시간 혼합 설계가 정확도와 계산 비용에 미치는 영향을 분석한다. 시간 인식 오디오 이해에 관한 추가 연구를 지원하기 위해 모델 가중치와 데이터셋을 공개하며, https://huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B 에서 이용 가능하다.