A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models
자연어 장면 묘사를 절차적 사운드스케이프(procedural soundscape)로 실시간 변환하는 음악 인터페이스를 제시하며, 대규모 언어 모델(LLM)이 원시 오디오 대신 해석 가능한 34개 필드의 카테고리형 설정 스키마를 생성해 퍼포머가 밝기·리듬 등의 파라미터를 즉각 조정할 수 있게 한다. 임베딩 검색·외부 LLM API·270M 로컬 파인튜닝 모델의 세 가지 백엔드를 지원하는 라이브 제너레이터 아키텍처는 새 설정을 백그라운드에서 처리하는 동안 오디오를 끊김 없이 유지하며, LAION-CLAP 평가에서 검색 기반 설정이 무작위 유효 설정보다 높은 텍스트-오디오 의미 정렬 점수를 기록했다.