arXiv:2611.02330v1 cs.SD

Spatial Transfusion: 구조화된 공간 장면 이해에서 생성과 편집까지

Spatial Transfusion: From Structured Spatial Scene Understanding to Generation and Editing

Jaeyeon Kim, Sebastian Braun, Hannes Gamper

제출 2026-11-03

한국어 초록

공간 오디오는 어떤 소리가 존재하는지뿐 아니라 그 소리가 어디에서 나오고 환경과 어떻게 상호작용하는지도 전달한다. 최근의 오디오-언어 모델은 이러한 장면을 점점 더 잘 이해하고 추론하지만, 공간 오디오의 이해, 생성, 편집은 여전히 대체로 분리되어 있다. 우리는 사전 학습된 공간 오디오 이해 모델을 VAE 잠재 변수에 대한 플로 매칭을 통해 생성과 편집으로 확장하는 통합 1차 앰비소닉스(FOA) 프레임워크인 Spatial Transfusion을 제시한다. 우리는 편집을 원자적 편집의 분류 체계에 기반한 구조화된 장면 변환으로 정식화한다. 사전 학습된 백본을 고정한 채, 모달리티 기반 LoRA 라우팅과 생성, 편집, 자연어 상호작용을 점진적으로 추가하는 커리큘럼을 도입한다. 실험 결과 Spatial Transfusion은 공간 이해 능력을 대체로 보존하면서 생성과 편집에서 전체 미세 조정보다 우수한 성능을 보인다. 결과 모델은 구조화된 인터페이스와 자연어 인터페이스 모두를 통해 제어 가능한 FOA 생성과 편집을 지원한다. 오디오 샘플은 https://microsoft.github.io/spatial-transfusion/ 에서 확인할 수 있다.

원문 초록

Spatial audio conveys not only what sounds are present, but where they originate and how they interact with the environment. Recent audio-language models increasingly understand and reason about such scenes, yet spatial audio understanding, generation, and editing remain largely separate. We present Spatial Transfusion, a unified first-order ambisonics (FOA) framework that extends a pretrained spatial audio understanding model to generation and editing through flow matching over VAE latents. We formulate editing as a structured scene transformation over a taxonomy of atomic edits. Keeping the pretrained backbone frozen, we introduce modality-based LoRA routing and a curriculum that progressively adds generation, editing, and natural-language interaction. Experiments show that Spatial Transfusion largely preserves spatial understanding while outperforming full fine-tuning in generation and editing. The resulting model supports controllable FOA generation and editing through both structured and natural-language interfaces. Audio samples are available at https://microsoft.github.io/spatial-transfusion/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.02330v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.