arXiv:2610.11792v1 cs.MM

AuraLuxMuse: 음악과 전문가 가이드를 활용한 미학적 무대 조명 디자인을 위한 적응형 융합 모델링

AuraLuxMuse: Adaptive Fusion Modeling for Aesthetic Stage Lighting Design with Music and Expert Guidance

Junyu Deng, Jiale Cao, Mengtian Li, Zhongxia Ji, Ruhua Chen, Yiyi He, Guangnan Ye, Zuo Hu

제출 2026-10-08

저자 비고

arXiv Comments

Accepted to appear in SIGGRAPH Asia 2026 Conference Papers

한국어 초록

우리는 전문가 지식, 표현 학습(representation learning), 선호도 적응형 모델링을 통합한 자동화된 미학적 무대 조명 디자인을 위한 새로운 시스템인 AuraLuxMuse를 제시한다. 라이브 공연 환경에서의 조명 디자인은 음악적 특징을 동적인 조명 동작으로 매끄럽게 변환해야 한다. 그러나 전통적인 작업 흐름은 여전히 시간이 많이 소요되고 노동 집약적이며 전이하기 어렵다. AuraLuxMuse는 음악과 전문적인 큐 시퀀스를 공유된 검색 공간(retrieval space)으로 인코딩하고, 큐 이벤트 밀도를 추정하며, 선택된 조명 기구(fixture) 명령을 목적지 무대에 맞게 재조정(retarget)한다. 이 시스템은 디자이너를 제약 없는 생성기로 대체하는 것이 아니라, 편집 가능한 큐를 반환함으로써 사전 제작(pre-production) 단계의 저작을 지원한다. AuraLuxMuse의 핵심에는 두 가지 주요 모듈이 있다: 오디오와 조명 큐 간의 정렬을 위해 대조 학습(contrastive learning)을 수행하는 조명-정렬 음악 사전학습(Lighting-Aligned Music Pretraining, LAMP)과, 스타일별 전문가 네트워크로 구성된 게이팅된 앙상블을 통해 디자이너의 의도에 따라 선호도를 인지하는 큐 검색과 적응을 조건화하는 선호도 적응형 전문가 혼합(Preference-Adaptive Mixture of Experts, PAMoE)이다. 학습과 평가를 지원하기 위해, 우리는 다양한 공연 시나리오에서 짝지어진 음악 오디오와 전문적인 조명 큐 시퀀스로 구성된 최초의 데이터셋인 Musilux를 소개한다. 우리는 가상 시뮬레이션 환경과 전문가급 실험실 모두에서 AuraLuxMuse를 평가한다. 객관적 평가와 주관적 평가를 포함한 실험 결과는 AuraLuxMuse가 시각적으로 일관되고 의미적으로 유의미하며 예술적으로 표현력 있는 무대 조명 큐를 검색하고 적응시킨다는 것을 보여주며, AI 지원 미학적 무대 디자인에 대한 그 잠재력을 시사한다.

원문 초록

We present AuraLuxMuse, a novel system for automated aesthetic stage lighting design that integrates expert knowledge, representation learning, and preference-adaptive modeling. Lighting design in live performance settings requires the seamless translation of musical features into dynamic lighting behaviors. However, traditional workflows remain time-consuming, labor-intensive, and difficult to transfer. AuraLuxMuse encodes music and professional cue sequences into a shared retrieval space, estimates cue-event density, and retargets selected fixture commands to the destination stage. It assists pre-production authoring by returning editable cues rather than replacing the designer with an unconstrained generator. At the heart of AuraLuxMuse are two key modules: Lighting-Aligned Music Pretraining (LAMP), which performs contrastive learning between audio and lighting cues for alignment, and Preference-Adaptive Mixture of Experts (PAMoE), which conditions preference-aware cue retrieval and adaptation on designers' intent through a gated ensemble of style-specific expert networks. To support training and evaluation, we introduce Musilux, the first dataset of paired musical audio and professional lighting cue sequences under diverse performance scenarios. We evaluate AuraLuxMuse across both virtual simulation environments and professional-grade laboratories. Experimental results, including objective and subjective evaluation, demonstrate that AuraLuxMuse retrieves and adapts stage-lighting cues that are visually cohesive, semantically meaningful, and artistically expressive, showing its potential for AI-assisted aesthetic stage design.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11792v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.