sta.edu.cn

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.11792v1cs.MM

AuraLuxMuse: 음악과 전문가 가이드를 활용한 미학적 무대 조명 디자인을 위한 적응형 융합 모델링

AuraLuxMuse: Adaptive Fusion Modeling for Aesthetic Stage Lighting Design with Music and Expert Guidance

우리는 전문가 지식, 표현 학습(representation learning), 선호도 적응형 모델링을 통합한 자동화된 미학적 무대 조명 디자인을 위한 새로운 시스템인 AuraLuxMuse를 제시한다. 라이브 공연 환경에서의 조명 디자인은 음악적 특징을 동적인 조명 동작으로 매끄럽게 변환해야 한다. 그러나 전통적인 작업 흐름은 여전히 시간이 많이 소요되고 노동 집약적이며 전이하기 어렵다. AuraLuxMuse는 음악과 전문적인 큐 시퀀스를 공유된 검색 공간(retrieval space)으로 인코딩하고, 큐 이벤트 밀도를 추정하며, 선택된 조명 기구(fixture) 명령을 목적지 무대에 맞게 재조정(retarget)한다. 이 시스템은 디자이너를 제약 없는 생성기로 대체하는 것이 아니라, 편집 가능한 큐를 반환함으로써 사전 제작(pre-production) 단계의 저작을 지원한다. AuraLuxMuse의 핵심에는 두 가지 주요 모듈이 있다: 오디오와 조명 큐 간의 정렬을 위해 대조 학습(contrastive learning)을 수행하는 조명-정렬 음악 사전학습(Lighting-Aligned Music Pretraining, LAMP)과, 스타일별 전문가 네트워크로 구성된 게이팅된 앙상블을 통해 디자이너의 의도에 따라 선호도를 인지하는 큐 검색과 적응을 조건화하는 선호도 적응형 전문가 혼합(Preference-Adaptive Mixture of Experts, PAMoE)이다. 학습과 평가를 지원하기 위해, 우리는 다양한 공연 시나리오에서 짝지어진 음악 오디오와 전문적인 조명 큐 시퀀스로 구성된 최초의 데이터셋인 Musilux를 소개한다. 우리는 가상 시뮬레이션 환경과 전문가급 실험실 모두에서 AuraLuxMuse를 평가한다. 객관적 평가와 주관적 평가를 포함한 실험 결과는 AuraLuxMuse가 시각적으로 일관되고 의미적으로 유의미하며 예술적으로 표현력 있는 무대 조명 큐를 검색하고 적응시킨다는 것을 보여주며, AI 지원 미학적 무대 디자인에 대한 그 잠재력을 시사한다.

arXiv:2610.02045v2cs.CV

형태와 여백: 자율 AI 에이전트를 통한 얽힘 구성

Form and Void: Entangled Composition through an Autonomous AI Agent

양화 공간(positive space)과 음화 공간(negative space)은 시각적 구성의 기본 원리로, 시각적으로 일관된 형태와 다층적인 의미적 관계를 뒷받침합니다. 이러한 구성을 생성하는 것은 공통 경계를 공유하는 두 가지 의미론적 개념을 조율하여 제어해야 하므로 매우 까다롭습니다. 최근 텍스트-이미지(text-to-image) 모델과 멀티모달 대규모 언어 모델(MLLM)이 이미지 생성 및 시각적 이해에서 뛰어난 성능을 달성했음에도 불구하고, 특히 직접적인 단일 패스(single-pass) 프롬프팅 환경에서는 양화-음화 공간 생성이 여전히 어렵습니다. 본 연구에서는 단계별 양화-음화 공간 생성을 위해 설계된 멀티모달 에이전트인 FaV-A(Form and Void Agent)를 제시합니다. FaV-A는 점진적인 워크플로를 따릅니다. 먼저 기본 객체를 생성한 다음, 해당 형상과 공간 구조를 분석하여 후보 음화 공간 의미를 식별하고, 마지막으로 최종 이미지 생성 단계를 위한 구성 지침을 생성합니다. 실험 결과와 절제 분석(ablation analysis)은 FaV-A가 직접적인 제로샷(zero-shot) MLLM 베이스라인보다 시각적으로 일관되고 의미론적으로 정렬된 양화-음화 공간 구성을 생성하는 데 더 효과적인 프레임워크를 제공함을 보여줍니다.