PyTorchKR Papers

최신 논문

총 84편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06498v1cs.GR

생성형 픽토리얼 차트를 위한 의미-구조 정렬

Semantic-Structural Alignment for Generative Pictorial Charts

전통적인 통계 그래픽은 정확하지만, 픽토리얼 차트가 갖는 시각적 매력, 기억 용이성, 참여도가 부족한 경우가 많다. 우리는 의미 표현과 구조적 충실성 사이의 간극을 메우는 픽토리얼 차트 자동 합성을 위한 생성형 프레임워크를 제안한다. 차트를 단순히 스타일을 입힐 이미지로 취급하는 대신, 우리는 이 문제를 두 가지 병렬 외부 제어 신호로 안내되는 이중 조건 생성(dual-conditioned generation) 작업으로 설정한다. 하나는 편집 의도의 의미적 맥락을 포착하는 텍스트 프롬프트이고, 다른 하나는 추상적 통계 차트의 전역 구조를 제공하는 컨텍스트 이미지이다. 멀티모달 확산 트랜스포머(Multi-Modal Diffusion Transformer) 내에서 이러한 제어를 강화하기 위해, 우리는 두 가지 상보적인 특징 수준 메커니즘을 도입한다. 하나는 입력 차트에 공간 레이아웃을 고정하는 구조 정렬(structural alignment)이고, 다른 하나는 참조 이미지로부터 표현적 텍스처를 전달하는 의미 정렬(semantic alignment)이다. 길이, 면적, 각도, 위치 등 주요 시각 채널과 다양한 의미 도메인에 걸쳐 일반화하여, 우리 방법은 예술적으로 매력적이면서 구조적으로도 일관된 픽토리얼 차트를 생성한다. 광범위한 정량 평가와 지각적(perceptual) 사용자 연구를 통해, 우리 프레임워크가 기존의 조건부 생성 및 이미지 편집 기준선보다 우수함을 보여주며, 표현적인 시각적 스토리텔링에서 고충실도 데이터 기반 생성 모델링의 기반을 제공한다. 프로젝트 페이지: https://ssalign.github.io/.

arXiv:2606.06497v1cs.GR

실시간 AttentionBender: 비디오 확산 트랜스포머의 세분화된 인터랙티브 네트워크 벤딩

Real-Time AttentionBender: Granular Interactive Network Bending of Video Diffusion Transformers

생성형 비디오 모델은 뛰어난 시각적 충실도를 달성했지만, 프롬프트 전용 인터페이스는 창의적 주도권이 제한적이며 모델과 함께 작업하는 아티스트들로부터 모델의 물질적 프로세스를 숨깁니다. 우리는 Real-Time AttentionBender를 제시합니다. 이 도구는 비디오 확산 트랜스포머(DiT)의 전체 깊이에 걸쳐 네트워크 벤딩(network bending) 실천을 확장하고 이를 라이브 인터랙티브 생성에 구현합니다. DayDream Scope 에코시스템 내의 플러그인으로 구축되고 오픈소스 실시간 Wan 파이프라인을 래핑하는 이 도구는 셀프 어텐션, 크로스 어텐션, 순전파 신경망을 독립적으로 조작 가능한 표면으로 노출하며, 개별 확산 스텝, DiT 레이어, 프롬프트 토큰, 히든 뉴런 수준까지 세밀한 타겟팅을 지원합니다. 라이브 조작의 즉각성은 우리가 모델과의 '물질적 친밀감(material intimacy)'이라 부르는 것을 가능하게 합니다. 이는 특정 레이어와 뉴런이 생성 비디오를 어떻게 형성하는지에 대한 반응적이고 거의 기계적인 감각입니다. 우리는 이 도구를 트랜스포머 내부에 대한 XAIxArts 탐침인 동시에 모델의 기본 표현 공간 외부의 미학을 발견하기 위한 표현적 도구로 제시합니다.

arXiv:2606.06042v2cs.CV

LoomVideo: 다중모달 입력을 비디오 생성 및 편집에 통합

LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing

교차 배치된 다중모달 입력을 해석할 수 있는 통합 비디오 생성 및 편집 모델을 개발하는 것은 유망하면서도 도전적인 선행 연구 분야이다. 기존 통합 프레임워크는 주로 대규모 모델(일반적으로 130억(13B) 매개변수 이상)에 의존하며, 시퀀스 토큰을 연결하여 편집을 위해 소스 비디오 조건을 통합한다. 이 연결 방식은 불가피하게 시퀀스 길이를 두 배로 늘리며, 셀프 어텐션(self-attention) 메커니즘의 계산 복잡도를 4배로 증가시키고 감당하기 어려운 오버헤드를 초래한다. 이러한 병목을 해결하기 위해, 비디오 생성과 편집 모두를 위한 고효율 50억(5B) 매개변수 통합 아키텍처인 LoomVideo를 제안한다. LoomVideo는 표준 텍스트 인코더를 다중모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)로 대체하고, Deepstack 주입 메커니즘을 사용하여 다층 MLLM 특징을 확산 트랜스포머(Diffusion Transformer, DiT)와 정렬한다. 핵심적으로, 비디오 편집을 위한 오버헤드 없는(zero-overhead) Scale-and-Add 조건화 방식을 도입한다. 깨끗한 소스 비디오 잠재 표현(latent)을 스케일링하여 노이즈가 추가된 타겟 잠재 표현에 직접 더함으로써, 이 우아한 설계는 토큰 연결의 필요성을 제거하고, 복잡한 비강체(non-rigid) 편집에 대한 강건한 성능을 유지하면서 계산 비용을 획기적으로 줄인다. 또한, 다중 참조 이미지를 처리하기 위해 Negative Temporal RoPE 전략이 매끄럽게 통합된다. 광범위한 실험 결과, 우리의 소형 5B 모델이 포괄적인 벤치마크에서 최신(state-of-the-art) 또는 매우 경쟁력 있는 성능을 달성하며, 특히 전자상거래 및 패션 생성 시나리오에서 탁월한 우수성을 보인다. 오버헤드 없는 조건화 메커니즘 덕분에 LoomVideo는 유사한 성능의 모델 대비 추론 속도에서 최소 5.41배의 가속을 달성하여, 매우 실용적이고 효율적인 비디오 기초 모델(video foundation models)의 길을 연다.

arXiv:2606.07015v1cs.SD

반주 공동 생성을 통한 노래 생성과 노래 음성 변환의 통합

Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation

노래 생성과 노래 음성 변환(SVC)은 크게 발전해 왔지만, 오랫동안 각각 독립적으로 개발되어 왔습니다. 전자는 제로샷 화자 복제(speaker cloning)가 부족하고, 후자는 보컬-반주 시너지를 간과합니다. 이 격차를 메우기 위해, 우리는 화자 복제 노래 생성과 반주 공동 생성 SVC를 통합하는 최초의 end-to-end 프레임워크인 UniSinger를 제안합니다. 멀티모달 확산 트랜스포머(multimodal diffusion transformer)를 기반으로, SVC에서 노래 생성으로 화자 표현을 전달하는 통합 화자 임베딩 공간을 구성하여, 세밀한 교차 과제 음색 제어를 제공합니다. 다중 과제 최적화 충돌을 완화하기 위해, 과제별 모달리티 마스킹을 사용하는 커리큘럼 학습(curriculum learning) 전략을 설계하여, 모델이 의미 내용, 보컬 음색, 반주 간의 생성 메커니즘을 점진적으로 습득하도록 안내합니다. 실험 결과 두 과제 모두에서 최신(state-of-the-art) 성능을 보이며 상호 보완적 이점을 실현하여, 지능형 음악 제작을 위한 새로운 가능성을 제시합니다.