Beyond Reality: The Pivotal Role of Generative AI in the Metaverse
원문 초록
Imagine stepping into a virtual world that's as rich, dynamic, and interactive as our physical one. This is the promise of the Metaverse, and it's being brought to life by the transformative power of Generative Artificial Intelligence (AI). This paper offers a comprehensive exploration of how generative AI technologies are shaping the Metaverse, transforming it into a dynamic, immersive, and interactive virtual world. We delve into the applications of text generation models like ChatGPT and GPT-3, which are enhancing conversational interfaces with AI-generated characters. We explore the role of image generation models such as DALL-E and MidJourney in creating visually stunning and diverse content. We also examine the potential of 3D model generation technologies like Point-E and Lumirithmic in creating realistic virtual objects that enrich the Metaverse experience. But the journey doesn't stop there. We also address the challenges and ethical considerations of implementing these technologies in the Metaverse, offering insights into the balance between user control and AI automation. This paper is not just a study, but a guide to the future of the Metaverse, offering readers a roadmap to harnessing the power of generative AI in creating immersive virtual worlds.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
조화로운 계획과 렌더링: 시각적 텍스트 생성을 위한 자기회귀 레이아웃과 확산 모델의 딥퓨전
Planning and Rendering in Concert: DeepFusion of Autoregressive Layouts and Diffusion for Visual Text Generation
프롬프트(prompt)로부터 텍스트가 풍부한 이미지를 생성하려면 텍스트의 정확도(fidelity)와 주변 이미지와의 일관된 통합이 모두 필요합니다. 명시적 레이아웃(layout)은 어떤 텍스트가 어디에 나타나야 하는지에 대한 구조화된 지침을 제공할 수 있지만, 잘 짜인 계획만으로는 렌더러(renderer)가 이를 충실하게 구현할 것이라고 보장하지 못합니다. 기존의 레이아웃 기반 자기회귀(AR)-확산(diffusion) 시스템은 일반적으로 계획과 렌더링을 별도로 최적화(optimization)하므로, 플래너(planner)의 표현(representation)이 이미지 합성과 공동으로 적응되지 못합니다. 본 논문에서는 자기회귀적 계획과 연속적인 확산 렌더링을 공동으로 학습하는 딥퓨전(DeepFusion) 기반의 자율 시각적 텍스트 생성기인 DuetGen을 소개합니다. DeepFusion은 플래너의 프롬프트 및 경계 상자(bbox)-콘텐츠 은닉 상태(hidden states)를 확산 트랜스포머(diffusion transformer)의 조건으로 활용하여, 렌더링 감독(supervision)이 텍스트 계획과 시각적 출력을 연결하는 표현을 형성하도록 합니다. 또한 구조화된 계획 수립을 유지하고, 텍스트가 포함된 영역을 강조하며, 플래너 표현의 공간적 정밀도(precision)를 개선하기 위해 자기회귀 계획 감독, 텍스트 영역 가중 확산 학습, 보조 좌표 감독을 결합한 공동 목적 함수를 사용합니다. 추론(inference) 단계에서는 위상 인식 어텐션 변조(Phase-Aware Attention Modulation)를 통해 이미지 영역과 이에 매칭된 좌표 및 콘텐츠 상태 간의 대응 관계를 강화하여 생성된 계획의 영역별 실행을 촉진합니다. 2B 플래너와 4B 단일 스트림 DiT를 갖춘 DuetGen은 CVTG-2K에서 0.8293의 단어 정확도, LongText-Bench에서 0.938의 정확도를 달성하여 두 벤치마크(benchmark) 모두에서 훨씬 더 큰 Qwen-Image와 거의 대등한 성능을 보입니다. 이러한 결과는 자율 시각적 텍스트 생성을 위해 공동으로 학습된 계획 표현과 영역별 렌더링의 가치를 입증합니다.
InnoText: 시각 텍스트 생성 및 편집을 위한 통합 모델
InnoText: A Unified Model for Visual Text Generation and Editing
확산 모델(diffusion model)은 최근 고품질(high-fidelity) 이미지 합성에서 뛰어난 성과를 거두었지만, 시각 텍스트 생성 및 편집에 대한 적용은 상대적으로 덜 탐구된 상태이다. 일반적인 이미지 생성과 달리, 시각 텍스트 작업은 정밀한 구조적 규칙성과 가독성을 요구하며, 이는 작은 크기의 텍스트와 중국어와 같은 비라틴 문자(non-Latin script)에 추가적인 어려움을 초래할 수 있다. 기존 UNet 기반 모델은 종종 선명하고 일관된 텍스트를 생성하는 데 어려움을 겪는 반면, DiT 기반 모델은 더 표현력이 뛰어나지만 일반적으로 단일 작업에만 한정되어 중복된 학습 파이프라인, 일관되지 않은 시각적 스타일, 교차 작업 일반화(cross-task generalization) 저하를 초래할 수 있다. 이러한 과제를 해결하기 위해, 우리는 단일 모델 내에서 텍스트 생성과 편집을 모두 수행할 수 있는 통합 DiT 기반 프레임워크인 InnoText를 제안한다. 우리는 글꼴 크기(font scale) 전반에 걸쳐 표현을 강화하기 위한 Font Size-Aware Modulation(FSAM) 모듈, 미세한 충실도(fine-grained fidelity)를 개선하기 위한 Small-Character Aware Augmentation 전략, 그리고 적응적 최적화를 위한 Task-Specific Region Weighted Loss를 도입한다. 학습과 평가를 지원하기 위해, 우리는 또한 다양한 글꼴, 크기, 배경을 포함하는 고품질 이중언어(영어-중국어) 시각 텍스트 데이터셋을 구축한다. 실험 결과는 우리 방법이 우수한 생성 정확도와 편집 품질을 달성하며, 시각적으로 매력적이고 사실적인 텍스트 이미지를 생성함을 보여준다.
평균-점수 이산 확산: Score Entropy를 위한 사후 평균 디노이저
Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy
Score Entropy Discrete Diffusion(SEDD)는 비제약 양의 score ratio로 이산 역과정을 매개변수화한다. 양수성은 비음수 역 점프율을 보장하지만, 베이즈 실현가능성(Bayes realizability)을 보장하지는 않는다. 노이즈가 있는 상태에서의 ratio는 전방 커널 하에서 어떤 깨끗한 토큰 사후분포에 의해서도 공동적으로 유도될 필요가 없다. score-entropy 손실은 올바른 모집단 최적값을 갖지만, 그로부터 벗어난 경우에는 이 제약을 강제하지 않는다. 학습된 pure-uniform SEDD 체크포인트에서, 완전한 score vector의 대략 4분의 1이 좌표 box를 위반하고, 절반 이상은 그 안에 있으면서도 유효한 사후분포와 실질적으로 양립할 수 없다. 이러한 위반은 유한 단계 샘플링에서 정규화 이전 가중치가 음수가 되게 할 수 있다. 원시 score를 bridge polytope에 투영하면 관측된 모든 음수 가중치가 제거되고, 샘플러를 변경하지 않고도 외부 생성 PPL이 $203.6$에서 $175.1$로 개선된다. 우리는 깨끗한 토큰 사후 평균을 예측하고 이를 정확한 커널 의존 선형 사상을 통해 score로 변환하는 mean-to-score(M2S)를 제안한다. 이 구성은 완만한 support 조건을 만족하는 임의의 알려진 좌표별 연속시간 마르코프 체인(CTMC)에 적용된다. 균일 corruption의 경우, 확률 simplex를 bridge polytope로 사상하고; 흡수 마스크 corruption의 경우, 결과 목적함수가 MD4를 정확히 복원한다. 통제된 28.4M-매개변수 CIFAR-10 비교에서, M2S는 테스트 BPD를 $3.173$에서 $3.129$로, FID-50k를 $\CifarSEDDFID$에서 $\CifarMtwoSFID$로 낮춘다. 약 262B OpenWebText 토큰 슬롯으로 학습된 170M-매개변수 M2S 모델은 테스트된 모든 샘플링 예산에서 평가된 pure-uniform SEDD, GIDD, Neural CTMC 체크포인트를 능가하며, 128단계에서 생성 PPL $143.3$에 도달한다(가장 강한 pure-uniform 기준선의 $183.6$ 대비).
확장 Flow Map
Expanding Flow Maps
Flow 기반 생성 모델은 연속 및 이산 상태 공간 전반에서 빠르고 제어 가능한 생성의 놀라운 진전을 가능하게 해 왔지만, 기존 매개변수화는 고정 차원 또는 고정 시퀀스 길이로 제한된다. 본 연구에서는 조건부 노이즈로 상태를 보강하여 상태를 확장하는 확장 보간(expanding interpolant)을 따라 차원이 증가하는 분포들 사이의 flow를 정의하는 Expanding Generative Flows(EFlows)를 소개한다. 이 구성을 바탕으로, 확장 보간을 효율적인 소수 단계(few-step) 생성 모델로 증류(distillation)하는 flow map의 새로운 클래스인 Expanding Flow Maps(EFMs)를 제안한다. 각 EFM은 임의의 두 시간 단계 사이의 map을 두 가지 학습 가능한 연산으로 분해한다: 현재 상태를 조건으로 상태 공간에 새로운 좌표 또는 토큰(token)을 보강하는 확장 연산자(expand operator), 그리고 확장된 상태를 보간(interpolant)을 따라 앞으로 밀어주는 수송 map(transport map). 이 연산자들을 조합하면 상태를 동시에 확장하고 디노이징(denoise)하는 단일 map이 되며, 확장 연산자가 항등(identity)인 특수한 경우로 기존의 고정 캔버스(fixed-canvas) flow 및 flow map을 복원한다. 또한 프레임워크를 이산 심플렉스(discrete simplex)로 확장하여 가변 크기 그래프 생성과 가변 길이 시퀀스 생성을 가능하게 한다. 연속 및 이산 양식(modality) 모두에서, 출력 크기 자체가 학습 가능하고 제어 가능한 자유도인 설정을 위한 원칙적인 프레임워크로 EFlows와 EFMs를 확립한다.
Generation of Indian Sign Language Letters, Numbers, and Words
토론
이 논문과 연결된 포럼 글이 아직 없습니다.