Improved Training of Mixture-of-Experts Language GANs
원문 초록
Despite the dramatic success in image generation, Generative Adversarial Networks (GANs) still face great challenges in synthesizing sequences of discrete elements, in particular human language. The difficulty in generator training arises from the limited representation capacity and uninformative learning signals obtained from the discriminator. In this work, we (1) first empirically show that the mixture-of-experts approach is able to enhance the representation capacity of the generator for language GANs and (2) harness the Feature Statistics Alignment (FSA) paradigm to render fine-grained learning signals to advance the generator training. Specifically, FSA forces the mean statistics of the distribution of fake data to approach that of real samples as close as possible in the finite-dimensional feature space. Empirical study on synthetic and real benchmarks shows the superior performance in quantitative evaluation and demonstrates the effectiveness of our approach to adversarial text generation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
전문가 혼합(MoE)을 위한 정확한 분위수 균형 및 부하 오류 주입
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
전문가 혼합(MoE) 학습은 전문가 미활용을 막기 위해 전역 부하 균형이 필요하고, 효율적인 전문가 병렬 실행을 위해 지역 균형이 필요하다. 기존 분산 Quantile Balancing(QB)은 샤드(shard)에 따라 달라지거나 근사적인 전역 분위수를 사용하며, 토큰과 무관한 전문가 편향(bias)으로는 마이크로배치(microbatch) 수준의 균형을 보장할 수 없다. 우리는 통신 부담이 거의 없이 정확한 전역 배치 BF16 분위수를 계산하는 Exact Quantile Balancing(EQB)과, 지역 부하 오류를 라우터 점수(router-score) 그래디언트에 직접 주입하는 Load-Error Injection(LEI)을 제안한다. 최대 500B 토큰까지 학습한 75억(7.5B) 매개변수 MoE에서 EQB는 단순 QB 대비 전역 균형과 하류(downstream) 성능을 개선하고, LEI는 지역 균형을 개선하며 유사한 품질에서 GShard 손실(loss)을 능가한다.
Moonworks Lunara: 예술적 지능(Artistic Intelligence) 모델링
Moonworks Lunara: Modeling Artistic Intelligence
우리는 \emph{예술적 지능(Artistic Intelligence)}을 탐험(exploration) 기반의 세계 실현(world realization)으로 정의하며, 반드시 유지되어야 하는 의미적, 예술적, 구성적 구조를 보존하면서도 창의적 가능성의 여지를 남긴다. 텍스트-투-이미지(text-to-image) 모델인 Moonworks Lunara는 새로운 Diffusion Mixture Transformer 아키텍처로 이 프레임워크를 구현한다. 새로운 학습 알고리즘은 정보성이 높은 샘플 획득과 인간이 제작한 예술 작품의 표적화된 주입을 통해 데이터 분포를 반복적으로 진화시킨다. 우리는 FLUX.2-Klein-4B, Qwen-Image(20B), GPT-Image-1-Mini를 포함한 7개의 이미지 생성 모델과 Lunara를 벤치마킹한다. GPT-5.6 Sol을 평가자로 사용했을 때, Lunara는 \emph{미적 품질(Aesthetic Quality)}에서 1위(8.473 대 GPT-Image-1-mini의 8.457)를 기록했으며, \emph{정서적 공명(Emotional Resonance)}에서는 2위를 차지했고, \emph{콘텐츠 무결성(Content Integrity)}에서도 경쟁력을 유지했다. 동일한 평가 세트에 대한 블라인드 인간 평가 역시 자동화된 지표를 뒷받침하며, Lunara를 1위로 평가했다. 또한 CLIPScore 및 LAION Aesthetic Predictor를 포함한 기존 측정 방식에서도 가장 우수한 모델군에 속한다. GenEval에서 Lunara는 GPT Image 2와 Seedream 4.0을 포함한 16개 모델로 구성된 더 폭넓은 비교 대상들과 견주어도 경쟁력 있는 성능을 달성한다. 이러한 결과는 Lunara를 10B 미만의 활성 매개변수(active parameter)와 10초 미만의 추론(inference) 지연시간을 유지하면서도 예술적 지능의 최전선에 위치시킨다. Lunara는 모델이 이미지를 올바르게 만들 수 있는지에 대한 질문을, 모델이 의미를 얼마나 깊이 해석하고 이를 상상력이 풍부하고 표현력 있는 세계로 실현할 수 있는지에 대한 질문으로 전환함으로써 일반적인 시각 지능(visual intelligence)의 최전선을 발전시킨다.
조화로운 계획과 렌더링: 시각적 텍스트 생성을 위한 자기회귀 레이아웃과 확산 모델의 딥퓨전
Planning and Rendering in Concert: DeepFusion of Autoregressive Layouts and Diffusion for Visual Text Generation
프롬프트(prompt)로부터 텍스트가 풍부한 이미지를 생성하려면 텍스트의 정확도(fidelity)와 주변 이미지와의 일관된 통합이 모두 필요합니다. 명시적 레이아웃(layout)은 어떤 텍스트가 어디에 나타나야 하는지에 대한 구조화된 지침을 제공할 수 있지만, 잘 짜인 계획만으로는 렌더러(renderer)가 이를 충실하게 구현할 것이라고 보장하지 못합니다. 기존의 레이아웃 기반 자기회귀(AR)-확산(diffusion) 시스템은 일반적으로 계획과 렌더링을 별도로 최적화(optimization)하므로, 플래너(planner)의 표현(representation)이 이미지 합성과 공동으로 적응되지 못합니다. 본 논문에서는 자기회귀적 계획과 연속적인 확산 렌더링을 공동으로 학습하는 딥퓨전(DeepFusion) 기반의 자율 시각적 텍스트 생성기인 DuetGen을 소개합니다. DeepFusion은 플래너의 프롬프트 및 경계 상자(bbox)-콘텐츠 은닉 상태(hidden states)를 확산 트랜스포머(diffusion transformer)의 조건으로 활용하여, 렌더링 감독(supervision)이 텍스트 계획과 시각적 출력을 연결하는 표현을 형성하도록 합니다. 또한 구조화된 계획 수립을 유지하고, 텍스트가 포함된 영역을 강조하며, 플래너 표현의 공간적 정밀도(precision)를 개선하기 위해 자기회귀 계획 감독, 텍스트 영역 가중 확산 학습, 보조 좌표 감독을 결합한 공동 목적 함수를 사용합니다. 추론(inference) 단계에서는 위상 인식 어텐션 변조(Phase-Aware Attention Modulation)를 통해 이미지 영역과 이에 매칭된 좌표 및 콘텐츠 상태 간의 대응 관계를 강화하여 생성된 계획의 영역별 실행을 촉진합니다. 2B 플래너와 4B 단일 스트림 DiT를 갖춘 DuetGen은 CVTG-2K에서 0.8293의 단어 정확도, LongText-Bench에서 0.938의 정확도를 달성하여 두 벤치마크(benchmark) 모두에서 훨씬 더 큰 Qwen-Image와 거의 대등한 성능을 보입니다. 이러한 결과는 자율 시각적 텍스트 생성을 위해 공동으로 학습된 계획 표현과 영역별 렌더링의 가치를 입증합니다.
MMOE: 효율적 전문가 설계를 통한 확산 트랜스포머의 현대화
MMOE: Modernizing Diffusion Transformers with Efficient Expert Design
현대의 대규모 언어 모델(LLM)은 용량 증가와 효율성을 병행함으로써 성공적으로 스케일링하며, 용량이 커질수록 토큰당 비용과 배포 비용을 통제합니다. AIGC 기반 모델(AFM), 특히 확산-트랜스포머 백본은 희소 전문가를 도입하기 시작했지만, 최근 연구들은 대부분 LLM 스케일링을 실용적으로 만든 효율성 메커니즘을 가져오지 않은 채 총 매개변수 수와 희소성 비율만 키우는 데 그쳐, 생성 품질이 학습 및 배포 비용과 균형을 이루는 경우가 드뭅니다. 이는 자연스러운 질문을 제기합니다: 효율적인 LLM 스케일링 뒤에 있는 아키텍처 원칙을 AFM에 더 균형 잡힌 방식으로 적용할 수 있을까? 우리는 ModernMOE(MMOE)를 제안합니다. 이는 라우팅 전문가, 공유 및 경량 전문가, 게이트-잔차 라우팅, 어텐션-잔차 정보 재사용을 AIGC 생성에 체계적으로 적용한 SiT 스타일 확산 트랜스포머의 현대화입니다. 전문가 혼합(MoE)을 단일 플러그인 대체로 취급하기보다, MMOE는 확산 트랜스포머 내부에 구성했을 때 서로 다른 현대적 전문가 구성 요소가 수렴, 효율성, 생성 품질에 어떤 영향을 미치는지 연구합니다. 본 논문의 모든 실험은 접근 가능한 단일 머신 예산으로, 단일 8-GPU H100 노드에서 배치 크기 256으로 40만 스텝 동안 학습되었습니다. 동일한 학습 및 샘플링 프로토콜과 이 예산 하에서, MMOE는 기록된 모든 체크포인트에서 더 낮은 FID, 즉 학습 스텝당 더 빠른 수렴을 밀집(dense) 및 중간 희소-전문가 베이스라인보다 달성하며, 희소 변형들 중에서 최상의 품질-비용 균형을 이룹니다. 라우팅 분석은 또한 깊이에 걸친 안정적인 전문가 특화, 경량 경로의 상당한 사용, 디노이징 중 단계 간 라우팅 변화의 적절한 수준을 보여줍니다. 이 결과는 AFM이 총 매개변수와 희소성 비율을 단순히 늘리는 것이 아니라 검증된 효율성 설계를 도입함으로써 LLM의 균형 잡힌 스케일링 경로를 따를 수 있음을 시사합니다.
Generation of Indian Sign Language Letters, Numbers, and Words
토론
이 논문과 연결된 포럼 글이 아직 없습니다.