Latent Dirichlet Allocation in Generative Adversarial Networks
원문 초록
We study the problem of multimodal generative modelling of images based on generative adversarial networks (GANs). Despite the success of existing methods, they often ignore the underlying structure of vision data or its multimodal generation characteristics. To address this problem, we introduce the Dirichlet prior for multimodal image generation, which leads to a new Latent Dirichlet Allocation based GAN (LDAGAN). In detail, for the generative process modelling, LDAGAN defines a generative mode for each sample, determining which generative sub-process it belongs to. For the adversarial training, LDAGAN derives a variational expectation-maximization (VEM) algorithm to estimate model parameters. Experimental results on real-world datasets have demonstrated the outstanding performance of LDAGAN over other existing GANs.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동시 이미지 이해 및 생성: 자기 교정 결합 마르코프 점프 과정
Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes
인간 인지는 이해와 생성을 분리하지 않는다. 칠판 앞의 교사는 말과 그림을 함께 하며, 각 모달리티가 서로를 재형성한다. 본 논문에서는 이러한 결합 루프를 인공 시스템에 도입한다. 마스크 확산 모델(MDM)은 이 작업에 이상적으로 적합하지만, 기존 샘플러들은 텍스트와 이미지를 교차 디코딩하거나, 이전 단계 이력만 공유하고 동일 단계 내에서 다른 모달리티의 최신 결정은 공유하지 않는 병렬 분기에서 독립적으로 업데이트할 뿐이다. MDM의 재마스킹(remasking) 불가와 결합되면 교차 모달 모순은 감지되거나 복구되지 않는다. 우리는 한 모달리티의 전이율이 교차 모달 어텐션으로 가중된 다른 모달리티의 신뢰도 점수의 함수가 되는 프레임워크인 자기 교정 결합 마르코프 점프 과정(SC-CMJP)을 제안한다. 또한 재마스킹 점프는 교차 모달 증거가 결정에 반대될 순간 해당 확정을 철회한다. SC-CMJP와 함께, 결합 멀티모달 생성을 위한 새로운 학습 없는(training-free) 단일 패스 샘플러인 CO₂Jump(Self-Correcting Coupled Jump)를 제안한다. 학습 및 평가를 위해 JEdit-1M, JMaze-200K, JNono-200K의 세 가지 대규모 결합 멀티모달 생성 코퍼스를 구축했으며 공개할 예정이며, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 벤치마크를 함께 제공한다. CO₂Jump는 이미지 이해 및 편집뿐 아니라 시각적 추론(미로 및 논노그램 퍼즐 해결)에서도 최고의 결합 성능을 달성한다. 샘플러의 성능은 디노이징(denoising) 단계 수에 따라 단조(monotonically) 증가하며, 이는 교차 모달 결합의 이점이 궤적 전반에 걸쳐 누적(compound)됨을 보여준다. 프로젝트 페이지: https://coupled-jump.github.io
Boogu-Image-0.1: 오픈소스 통합 멀티모달 이해 및 생성 성능 향상
Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation
우리는 Base, Turbo, Edit, Edit-Turbo 변형으로 구성된 오픈소스 통합 멀티모달 이해 및 생성 모델 패밀리인 Boogu-Image-0.1을 소개한다. 이는 고품질 텍스트-이미지 생성, 빠른 추론, 지시 기반 편집, 이중언어(중국어-영어) 텍스트 렌더링에서 경쟁력 있는 성능을 제공한다. Nano-Banana-Pro와 GPT-Image-2와 같은 폐쇄형 멀티모달 시스템은 단일 모델이 아니라 시스템 수준 통합을 통해 강력한 성능을 달성하지만, 그 내부 관행은 대체로 공개되지 않았다. 본 연구에서는 모델 이해, 데이터 품질, 학습 파이프라인의 목표적 개선과 에이전트적 추론 시점 스케일링을 결합하면, 매우 제한된 연산 예산 하에서도 생성 및 편집 성능을 크게 향상시킬 수 있음을 보여준다. 포괄적 평가에 따르면 Boogu-Image-0.1은 표준 벤치마크 전반에서 다른 오픈소스 모델과 지속적으로 동등하거나 이를 능가하며, 선도적인 폐쇄형 시스템에 근접한 결과를 달성한다. 주목할 점은, 이것이 고유 이미지 2억 862만 장만으로 달성되었다는 것이다. 베이스 모델의 이론적 학습 비용은 약 $400K에 불과하다. 우리는 더 넓은 연구 커뮤니티에 가치가 있다고 믿는 실용적 논의를 공유하고, 통합 멀티모달 이해 및 생성을 위한 오픈 생태계를 발전시키기 위해 Apache 2.0 하에 가중치, 코드, 레시피를 공개한다. 코드는 여기에서 이용할 수 있다: https://github.com/Boogu-Project/Boogu-Image.
The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference
강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한
Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets
시나리오 기반 모델 예측 제어의 학습 기반 가속
Learning-enabled Acceleration of Scenario-based Model Predictive Control
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.