한국어 초록
본 논문에서는 다중모달 상호작용(multimodal interplay)을 중심으로 구축된 대규모 다중모달 모델(large multimodal model)의 새로운 패러다임인 Gestalt를 제안합니다. 급격한 발전에도 불구하고 기존 대규모 다중모달 모델들은 병목에 직면하고 있습니다. 기존 접근 방식들은 각 모달리티의 고유한 특성과 모달리티 간의 관계를 간과한 채 주로 추가적인 모달리티를 수용하는 데만 집중하기 때문입니다. 인간의 다감각 지각이 지닌 다단계 특성에 착안하여, 본 연구는 모달리티별 처리에서 시작하여 교차 모달 정렬(cross-modal alignment)을 거쳐 더 깊은 다중모달 통합으로 나아가는 과정으로 다중모달 모델링을 체계화하는 다중모달 상호작용 피라미드(multimodal interplay pyramid)를 제안합니다. 이 피라미드를 기반으로 Gestalt는 통합된 이산 확산(discrete diffusion) 프레임워크와 상호작용 분할 구조를 채택하며, 학습 가능한 상호작용 토큰이 교차 모달 교환 및 통합을 매개하도록 합니다. 또한 이 피라미드는 데이터 구성 및 학습 전략도 체계화합니다. 이미지 생성, 다중모달 이해, 텍스트 전용 평가 전반에 걸친 뛰어난 성능은 Gestalt가 모달리티별 정보를 보존하면서 교차 모달 통합을 크게 향상시키고, 확산 기반 다중모달 모델의 장점을 효과적으로 활용하여 통합 다중모달 인공지능을 향한 유망한 경로를 제시함을 보여줍니다. 프로젝트 페이지: https://GeWu-Lab.github.io/Gestalt
원문 초록
In this paper, we propose Gestalt, a new paradigm of large multimodal model built around multimodal interplay. Despite rapid advances, large multimodal models are reaching a bottleneck: existing approaches focus primarily on accommodating additional modalities while overlooking the distinct characteristics of each modality and the relations among them. Motivated by the multistage property of human multisensory perception, we propose a multimodal interplay pyramid that organizes multimodal modeling as a progression from modality-specific processing, through cross-modal alignment, to deeper multimodal integration. Guided by this pyramid, Gestalt adopts a unified discrete diffusion framework and an interplay-partitioned architecture, with learnable interplay tokens mediating cross-modal exchange and integration. The pyramid also structures its data organization and training strategy. Strong performance across image generation, multimodal understanding, and text-only evaluation shows that Gestalt significantly improves cross-modal integration while preserving modality-specific information, effectively harnessing the strengths of diffusion-based multimodal models and offering a promising path toward unified multimodal intelligence. Project page: https://GeWu-Lab.github.io/Gestalt.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
평균-점수 이산 확산: Score Entropy를 위한 사후 평균 디노이저
Mean-to-Score Discrete Diffusion: Posterior-Mean Denoisers for Score Entropy
Score Entropy Discrete Diffusion(SEDD)는 비제약 양의 score ratio로 이산 역과정을 매개변수화한다. 양수성은 비음수 역 점프율을 보장하지만, 베이즈 실현가능성(Bayes realizability)을 보장하지는 않는다. 노이즈가 있는 상태에서의 ratio는 전방 커널 하에서 어떤 깨끗한 토큰 사후분포에 의해서도 공동적으로 유도될 필요가 없다. score-entropy 손실은 올바른 모집단 최적값을 갖지만, 그로부터 벗어난 경우에는 이 제약을 강제하지 않는다. 학습된 pure-uniform SEDD 체크포인트에서, 완전한 score vector의 대략 4분의 1이 좌표 box를 위반하고, 절반 이상은 그 안에 있으면서도 유효한 사후분포와 실질적으로 양립할 수 없다. 이러한 위반은 유한 단계 샘플링에서 정규화 이전 가중치가 음수가 되게 할 수 있다. 원시 score를 bridge polytope에 투영하면 관측된 모든 음수 가중치가 제거되고, 샘플러를 변경하지 않고도 외부 생성 PPL이 $203.6$에서 $175.1$로 개선된다. 우리는 깨끗한 토큰 사후 평균을 예측하고 이를 정확한 커널 의존 선형 사상을 통해 score로 변환하는 mean-to-score(M2S)를 제안한다. 이 구성은 완만한 support 조건을 만족하는 임의의 알려진 좌표별 연속시간 마르코프 체인(CTMC)에 적용된다. 균일 corruption의 경우, 확률 simplex를 bridge polytope로 사상하고; 흡수 마스크 corruption의 경우, 결과 목적함수가 MD4를 정확히 복원한다. 통제된 28.4M-매개변수 CIFAR-10 비교에서, M2S는 테스트 BPD를 $3.173$에서 $3.129$로, FID-50k를 $\CifarSEDDFID$에서 $\CifarMtwoSFID$로 낮춘다. 약 262B OpenWebText 토큰 슬롯으로 학습된 170M-매개변수 M2S 모델은 테스트된 모든 샘플링 예산에서 평가된 pure-uniform SEDD, GIDD, Neural CTMC 체크포인트를 능가하며, 128단계에서 생성 PPL $143.3$에 도달한다(가장 강한 pure-uniform 기준선의 $183.6$ 대비).
이산 확산 모델에서 전역 구성에서 인수별 전문가 구성으로
From Global to Factor-Wise Expert Composition in Discrete Diffusion Models
이산 확산 모델(discrete diffusion model)은 복잡한 추론 태스크를 해결하기 위한 강력한 프레임워크를 제공하며, 특히 여러 사전학습된 전문가(expert)를 결합하여 개별 학습 데이터를 넘어 일반화하는 조합적 생성(compositional generation)을 통해 그 역량을 발휘한다. 최근의 이론적 수정 연구들은 구성된 확산 다이나믹스를 의도한 목표 분포에 더 잘 정렬시키기 위해 시간 의존적 혼합 가중치(time-dependent mixing weights)를 도입하였다. 그러나 이러한 방법들은 각 생성 상태를 단일체로 취급하여 샘플 단위로 동작함으로써, 서로 다른 전문가들이 가질 수 있는 공간적 또는 기능적 특수성을 무시한다는 근본적인 한계가 있다. 본 연구에서는 이 한계를 해결하기 위해 확산 모델을 위한 인수별(factor-wise) 구성 프레임워크인 FactorDiff를 제안한다. 우리는 샘플을 더 작은 인수(factor)들로 분해할 수 있다고 가정하고, 각 인수를 가장 관련성 높은 전문가에게 동적으로 라우팅하는 샘플링 프로세스를 제안한다. 이 프레임워크를 공간/픽셀 수준의 구성으로 구체화하고 ARC-AGI 벤치마크에서 검증한 결과, 단순한 인수별 라우팅이 논리적 일관성과 공간적 분리(spatial disentanglement)를 요구하는 태스크에서 복잡한 전역 스칼라 가중치 방식을 일관되게 능가함을 보였다.
ChartSync: 시각-논리적 연쇄 차트 편집을 위한 벤치마크
ChartSync: A Benchmark for Visuo-Logical Cascading Chart Editing
생성형 이미지 편집 모델은 데이터 수정이 기하학적 동기화를 필요로 하는 구조화된 통계 차트를 처리하는 데 어려움을 겪는다. 우리는 이 과제를 시각-논리적 연쇄 편집(Visuo-Logical Cascading Editing, VLCE)으로 공식화한다. 그러나 기존 방법들은 국소적인 텍스트 대체에 국한되며 의존성을 인식하는 연쇄 업데이트에 어려움을 보인다. 이 능력을 체계적으로 평가하기 위해, 우리는 ChartSync를 소개한다. ChartSync는 정답에 대한 결정론적 시각-논리적 결합을 보장하는 프로그래밍 방식의 렌더링 파이프라인을 통해 구성된 전문가 검증 벤치마크이다. ChartSync는 9개 차트 범주와 4가지 과제 유형에 걸친 870개의 트리플렛으로 구성되며, 연쇄적인 텍스트-기하학 동기화를 특정적으로 테스트하는 235개의 기하학적으로 결합된 VLCE 인스턴스를 포함한다. 우리는 이 인스턴스들을 객관적 시각 지표와 비전-언어 모델 판사 패러다임을 결합한 이중 계층 프레임워크를 통해 평가함으로써, 저수준 충실도와 멀티모달 이해 및 추론을 함께 측정한다. 14개의 이미지 편집 모델과 하나의 코드 매개 파이프라인을 평가한 결과, 미묘한 능력 격차가 드러났다. 대부분의 오픈소스 모델은 기하학적 동기화에서 심각한 성능 저하를 보이는 반면, 두 개의 최전선 독점 모델만이 VLCE 능력의 창발적 징후를 나타냈으며, 이들의 잔여 오류는 주로 의미론적 고립과 배경 손상을 수반한다. 우리의 상세한 오류 분석은 이러한 실패 패러다임을 분해하여 미래 멀티모달 아키텍처를 안내할 핵심 메타 능력을 식별한다. ChartSync 데이터셋과 코드는 https://github.com/kaka-yjk/ChartSyncCodebase에서 공개적으로 배포된다.
RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크
RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction
확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.
Read It Back: 사전학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다
Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation
본 논문에서 우리는 SpectraReward를 제안한다. SpectraReward는 사전학습된 다중모달 대규모 언어 모델(MLLM)을 이미지 생성 강화학습을 위한 즉시 사용 가능한 보상 모델로 전환하는 추가 학습이 불필요한 보상 함수이다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 단일 이미지 조건부 교사 강제(teacher-forced) 순전파를 통해 원본 프롬프트가 생성된 이미지로부터 얼마나 잘 복원될 수 있는지를 측정한다. 이미지 조건부 프롬프트 로그-가능도의 평균을 보상으로 사용함으로써, 선호도 레이블이나 보상 모델 미세조정 없이 MLLM의 사전학습된 이미지-텍스트 정렬 능력을 직접 재활용한다. 나아가 우리는 Self-SpectraReward를 소개한다. Self-SpectraReward는 통합 다중모달 모델을 위한 특수 사례로, 정책 자체의 이해 브랜치가 생성 브랜치를 위한 보상 모델로 기능하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward를 검증하였으며, 이 연구는 두 가지 확산 모델, 세 가지 강화학습 알고리즘, 4B에서 235B 파라미터에 걸친 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 다섯 가지 분포 외(out-of-distribution) 텍스트-이미지 벤치마크를 포괄한다. 실험 결과, SpectraReward와 Self-SpectraReward 모두 생성 성능을 유의미하고 일관되게 향상시키며 기존 MLLM 기반 보상 학습 방법을 능가하였다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 우수한 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 동등하거나 이를 능가할 수 있어, 보상-정책 정렬(reward-policy alignment)이 효과적인 이미지 생성 강화학습의 핵심 요인임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/
StatLUT: Statistical Feature-Driven Multimodal 3DLUT Generation for Photorealistic Style Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
17 pages, 7 figures