현대 컴퓨터 비전(CV) 파이프라인은 여전히 분절되어 있으며, 텍스트-이미지 생성, 편집, 복원, 전통적인 인식(perception)과 같은 작업이 각각 별도의 모델로 처리된다. 우리는 단일 모델이 통합된 멀티모달 인터페이스를 통해 다양한 이미지 형태의 출력을 생성하는 통합 시각 생성(UVG)을 연구한다. 확산(diffusion) 기반 시스템은 뛰어난 품질과 제어 가능성(controllability)으로 UVG를 주도하지만, 반복적 샘플링으로 인해 상당한 추론 지연이 발생하여 실용적 배포를 제한한다. 이러한 한계를 해결하기 위해, 범용 멀티모달 언어 모델(MLLM)과 효율적인 next-scale 시각 자기회귀(VAR) 디코더를 결합한 프레임워크인 UniGen-AR를 제안한다. 이 설계는 MLLM 기반 조건화(conditioning)의 유연성을 유지하면서 VAR 모델의 샘플링 효율성과 잠재 공간 통합(latent unification) 특성을 활용한다. 우리 프레임워크에서 MLLM은 자유 형식의 지시와 제어 신호를 통합 시퀀스로 인코딩하며, 이는 VAR 디코더가 네 가지 계열에 걸친 15개 이상의 작업에 대해 이미지 형태의 출력을 생성하도록 안내한다. 실험적으로 UniGen-AR는 확산 기반 베이스라인 대비 최대 19배 낮은 추론 지연을 달성하면서 출력 품질을 유지하거나 개선한다. 우리의 ablation 연구는 VQ-VAE 토크나이저(tokenizer) 설계, 특히 codebook 크기와 계층 구조가 UVG에서 VAR 확장성(scalability)의 핵심 요인임을 추가로 밝힌다. 이 결과는 시각 자기회귀 모델링이 통합 시각 생성을 위한 설득력 있고 효율적인 백본(backbone)임을 입증한다. 프로젝트 페이지: https://zpbao.github.io/projects/unigenar.
RosettaSim은 대규모 언어 모델(LLM)의 어텐션 메커니즘과 구조적 사전지식을 활용하여 에이전트의 진입·이탈이 동적으로 발생하는 장기 교통 시뮬레이션을 통합 자기회귀 스트림으로 모델링하는 프레임워크다. Waymo Open Sim Agent Challenge(WOSAC)에서 단기·장기 시뮬레이션 모두 최고 성능을 달성했으며, 의미적으로 유사한 실제 시나리오를 검색해 문맥 인식 평가 기준으로 삼는 Retrieval-based Traffic Evaluation(RTE)은 기존 방법(r=0.74)보다 높은 상관관계(r=0.83)로 장기 시뮬레이션 품질을 더 신뢰성 있게 측정함을 보였다.
통합 멀티모달 모델링은 단일 시스템 내에서 비주얼 이해와 생성을 통합하는 것을 목표로 합니다. 그러나 기존 접근 방식은 일반적으로 두 개의 이질적인 비주얼 토크나이저에 의존하여 표현 공간을 분할하고 진정한 통합 모델링을 저해합니다. 본 논문에서는 단일 이산 비주얼 토크나이저가 이해와 생성 사이의 핵심 다리 역할을 하는 통합 자기회귀 프레임워크인 UniAR를 제안합니다. 이를 통해 모델은 추가적인 재인코딩 없이 자신이 생성한 비주얼 토큰을 직접 해석할 수 있는 공유 컨텍스트를 활용할 수 있습니다. UniAR는 다중 레벨 특징 융합과 룩업 프리(lookup-free) 비트와이즈 양자화 방식을 통해 사전학습된 비전 인코더를 적용하여, 최소한의 비용으로 유효 비주얼 어휘를 확장하면서 고수준 의미와 저수준 세부 정보를 모두 보존합니다. 이를 기반으로 통합 자기회귀 모델은 병렬 비트와이즈 예측(parallel-bitwise-prediction)을 채택하여 공간적으로 그룹화된 다중 레벨 비주얼 코드를 공동으로 예측함으로써, 비주얼 시퀀스 길이를 획기적으로 줄이고 생성 속도를 높입니다. 마지막으로, 디퓨전 기반 비주얼 디코더는 이산 비주얼 토큰을 처리하여 고충실도 이미지를 디코딩합니다. 대규모 사전학습, 이어지는 지도 미세조정 및 강화학습을 통해 UniAR는 이미지 생성 및 편집에서 최첨단 성능을 달성했으며, 멀티모달 이해 벤치마크에서도 경쟁력 있는 성과를 보입니다. 프로젝트 페이지는 https://sharelab-sii.github.io/uniar-web 에서 확인할 수 있습니다.
fMRI 신호로부터 시각 자극을 재구성하는 것은 기계 학습과 신경과학을 잇는 핵심적인 과제입니다. 최근 디퓨전 기반 방법들은 일반적으로 fMRI 활동을 단일 신경 임베딩으로 매핑하여 전체 생성 과정 동안 정적 가이던스로 사용합니다. 그러나 이러한 고정된 가이던스는 계층적 신경 정보를 붕괴시키며, 이미지 재구성의 단계별 요구사항과 정렬되지 않습니다. 이에 대응하여, 우리는 스케일별 자기회귀 모델링에 기반한 대략적에서 정밀하게(coarse-to-fine) fMRI-이미지 재구성 프레임워크인 MindHier를 제안합니다. MindHier는 다중 레벨 신경 임베딩을 추출하는 계층적 fMRI 인코더, CLIP 특징과의 층별 대응을 강제하는 계층 간 정렬 방식, 그리고 일치하는 스케일에서 자기회귀에 이러한 임베딩을 주입하는 스케일 인식 대략적에서 정밀하게 신경 가이던스 전략이라는 세 가지 구성 요소를 도입합니다. 이러한 설계는 인간 시각 지각과 유사하게 전역 의미론을 먼저 합성한 후 국소 세부 사항을 정제하는 계층적 재구성 과정을 가능하게 함으로써, MindHier를 디퓨전 기반 방법에 대한 효율적이고 인지적으로 정렬된 대안으로 만듭니다. NSD 데이터셋에 대한 광범위한 실험 결과, MindHier는 디퓨전 기반 베이스라인보다 우수한 의미론적 충실도, 4.67배 더 빠른 추론 속도, 그리고 더 결정론적인 결과를 달성함을 보여줍니다.