VTBench: 자기회귀 이미지 생성을 위한 시각적 토크나이저 평가
VTBench: Evaluating Visual Tokenizers for Autoregressive Image Generation
최근 자기회귀(AR) 모델은 이미지 생성에서 강력한 성능을 보여주고 있으며, 여기서 핵심적인 구성 요소는 연속적인 픽셀 입력을 이산 토큰(token) 시퀀스로 매핑하는 시각적 토크나이저(VT)입니다. VT의 품질은 AR 모델 성능의 상한선을 크게 좌우합니다. 그러나 현재의 이산 VT는 연속형 변이형 오토인코더(VAE)에 비해 성능이 크게 뒤처져, 이미지 복원 품질이 저하되고 세부 디테일과 텍스트 보존이 제대로 이루어지지 않습니다. 기존 벤치마크들은 VT의 성능만을 분리하여 평가하지 않고 엔드투엔드 생성 품질에만 초점을 맞추고 있습니다. 이러한 공백을 해소하기 위해, 우리는 세 가지 핵심 과제인 이미지 복원, 세부 디테일 보존, 텍스트 보존 전반에 걸쳐 VT를 체계적으로 평가하고 다양한 평가 시나리오를 아우르는 포괄적인 벤치마크인 VTBench를 소개합니다. 우리는 복원된 이미지의 품질을 평가하는 일련의 지표를 사용하여 최신 VT들을 체계적으로 평가합니다. 연구 결과에 따르면, 연속형 VAE는 이산 VT에 비해 특히 공간적 구조와 의미적 세부사항을 유지하는 데 있어 우수한 시각적 표현을 생성하는 것으로 나타났습니다. 반면, 이산 VT가 생성하는 저하된 표현은 종종 왜곡된 복원, 미세한 질감 손실, 텍스트 및 객체 무결성 보존 실패로 이어집니다. 나아가 우리는 GPT-4o 이미지 생성에 대한 실험을 수행하고 잠재적인 AR 특성을 논의함으로써 시각적 토큰화(tokenization)의 역할에 대한 새로운 통찰을 제공합니다. 우리는 추가 연구를 지원하기 위해 벤치마크와 코드베이스를 공개하며, 오픈소스 커뮤니티가 강력한 범용 오픈소스 VT를 개발하도록 촉구합니다.