NesTok: 자기회귀 이미지 생성을 위한 중첩 자기정렬 1D 토크나이저
NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation
1차원(1D) 가변 길이 시각적 토크나이저는 토큰 수를 달리하여 적응형 압축을 가능하게 하므로, 다운스트림 자기회귀(AR) 모델이 단일 토크나이저를 사용해 생성 품질과 계산 비용 간의 트레이드오프를 유연하게 조율할 수 있도록 돕습니다. 그러나 중첩 드롭아웃(nested dropout)에 기반한 기존 접근법들은 토크나이저의 표현 능력을 완전히 활용하지 못하는 경우가 많아 이미지 재구성 및 생성 모두에서 차선의 성능을 초래합니다. 본 연구에서는 동적 시각적 토크나이저에 맞춤화된 중첩 자기정렬 프레임워크인 NesTok을 소개합니다. NesTok은 토큰 길이에 걸친 재구성을 공동으로 최적화하는 동시에 전체 길이 시퀀스를 활용하여 더 짧은 시퀀스를 유도하는 교차 길이 학습(cross-length training)을 도입함으로써, 더 짧은 토큰 시퀀스가 전체 길이 시퀀스의 재구성 품질에 근접할 수 있도록 합니다. ImageNet에서 NesTok은 표준 학습 대비 실질적인 개선을 이루어내며 0.98의 rFID 점수를 달성합니다. 다운스트림 이미지 생성 작업에서는 기존의 가변 길이 자기회귀 이미지 생성 방식 중 ImageNet 256$\times$256에서 최고 수준인 1.46의 gFID 점수를 기록합니다. 코드는 https://github.com/Jiawei804/NesTok 에서 제공될 예정입니다.