PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.13439v2cs.CV공식 코드 · Papers with Code

VTBench: 자기회귀 이미지 생성을 위한 시각적 토크나이저 평가

VTBench: Evaluating Visual Tokenizers for Autoregressive Image Generation

최근 자기회귀(AR) 모델은 이미지 생성에서 강력한 성능을 보여주고 있으며, 여기서 핵심적인 구성 요소는 연속적인 픽셀 입력을 이산 토큰(token) 시퀀스로 매핑하는 시각적 토크나이저(VT)입니다. VT의 품질은 AR 모델 성능의 상한선을 크게 좌우합니다. 그러나 현재의 이산 VT는 연속형 변이형 오토인코더(VAE)에 비해 성능이 크게 뒤처져, 이미지 복원 품질이 저하되고 세부 디테일과 텍스트 보존이 제대로 이루어지지 않습니다. 기존 벤치마크들은 VT의 성능만을 분리하여 평가하지 않고 엔드투엔드 생성 품질에만 초점을 맞추고 있습니다. 이러한 공백을 해소하기 위해, 우리는 세 가지 핵심 과제인 이미지 복원, 세부 디테일 보존, 텍스트 보존 전반에 걸쳐 VT를 체계적으로 평가하고 다양한 평가 시나리오를 아우르는 포괄적인 벤치마크인 VTBench를 소개합니다. 우리는 복원된 이미지의 품질을 평가하는 일련의 지표를 사용하여 최신 VT들을 체계적으로 평가합니다. 연구 결과에 따르면, 연속형 VAE는 이산 VT에 비해 특히 공간적 구조와 의미적 세부사항을 유지하는 데 있어 우수한 시각적 표현을 생성하는 것으로 나타났습니다. 반면, 이산 VT가 생성하는 저하된 표현은 종종 왜곡된 복원, 미세한 질감 손실, 텍스트 및 객체 무결성 보존 실패로 이어집니다. 나아가 우리는 GPT-4o 이미지 생성에 대한 실험을 수행하고 잠재적인 AR 특성을 논의함으로써 시각적 토큰화(tokenization)의 역할에 대한 새로운 통찰을 제공합니다. 우리는 추가 연구를 지원하기 위해 벤치마크와 코드베이스를 공개하며, 오픈소스 커뮤니티가 강력한 범용 오픈소스 VT를 개발하도록 촉구합니다.

arXiv:2609.36756v3cs.CV

NesTok: 자기회귀 이미지 생성을 위한 중첩 자기정렬 1D 토크나이저

NesTok: Nested Self-Aligned 1D Tokenizer for Autoregressive Image Generation

1차원(1D) 가변 길이 시각적 토크나이저는 토큰 수를 달리하여 적응형 압축을 가능하게 하므로, 다운스트림 자기회귀(AR) 모델이 단일 토크나이저를 사용해 생성 품질과 계산 비용 간의 트레이드오프를 유연하게 조율할 수 있도록 돕습니다. 그러나 중첩 드롭아웃(nested dropout)에 기반한 기존 접근법들은 토크나이저의 표현 능력을 완전히 활용하지 못하는 경우가 많아 이미지 재구성 및 생성 모두에서 차선의 성능을 초래합니다. 본 연구에서는 동적 시각적 토크나이저에 맞춤화된 중첩 자기정렬 프레임워크인 NesTok을 소개합니다. NesTok은 토큰 길이에 걸친 재구성을 공동으로 최적화하는 동시에 전체 길이 시퀀스를 활용하여 더 짧은 시퀀스를 유도하는 교차 길이 학습(cross-length training)을 도입함으로써, 더 짧은 토큰 시퀀스가 전체 길이 시퀀스의 재구성 품질에 근접할 수 있도록 합니다. ImageNet에서 NesTok은 표준 학습 대비 실질적인 개선을 이루어내며 0.98의 rFID 점수를 달성합니다. 다운스트림 이미지 생성 작업에서는 기존의 가변 길이 자기회귀 이미지 생성 방식 중 ImageNet 256$\times$256에서 최고 수준인 1.46의 gFID 점수를 기록합니다. 코드는 https://github.com/Jiawei804/NesTok 에서 제공될 예정입니다.

arXiv:2609.27948v1cs.CV

VIVAS: 비전-언어 통합 자기회귀 감독을 통해 VLM 사전학습에서 시각적 지각 활성화하기

VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision

비전-언어 모델(VLM)은 강력한 성능을 보여주지만, 미세한 시각적 지각(fine-grained visual perception)이 부족하여 멀티모달 이해가 근본적으로 제한된다는 치명적인 한계를 여전히 겪고 있습니다. 본 논문에서는 이러한 병목 현상이 사전학습(pre-training) 중 텍스트 지향적 최적화 편향에서 기인한다고 보며, 이는 모델이 미세한 시각적 세부 정보를 간과하도록 유도하여 멀티모달 이해 능력을 저해합니다. 연구 결과, 이러한 병목을 극복하기 위해서는 두 가지 핵심 요소가 필요한 것으로 나타났습니다: (1) 안정적인 학습(training) 역학을 보장하는 통합 토큰(token) 공간 패러다임, (2) 핵심적인 시각적 표현을 포착하기 위해 구조적 세분성과 의미론적 정보가 모두 풍부하게 포함된 모달리티 정렬 고밀도 시각 감독 신호입니다. 이러한 통찰을 바탕으로, 통합 토큰 공간 패러다임을 기반으로 구축된 프레임워크인 VIVAS를 제안합니다. VIVAS는 시각 어휘를 통합하여 텍스트 어휘를 통합 비전-언어 어휘로 확장하는 고밀도 구조-의미론적 비전 토크나이저를 도입합니다. 사전학습 과정에서 VIVAS는 시각적 세부 정보와 언어적 콘텐츠 모두에 대해 비전-언어 통합 자기회귀 감독을 수행함으로써, 시각적 지각을 강화하여 멀티모달 이해도를 향상시킵니다. 12.4T 토큰으로 엔드투엔드 학습된 VIVAS는 7개 작업과 39개 멀티모달 벤치마크 전반에 걸쳐 최고 수준의 성능을 달성합니다.