PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.03715v4cs.CV

텍스트-이미지 모델은 생각보다 텍스트 인코더에 덜 의존한다

Text-to-Image Models Need Less from Text Encoders Than You Think

텍스트-이미지(Text-to-image) 모델은 인간의 의도를 파악하는 주요 인터페이스로 텍스트 프롬프트(prompt)에 의존합니다. 프롬프트는 텍스트 인코더에 의해 임베딩(embedding)으로 인코딩되어 이미지 생성 과정을 조건화합니다. 텍스트 임베딩은 개별 토큰(token)의 의미를 넘어 구성성(compositionality) 및 속성 결합(attribute binding)과 같이 전체 프롬프트에 걸친 문맥 정보를 인코딩합니다. 그러나 이미지 모델이 실제로 이러한 풍부한 정보를 활용하는지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 '텍스트 표현의 어떤 측면이 이미지 생성에 필수적인가?'라는 질문을 다룹니다. 우리는 텍스트-이미지 확산 트랜스포머(diffusion transformer) 기반 모델이 일반적으로 텍스트 표현의 비교적 단순한 두 가지 측면에만 의존함을 보여줍니다: (i) 여러 토큰에 걸친 단어에 대해 인접한 토큰들을 하나의 단어 표현으로 병합하는 것, 그리고 (ii) 텍스트 인코더의 위치 임베딩(positional embedding)에 의해 각인되는 단어 순서입니다. 이를 입증하기 위해, 우리는 개별 단어의 의미와 순서만을 인코딩하고 전체 프롬프트에 대한 문맥 정보는 전혀 포함하지 않는 새로운 텍스트 임베딩을 구축합니다. 이러한 위치 태그가 지정된 단어 주머니(bag of position-tagged words) 표현만으로도 이미지 생성을 성공적으로 유도하기에 충분하며, 전체 텍스트 임베딩 기반 생성과 동등한 수준의 시각적 품질 및 텍스트 충실도를 달성함을 확인했습니다. 이는 일반적인 믿음과 달리, 텍스트-이미지 모델이 개별 단어 의미와 단어 순서를 넘어 텍스트 임베딩에 인코딩된 풍부한 정보를 활용하지 않는 경우가 많음을 보여줍니다. 대신 복잡한 언어적 구조의 디코딩은 이미지 모델 자체에 의해 수행됩니다. 프로젝트 웹페이지: https://nsping13.github.io/contextless-TTI/