PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.07019v3cs.CV

LensVLM: 텍스트의 압축된 시각 표현을 위한 선택적 컨텍스트 확장

LensVLM: Selective Context Expansion for Compressed Visual Representation of Text

비전-언어 모델(VLM)은 텍스트를 긴 토큰 시퀀스로 토큰화할 필요 없이, 렌더링된 이미지로 처리할 수 있는 흥미로운 가능성을 제공한다. VLM 이미지 인코더는 고정 크기 이미지를 고정된 수의 시각 토큰으로 매핑하므로, 렌더링 해상도를 바꾸면 세밀한 압축 조절 수단이 된다. 그러나 압축이 커질수록 정확도는 빠르게 저하된다. 문자가 비전 인코더의 유효 해상도 아래로 줄어들어 구분이 불가능해지기 때문이다. 이를 해결하기 위해 우리는 LensVLM을 제안한다. 이는 VLM이 압축된 이미지를 스캔한 뒤, 학습된 도구를 통해 관련된 이미지만 선택적으로 비압축 형태로 확장할 수 있게 하는 추론 프레임워크이자 사후 학습 레시피이다. Qwen3.5-9B-Base를 기반으로 한 LensVLM은 4.3$\times$ 유효 압축에서 전체 텍스트 상한에 필적하는 정확도를 유지하며, 일곱 개의 텍스트 QA 벤치마크에서 최대 10.1$\times$ 유효 압축까지 검색 기반·텍스트 및 시각 압축 베이스라인을 능가한다. LensVLM은 또한 멀티모달 문서 및 코드 이해 작업으로 일반화되며, 압축이 증가할수록 베이스라인 대비 정확도 이득이 커진다. 우리의 분석은 이 접근을 뒷받침한다. 학습은 시각 압축을 렌더링 선택에 강건하게 만들고, 압축이 커질수록 모델은 신뢰할 수 없는 시각적 읽기보다 확장된 내용에 점점 더 의존한다. 분석은 또한 실용적인 도구 선택 지침을 제공한다. 렌더링된 텍스트에는 텍스트 확장이 바람직하고, 레이아웃 단서가 과제 관련 정보를 담는 네이티브 문서에는 고해상도 이미지 확장이 적합하다.