PIXELRAG: 검색-증강 생성에서 웹 스크린샷이 텍스트를 능가한다
PIXELRAG: Web Screenshots Beat Text for Retrieval-Augmented Generation
검색된 웹 텍스트로 대규모 언어 모델(LLM)을 보강하는 방식이 지배적인 패러다임이 되었으나, 웹은 본질적으로 텍스트 기반이 아니다. 기존 시스템들은 HTML을 선형화하고 레이아웃, 시각적 구조, 서식을 제거하는 복잡한 파싱 파이프라인에 의존한다. 우리는 웹사이트를 원래의 시각적 형태로 표현하고 픽셀 공간에서 검색과 읽기를 완전히 수행하는 새로운 검색-증강 방법인 PixelRAG를 소개한다. 이는 텍스트 추상화를 제거하는 엔드-투-엔드 아키텍처를 구현한다. PixelRAG는 우리가 아는 한, 이러한 형태로 전체 Wikipedia 코퍼스를 대상으로 동작하는 최초의 파이프라인으로, 효율적인 시각적 검색 인덱스를 통해 3천만 개의 스크린샷 이미지로 구성된 데이터스토어로 확장된다. 기존 시각적 임베딩 모델(Qwen3-VL-Embedding)을 기반으로, PixelRAG는 신중하게 선별된 대조 학습 데이터를 활용하여 스크린샷 데이터에 대해 이 모델을 추가 파인튜닝한다. 검색된 스크린샷은 중간 텍스트 변환 없이 픽셀 입력으로 직접 비전-언어 모델(VLM)에 공급된다. PixelRAG는 검색 미사용 기준선과 텍스트 기반 RAG 기준선 모두를 일관되게 능가하며, 가장 놀랍게도 NQ 및 SimpleQA와 같이 널리 연구된 텍스트 중심 과제에서도 마찬가지이다. 또한 멀티모달 오픈 도메인 질의응답(MMSearch), 노이즈가 있는 뉴스 코퍼스 벤치마크(LiveVQA), 에이전틱 벤치마크(MoNaCo)에서도 강력한 성능 향상을 달성하며, 텍스트 기반 기준선 대비 최대 18.1% 정확도 향상을 이룬다. 마지막으로, 픽셀 표현은 이미지 압축을 통해 RAG에 새로운 효율성 수단을 제공하며, 정확도를 유지하면서 낮은 해상도에서 최대 3배의 토큰 비용 절감을 달성한다. 우리의 결과는 웹 검색에서 텍스트 표현의 필요성에 의문을 제기하며, 웹 RAG가 성능과 효율성 모두를 향상시키면서 웹의 본래 시각적 형태에서 직접 동작할 수 있음을 시사한다.