Fast-StrucTexT: An Efficient Hourglass Transformer with Modality-guided Dynamic Token Merge for Document Understanding
원문 초록
Transformers achieve promising performance in document understanding because of their high effectiveness and still suffer from quadratic computational complexity dependency on the sequence length. General efficient transformers are challenging to be directly adapted to model document. They are unable to handle the layout representation in documents, e.g. word, line and paragraph, on different granularity levels and seem hard to achieve a good trade-off between efficiency and performance. To tackle the concerns, we propose Fast-StrucTexT, an efficient multi-modal framework based on the StrucTexT algorithm with an hourglass transformer architecture, for visual document understanding. Specifically, we design a modality-guided dynamic token merging block to make the model learn multi-granularity representation and prunes redundant tokens. Additionally, we present a multi-modal interaction module called Symmetry Cross Attention (SCA) to consider multi-modal fusion and efficiently guide the token mergence. The SCA allows one modality input as query to calculate cross attention with another modality in a dual phase. Extensive experiments on FUNSD, SROIE, and CORD datasets demonstrate that our model achieves the state-of-the-art performance and almost 1.9X faster inference time than the state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PaddleOCR 3.0 Technical Report
GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning
저희는 범용 멀티모달 이해 및 추론 능력 향상을 목표로 설계된 비전-언어 모델(VLM)인 GLM-4.1V-Thinking을 소개합니다. 본 보고서에서는 추론 중심 학습 프레임워크 개발 과정에서 도출한 주요 성과를 공유합니다. 먼저, 대규모 사전학습을 통해 뛰어난 잠재력을 지닌 강력한 비전 기초 모델을 개발하였으며, 이는 최종 성능의 상한선을 설정하는 역할을 합니다. 이후, 강화학습과 커리큘럼 샘플링(Reinforcement Learning with Curriculum Sampling, RLCS)을 제안하여 모델의 잠재력을 극대화하였고, 이를 통해 STEM 문제 해결, 비디오 이해, 콘텐츠 인식, 코딩, 그라운딩, GUI 기반 에이전트, 장문 이해 등 다양한 과제에서 전반적인 역량 향상을 달성하였습니다. 동급 모델 중 최첨단 성능을 기록하는 GLM-4.1V-9B-Thinking을 오픈소스로 공개합니다. 28개의 공개 벤치마크에 걸친 종합 평가에서, 본 모델은 거의 모든 과제에서 Qwen2.5-VL-7B를 능가하며, 훨씬 큰 규모의 Qwen2.5-VL-72B와 비교해도 18개 벤치마크에서 동등하거나 우수한 성능을 보였습니다. 특히, GLM-4.1V-9B-Thinking은 장문 이해 및 STEM 추론과 같은 난이도 높은 과제에서 GPT-4o와 같은 폐쇄형 모델과 비교해도 경쟁력 있거나 우수한 성능을 입증하여 강력한 역량을 재차 확인시켰습니다. 코드, 모델 및 추가 정보는 https://github.com/THUDM/GLM-4.1V-Thinking 에서 확인하실 수 있습니다.
Class-Agnostic Region-of-Interest Matching in Document Images
DrishtiKon: Multi-Granular Visual Grounding for Text-Rich Document Images
PP-DocBee2: Improved Baselines with Efficient Data for Multimodal Document Understanding
SimpleDoc: Multi-Modal Document Understanding with Dual-Cue Page Retrieval and Iterative Refinement
토론
이 논문과 연결된 포럼 글이 아직 없습니다.