Sequence to Sequence Learning for Optical Character Recognition
원문 초록
We propose an end-to-end recurrent encoder-decoder based sequence learning approach for printed text Optical Character Recognition (OCR). In contrast to present day existing state-of-art OCR solution which uses connectionist temporal classification (CTC) output layer, our approach makes minimalistic assumptions on the structure and length of the sequence. We use a two step encoder-decoder approach -- (a) A recurrent encoder reads a variable length printed text word image and encodes it to a fixed dimensional embedding. (b) This fixed dimensional embedding is subsequently comprehended by decoder structure which converts it into a variable length text output. Our architecture gives competitive performance relative to connectionist temporal classification (CTC) output layer while being executed in more natural settings. The learnt deep word image embedding from encoder can be used for printed text based retrieval systems. The expressive fixed dimensional embedding for any variable length input expedites the task of retrieval and makes it more efficient which is not possible with other recurrent neural network architectures. We empirically investigate the expressiveness and the learnability of long short term memory (LSTMs) in the sequence to sequence learning regime by training our network for prediction tasks in segmentation free printed text OCR. The utility of the proposed architecture for printed text is demonstrated by quantitative and qualitative evaluation of two tasks -- word prediction and retrieval.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
모달리티 게이트 딥 어댑터: 기존 출력을 정확히 보존하면서 고정된 임베딩 모델에 모달리티 추가하기
Modality-Gated Deep Adapters: Adding a Modality to a Frozen Embedding Model with Exact Preservation
멀티모달 임베딩 모델은 대규모로 배포되며, 검색 인덱스, 벤치마크 결과, 행동 감사(behavioral audit)는 모두 베이스 모델의 정확한 출력에 의존한다. 기존의 매개변수 효율적 방법으로 이러한 모델을 새로운 모달리티로 확장하면 이 출력이 조용히 바뀐다. LoRA 방식의 적응은 가중치를 병합하든 병합하지 않든 텍스트 경로를 재작성하므로, 저장된 모든 임베딩이 무효가 된다. 본 논문은 모달리티 게이트 딥 어댑터(modality-gated deep adapters)를 제안한다. 이는 고정된(frozen) 멀티모달 임베딩 LLM의 모든 디코더 층에 병목(bottleneck) 어댑터를 부착하고, 이를 모달리티별 팩(pack)으로 묶어 해당 모달리티가 인코딩되는 동안에만 실행되도록 한 것이다. 그 결과 기존 출력에는 전혀 변화 없이 모달리티를 추가할 수 있다. 어떤 팩도 담당하지 않는 입력은 베이스 모델 자체의 계산 그래프를 비트 단위로 변함없이 통과하며, 함께 로드된 팩들은 정확히 0인 격리 행렬(isolation matrix)로 합성된다. 두 성질은 모두 명제(proposition)로 서술되며, 초기화 시점뿐 아니라 임의의 학습 이후에도 성립하고, 추론 시 태스크 레이블이나 라우팅 메타데이터를 필요로 하지 않으며, 공개된 체크포인트에 대한 정확한 동일성(exact-equality) 테스트로 검증된다. 고정된 2B 베이스 모델에서, (커넥터 토큰으로 주입되는) 오디오 팩은 동일하게 학습된 대조군 대비 오디오-텍스트 R@10을 +3.4~+5.4포인트 향상시켰으며, 이는 모든 시드에서 양의 값이고 11배의 데이터에서도 재현되었다. 베이스 모델의 고정된 비전 경로를 재사용하는 열화상(thermal) 팩은 모든 시드에서 사전 등록한 합격 기준을 약 7배 수준으로 넘어서며, 열화상-텍스트 R@10을 0.224에서 0.785로 끌어올렸다. 인코더 교체 실험은 부족한 용량이 어디에 있는지 보여 준다. CLAP 방식 비교에서 Whisper 계열 인코더를 능가하는 외부 오디오 인코더가 고정된 LLM 내부에서는 R@10 기준 16포인트 뒤처졌으며, 따라서 필요한 용량은 게이트 어댑터가 배치하는 바로 그 층에 있다. 본 논문은 오디오 모델, 열화상 팩, 그리고 학습·평가·불변성(invariance) 검증 스위트를 공개한다. 모델은 huggingface.co/EximiusLabs에, 코드는 GitHub에 있다.
HySparse2: 이단계 KV 공유 하이브리드 희소 어텐션
HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing
장기 지평 및 다중 턴 에이전트는 일반적으로 짧은 액션을 생성하고 도구와 환경으로부터 긴 관측을 처리한다. 이렇게 늘어나는 컨텍스트는 효율적인 prefill, 컴팩트한 KV-cache 저장, 정확한 장문맥 검색을 요구한다. 이를 충족하기 위해 이단계 KV 공유를 갖는 하이브리드 희소 어텐션 아키텍처 HySparse2를 제안한다. 외부 수준에서 KV Bridging은 YOCO 스타일의 self-decoder와 cross-decoder 구조를 채택하되, full-attention 레이어만 연결한다. self-decoder는 하이브리드 슬라이딩 윈도우 어텐션(SWA)을, cross-decoder는 하이브리드 희소 어텐션을 사용한다. cross-decoder의 full-attention 레이어용 KV cache는 self-decoder의 full-attention 레이어 은닉 상태에서 생성된다. 내부 수준에서 HySparse2는 HySparse의 핵심 KV Reuse 설계를 유지하면서 두 가지를 개선한다. 첫째, 더 세밀한 장문맥 검색을 위해 블록 수준 희소성을 토큰 수준 희소성으로 바꾼다. 둘째, 희소 레이어의 별도 SWA 분기를 제거하고, 대신 최근 토큰의 슬라이딩 윈도우를 희소 선택에 반드시 포함시킨다. 이 이단계 KV 공유로 cross-decoder의 모든 KV cache를 self-decoder 은닉 상태만으로 구성할 수 있다. 따라서 prefill은 self-decoder 이후 종료되어 cross-decoder 레이어 전체를 건너뛸 수 있다. 80B-A3B MoE 모델에서 HySparse2는 장문맥 검색과 다중 턴 에이전틱 태스크에서 HySparse 및 Hybrid SWA보다 우수하며, prefill 연산과 KV-cache 저장을 크게 줄인다.
Advancing Multilingual Handwritten Numeral Recognition with Attention-driven Transfer Learning
SUT: a new multi-purpose synthetic dataset for Farsi document image analysis
Beyond the Attention: Distinguish the Discriminative and Confusable Features For Fine-grained Image Classification
Cross-Conditioned Recurrent Networks for Long-Term Synthesis of Inter-Person Human Motion Interactions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.