arXiv:1908.09475

Adaptive Embedding Gate for Attention-Based Scene Text Recognition

Xiaoxue Chen, Tianwei Wang, Yuanzhi Zhu, Lianwen Jin, Canjie Luo

제출 2019-08-26

원문 초록

Scene text recognition has attracted particular research interest because it is a very challenging problem and has various applications. The most cutting-edge methods are attentional encoder-decoder frameworks that learn the alignment between the input image and output sequences. In particular, the decoder recurrently outputs predictions, using the prediction of the previous step as a guidance for every time step. In this study, we point out that the inappropriate use of previous predictions in existing attention mechanisms restricts the recognition performance and brings instability. To handle this problem, we propose a novel module, namely adaptive embedding gate(AEG). The proposed AEG focuses on introducing high-order character language models to attention mechanism by controlling the information transmission between adjacent characters. AEG is a flexible module and can be easily integrated into the state-of-the-art attentional methods. We evaluate its effectiveness as well as robustness on a number of standard benchmarks, including the IIIT$5$K, SVT, SVT-P, CUTE$80$, and ICDAR datasets. Experimental results demonstrate that AEG can significantly boost recognition performance and bring better robustness.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23194v1cs.CV공통 태그 Decoder, Scene Text Recognition

길이 초과 장면 텍스트 인식: 2축 진단과 무학습 해결책

Out-of-Length Scene Text Recognition: A Two-Axis Diagnosis and a Training-Free Fix

장면 텍스트 인식(STR) 모델은 거의 전적으로 최대 25자의 단어 crop으로 학습되지만, 실제 배포(간판, 제품 라벨, 밀집 캡션)에서는 훨씬 더 긴 텍스트를 읽어야 한다. 본 논문은 그 실패를 진단한 뒤 이를 해소한다. 진단은 길이 초과 실패를 동시에 외삽하는 두 축(인코더의 너비 축과 디코더의 시간 축)으로 분리하고, 디코더 길이가 아닌 인코더 너비가 지배적인 실패 양상임을 보여준다. 표현 측면의 수정은 부분적인 완화만 가져온다. 학습 없는 rotary rescaling은 문자 오류율(CER)을 최대 2–4 포인트만 회복하고, 가중 미세조정 레시피는 표준 벤치마크 정확도를 개선하면서 6–8 포인트를 회복하지만, Long Text Benchmark(LTB)에서의 단어 정확도는 거의 0에 머문다. 이는 잔여 격차가 표현이 아니라 디코딩 메커니즘에 있기 때문이다. 그런 다음 수정되지 않은 단어 수준 체크포인트에서 추론 시점에 그 격차를 해소한다. 긴 이미지를 모델의 학습 너비에 맞춰 겹치는 crop으로 슬라이스하고, 각각을 독립적으로 분포 내(in-distribution)에서 디코딩한 뒤, 기하학 기반 앵커 편집 거리 정렬로 읽기 결과를 이어붙인다. 이 절차는 두 기본 체크포인트에 걸쳐 LTB에서 버킷 평균 단어 정확도 42.79–43.05%에 도달하며, 발표된 최신 기술(41.57%)과 맞먹고 가장 어려운 버킷에서는 11–12 포인트 앞선다. 일반 디코딩과 벽시계(wall-clock) 시간이 동등한 수준이며, 공개 PARSeq 체크포인트에 변경 없이 적용하면 47.11%에 도달한다. 청킹(chunking)을 적용하면 미세조정은 더 이상 도움이 되지 않는다. 디코딩 측면의 수정만으로도 목적에 맞게 설계된 아키텍처와 동등한 성능을 낸다. 진단 하네스와 구현을 공개한다.

arXiv:2607.13458v1cs.CV공통 태그 Decoder, Scene Text Recognition

트랜스포머 기반 장면 텍스트 인식을 위한 2차원 회전 위치 임베딩

2D Rotary Position Embedding for Scene Text Recognition with Transformers

장면 텍스트 인식(STR)은 곡률, 회전, 원근 왜곡 등 텍스트 외형의 다양성 때문에 여전히 어려운 과제로 남아 있다. 최근 트랜스포머 기반 접근법은 성능이 좋지만, 일반적으로 텍스트 이미지의 2차원 공간 구조를 무시하는 1차원 위치 인코딩에 의존한다. 시각 트랜스포머를 위한 회전 위치 임베딩(RoPE)의 축 방향 2차원 확장은 존재하지만, 대체로 정방형이고 등방성인 이미지 내용을 가정하며 인코더 자기-어텐션(self-attention) 내에서만 회전을 적용한다. 장면 텍스트는 두 가정 모두를 위반한다. 크롭은 뚜렷이 비등방성(anisotropic)이고, STR 모델은 인코더-디코더 구조이므로 디코더는 크로스-어텐션(cross-attention)을 통해 쿼리를 인코더의 2차원 배치와 연관짓어야 한다. 우리는 2D-RoPE-STR을 제안한다. 이는 (1) 텍스트 종횡비에 맞춘 비등방성 행/열 차원 할당과 (2) 인코더-디코더 크로스-어텐션으로의 회전 결합(rotary coupling) 확장을 통해 축 방향 2D-RoPE를 이 설정에 맞게 조정하며, 자기회귀(autoregressive) 디코딩 단계가 2차원 배치에 따른 인코더 토큰에 어텐션할 수 있게 한다. 이는 이전 인코더 전용 공식화가 다루지 않았던 설정이다. 두 변경 모두 본질적으로 매개변수 추가 없이(parameter-free) 적용되며, 위치 인코딩 모듈 외의 구조적 재설계가 필요하지 않다. 또한 우리는 상대적 2차원 위치가 어디에서 왜 도움이 되는지 식별하는 진단 프로토콜(위치 인코딩만을 분리하는 통제된 ablation 쌍, 이미지 수준 net-win 불일치 분석, 인코더 어텐션 시각화)을 도입한다. 이는 읽기 순서가 수평 직선에서 벗어나는 곡선, 회전, 원근 왜곡 배치에서 해당된다. 6개의 표준 벤치마크(IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, SVTP)에서 성능 향상은 바로 이러한 불규칙 배치에 집중되며, ablation은 1D RoPE 및 2D 사인·학습 가능 대안과 각 설계 선택을 분리한다.

arXiv:2606.24484v1cs.CV공통 태그 Decoder, Scene Text Recognition

WordArt 지향 장면 텍스트 인식의 발전: 데이터셋과 방법론

Advancing WordArt-Oriented Scene Text Recognition: Datasets and Methods

WordArt(예술적 텍스트)는 고도로 맞춤화된 폰트, 텍스처, 레이아웃을 특징으로 하며, WordArt 지향 장면 텍스트 인식(WATER)을 일반 장면 텍스트 인식(STR)보다 훨씬 더 어렵게 만든다. 기존 STR 데이터셋과 방법들은 일반적으로 정형 장면 텍스트와 고정 템플릿 입력을 중심으로 구축되어 있어 WATER로 확장하기 어렵다. 이에 우리는 데이터와 모델 두 관점에서 이 작업을 발전시키고자 한다. 데이터 측면에서, 기존 예술적 텍스트 데이터에 비해 규모가 수백 배 향상된 200만 개 합성 데이터셋 WATER-S를 구축한다. WATER-S는 두 가지 상호 보완적인 서브셋으로 구성된다. 하나는 업그레이드된 렌더링 파이프라인(SynthWordArt)으로 렌더링되어 고정밀도의 제어 가능한 합성 WordArt 데이터를 제공한다. 다른 하나는 프롬프트 마이닝을 위한 Qwen3-VL과 이미지 합성을 위한 Z-Image를 결합하여 생성되며, 현실적이고 다양한 데이터의 커버리지를 향상시킨다. 모델 측면에서, 우리는 WATERec을 제안한다. 이는 임의 형태의 입력을 지원하는 시각 인코더와 복잡한 레이아웃을 모델링하는 자기회귀 디코더를 채택하여, WordArt에 대한 고정 템플릿 STR의 병목을 구조적으로 해소한다. 실험 결과, 이 아키텍처는 기존 STR 방법들을 능가하며 WordArt와 같은 비정형 텍스트에서 최첨단 성능을 달성한다. 기존 실제 STR 데이터에서 신중하게 재구성된 WATER-R과 함께, 새로운 합성 데이터와 모델 설계를 갖춘 우리의 강력한 기준선은 WordArt-Bench에서 90.40%의 정확도를 달성하며, 범용 및 OCR 특화 비전-언어(vision-language) 모델 모두를 큰 마진으로 능가한다. 코드와 데이터는 https://github.com/YesianRohn/WATER에서 이용 가능하다.

arXiv:2610.10592v2cs.CL공통 태그 Decoder

Wieszcz-XIX: 31억 단어 규모의 1918년 이전 폴란드어 코퍼스와 처음부터 학습된 시간적 제약 언어 모델

Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch

역사적 폴란드어는 언어로서 잘 문서화되어 있으나, 본 논문에서 다루는 시기의 기계 가독형 주석 데이터는 약 100만 단어에 불과하며, 나머지는 품질이 다양한 광학 문자 인식(OCR) 상태로 남아 있습니다. 본 논문에서는 1800년부터 1918년 사이에 출판된 폴란드어 문헌(대부분 정기간행물 호) 294,369개 문서, 67억 5천만 토큰(약 31억 단어) 규모의 코퍼스인 Wieszcz-XIX를 제시합니다. 이는 필터링, 중복 제거, 1918년 이후 데이터 유출 감사 및 문서 수준 분할을 수행하는 파이프라인을 통해 Wolne Lektury 및 Internet Archive로부터 수집되었습니다. 이 코퍼스는 동일한 시기의 주석 코퍼스보다 3자릿수 이상(1,000배 이상) 크며, 본 연구에서는 그 결함을 정량화합니다. 즉, 위양성 하한 기준의 인식 오류, 제거된 유사 중복, 그리고 전사된 출처에서 발견된 0.04~0.38% 바이트 수준의 알려진 잔여물을 제외하고 학습(training) 코퍼스 자체에서 배제된 1918년 이후 데이터 유출을 정량화하여, 공개된 코퍼스가 문서 단위로 학습에 사용된 코퍼스와 동일하도록 구성했습니다. 수작업으로 교정된 표본에서 텍스트 판독이 가능한 경우 문자 오차율(CER)은 0.68%이며, 표본 구절의 45%는 교정이 불가능했습니다. 이 데이터를 기반으로 47M부터 349M 매개변수 규모의 디코더 전용(decoder-only) 모델 계층을 처음부터(from scratch) 학습하고 시간적 제약성(temporal boundedness)을 측정합니다. 훨씬 더 큰 모델을 포함한 두 개의 현대 폴란드어 베이스 모델과 비교했을 때, 349M 모델은 역전 현상(crossover)을 보였으며 동일 규모의 비교 모델 대비 107M 모델 또한 유사한 역전 현상을 나타냈습니다. 1918년 이후 어휘는 비교 모델에서는 나타나지 않는 격차로서 해당 시대 어휘보다 약 3.1비트/바이트 더 많은 비용이 들었으며, 해당 시대 어휘는 비교 모델보다 더 적은 비트를 소모했습니다. 해당 시대의 텍스트가 주어졌을 때 본 모델들은 그 철자법을 유지한 반면 비교 모델들은 부분적으로만 유지했습니다. 매개변수를 늘리는 것이 데이터를 2회 순회(second pass)하는 것보다 약 2배 더 높은 성능 향상을 얻었습니다. 코퍼스, 코드, 가중치를 함께 공개합니다. 콘텐츠 주의: 모델은 반유대주의적 발언을 포함하여 당시 시대의 편견을 재현합니다.

arXiv:2606.26631v2cs.CV공통 태그 Decoder

효율적인 다중 턴 반복 멀티모달 추론을 위한 적응형 시각 KV 캐시 재사용

Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning

다중 턴 시각 추론은 반복적인 크롭과 국소 검사를 통해 증거를 확보하지만, 관측 영역이 겹치면 시각 인코딩과 프리필이 중복된다. 본 논문은 추가적인 이미지 세부 정보에 대한 접근을 유지하면서 반복 처리를 줄이는 적응형 시각 KV 캐시 재사용 프레임워크를 제안한다. 핵심적인 어려움은 시각 프리필을 생략하면 새로운 관측과 현재 추론 사이의 상호작용도 함께 사라진다는 점이다. 과거의 키는 이전 위치에 묶여 있고, 과거의 값에는 크롭 사이에서 형성된 의도가 반영되어 있지 않다. 본 프레임워크는 먼저 크롭 크기와 캐시 가용성에 따라 전체 재인코딩과 영역 재사용 중 하나를 선택한다. 재사용 경로에서는 위치 키 재결합(Positional Key Rebinding, PKR)이 새로운 위치에서의 어텐션 매칭을 보정하고, 의도 유도 값 강화(Intent-guided Value Enhancement, IVE)가 크롭 이전의 추론 어텐션을 이용해 현재 목표와 관련된 내용을 강화한다. 전체 재인코딩된 크롭의 소스 상태는 이후의 검색과 재사용을 위해 보존된다. 본 프레임워크는 재사용이 적중한 경우 추가 학습이 필요하지 않으며, 선택된 시각 토큰에 대해 시각 인코더와 프리필을 건너뛴 뒤 일반적인 텍스트 추론을 재개한다. 실험 결과, 제안한 방법은 중간 크롭 이미지에 의존하는 다중 턴 시각 추론의 전체 정확도를 유지하면서 추론 시간을 줄인다.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.