arXiv:2111.12351

Decoupling Visual-Semantic Feature Learning for Robust Scene Text Recognition

Changxu Cheng, Bohan Li, Qi Zheng, Yongpan Wang, Wenyu Liu

제출 2021-11-24

원문 초록

Semantic information has been proved effective in scene text recognition. Most existing methods tend to couple both visual and semantic information in an attention-based decoder. As a result, the learning of semantic features is prone to have a bias on the limited vocabulary of the training set, which is called vocabulary reliance. In this paper, we propose a novel Visual-Semantic Decoupling Network (VSDN) to address the problem. Our VSDN contains a Visual Decoder (VD) and a Semantic Decoder (SD) to learn purer visual and semantic feature representation respectively. Besides, a Semantic Encoder (SE) is designed to match SD, which can be pre-trained together by additional inexpensive large vocabulary via a simple word correction task. Thus the semantic feature is more unbiased and precise to guide the visual feature alignment and enrich the final character representation. Experiments show that our method achieves state-of-the-art or competitive results on the standard benchmarks, and outperforms the popular baseline by a large margin under circumstances where the training set has a small size of vocabulary.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23194v1cs.CV공통 태그 Decoder, Scene Text Recognition

길이 초과 장면 텍스트 인식: 2축 진단과 무학습 해결책

Out-of-Length Scene Text Recognition: A Two-Axis Diagnosis and a Training-Free Fix

장면 텍스트 인식(STR) 모델은 거의 전적으로 최대 25자의 단어 crop으로 학습되지만, 실제 배포(간판, 제품 라벨, 밀집 캡션)에서는 훨씬 더 긴 텍스트를 읽어야 한다. 본 논문은 그 실패를 진단한 뒤 이를 해소한다. 진단은 길이 초과 실패를 동시에 외삽하는 두 축(인코더의 너비 축과 디코더의 시간 축)으로 분리하고, 디코더 길이가 아닌 인코더 너비가 지배적인 실패 양상임을 보여준다. 표현 측면의 수정은 부분적인 완화만 가져온다. 학습 없는 rotary rescaling은 문자 오류율(CER)을 최대 2–4 포인트만 회복하고, 가중 미세조정 레시피는 표준 벤치마크 정확도를 개선하면서 6–8 포인트를 회복하지만, Long Text Benchmark(LTB)에서의 단어 정확도는 거의 0에 머문다. 이는 잔여 격차가 표현이 아니라 디코딩 메커니즘에 있기 때문이다. 그런 다음 수정되지 않은 단어 수준 체크포인트에서 추론 시점에 그 격차를 해소한다. 긴 이미지를 모델의 학습 너비에 맞춰 겹치는 crop으로 슬라이스하고, 각각을 독립적으로 분포 내(in-distribution)에서 디코딩한 뒤, 기하학 기반 앵커 편집 거리 정렬로 읽기 결과를 이어붙인다. 이 절차는 두 기본 체크포인트에 걸쳐 LTB에서 버킷 평균 단어 정확도 42.79–43.05%에 도달하며, 발표된 최신 기술(41.57%)과 맞먹고 가장 어려운 버킷에서는 11–12 포인트 앞선다. 일반 디코딩과 벽시계(wall-clock) 시간이 동등한 수준이며, 공개 PARSeq 체크포인트에 변경 없이 적용하면 47.11%에 도달한다. 청킹(chunking)을 적용하면 미세조정은 더 이상 도움이 되지 않는다. 디코딩 측면의 수정만으로도 목적에 맞게 설계된 아키텍처와 동등한 성능을 낸다. 진단 하네스와 구현을 공개한다.

arXiv:2607.13458v1cs.CV공통 태그 Decoder, Scene Text Recognition

트랜스포머 기반 장면 텍스트 인식을 위한 2차원 회전 위치 임베딩

2D Rotary Position Embedding for Scene Text Recognition with Transformers

장면 텍스트 인식(STR)은 곡률, 회전, 원근 왜곡 등 텍스트 외형의 다양성 때문에 여전히 어려운 과제로 남아 있다. 최근 트랜스포머 기반 접근법은 성능이 좋지만, 일반적으로 텍스트 이미지의 2차원 공간 구조를 무시하는 1차원 위치 인코딩에 의존한다. 시각 트랜스포머를 위한 회전 위치 임베딩(RoPE)의 축 방향 2차원 확장은 존재하지만, 대체로 정방형이고 등방성인 이미지 내용을 가정하며 인코더 자기-어텐션(self-attention) 내에서만 회전을 적용한다. 장면 텍스트는 두 가정 모두를 위반한다. 크롭은 뚜렷이 비등방성(anisotropic)이고, STR 모델은 인코더-디코더 구조이므로 디코더는 크로스-어텐션(cross-attention)을 통해 쿼리를 인코더의 2차원 배치와 연관짓어야 한다. 우리는 2D-RoPE-STR을 제안한다. 이는 (1) 텍스트 종횡비에 맞춘 비등방성 행/열 차원 할당과 (2) 인코더-디코더 크로스-어텐션으로의 회전 결합(rotary coupling) 확장을 통해 축 방향 2D-RoPE를 이 설정에 맞게 조정하며, 자기회귀(autoregressive) 디코딩 단계가 2차원 배치에 따른 인코더 토큰에 어텐션할 수 있게 한다. 이는 이전 인코더 전용 공식화가 다루지 않았던 설정이다. 두 변경 모두 본질적으로 매개변수 추가 없이(parameter-free) 적용되며, 위치 인코딩 모듈 외의 구조적 재설계가 필요하지 않다. 또한 우리는 상대적 2차원 위치가 어디에서 왜 도움이 되는지 식별하는 진단 프로토콜(위치 인코딩만을 분리하는 통제된 ablation 쌍, 이미지 수준 net-win 불일치 분석, 인코더 어텐션 시각화)을 도입한다. 이는 읽기 순서가 수평 직선에서 벗어나는 곡선, 회전, 원근 왜곡 배치에서 해당된다. 6개의 표준 벤치마크(IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, SVTP)에서 성능 향상은 바로 이러한 불규칙 배치에 집중되며, ablation은 1D RoPE 및 2D 사인·학습 가능 대안과 각 설계 선택을 분리한다.

arXiv:2606.24484v1cs.CV공통 태그 Decoder, Scene Text Recognition

WordArt 지향 장면 텍스트 인식의 발전: 데이터셋과 방법론

Advancing WordArt-Oriented Scene Text Recognition: Datasets and Methods

WordArt(예술적 텍스트)는 고도로 맞춤화된 폰트, 텍스처, 레이아웃을 특징으로 하며, WordArt 지향 장면 텍스트 인식(WATER)을 일반 장면 텍스트 인식(STR)보다 훨씬 더 어렵게 만든다. 기존 STR 데이터셋과 방법들은 일반적으로 정형 장면 텍스트와 고정 템플릿 입력을 중심으로 구축되어 있어 WATER로 확장하기 어렵다. 이에 우리는 데이터와 모델 두 관점에서 이 작업을 발전시키고자 한다. 데이터 측면에서, 기존 예술적 텍스트 데이터에 비해 규모가 수백 배 향상된 200만 개 합성 데이터셋 WATER-S를 구축한다. WATER-S는 두 가지 상호 보완적인 서브셋으로 구성된다. 하나는 업그레이드된 렌더링 파이프라인(SynthWordArt)으로 렌더링되어 고정밀도의 제어 가능한 합성 WordArt 데이터를 제공한다. 다른 하나는 프롬프트 마이닝을 위한 Qwen3-VL과 이미지 합성을 위한 Z-Image를 결합하여 생성되며, 현실적이고 다양한 데이터의 커버리지를 향상시킨다. 모델 측면에서, 우리는 WATERec을 제안한다. 이는 임의 형태의 입력을 지원하는 시각 인코더와 복잡한 레이아웃을 모델링하는 자기회귀 디코더를 채택하여, WordArt에 대한 고정 템플릿 STR의 병목을 구조적으로 해소한다. 실험 결과, 이 아키텍처는 기존 STR 방법들을 능가하며 WordArt와 같은 비정형 텍스트에서 최첨단 성능을 달성한다. 기존 실제 STR 데이터에서 신중하게 재구성된 WATER-R과 함께, 새로운 합성 데이터와 모델 설계를 갖춘 우리의 강력한 기준선은 WordArt-Bench에서 90.40%의 정확도를 달성하며, 범용 및 OCR 특화 비전-언어(vision-language) 모델 모두를 큰 마진으로 능가한다. 코드와 데이터는 https://github.com/YesianRohn/WATER에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.