Text Recognition in Scene Image and Video Frame using Color Channel Selection
원문 초록
In recent years, recognition of text from natural scene image and video frame has got increased attention among the researchers due to its various complexities and challenges. Because of low resolution, blurring effect, complex background, different fonts, color and variant alignment of text within images and video frames, etc., text recognition in such scenario is difficult. Most of the current approaches usually apply a binarization algorithm to convert them into binary images and next OCR is applied to get the recognition result. In this paper, we present a novel approach based on color channel selection for text recognition from scene images and video frames. In the approach, at first, a color channel is automatically selected and then selected color channel is considered for text recognition. Our text recognition framework is based on Hidden Markov Model (HMM) which uses Pyramidal Histogram of Oriented Gradient features extracted from selected color channel. From each sliding window of a color channel our color-channel selection approach analyzes the image properties from the sliding window and then a multi-label Support Vector Machine (SVM) classifier is applied to select the color channel that will provide the best recognition results in the sliding window. This color channel selection for each sliding window has been found to be more fruitful than considering a single color channel for the whole word image. Five different features have been analyzed for multi-label SVM based color channel selection where wavelet transform based feature outperforms others. Our framework has been tested on different publicly available scene/video text image datasets. For Devanagari script, we collected our own data dataset. The performances obtained from experimental results are encouraging and show the advantage of the proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Text Change Detection in Multilingual Documents Using Image Comparison
Arabic Handwritten Document OCR Solution with Binarization and Adaptive Scale Fusion Detection
LEGAL-UQA: 영어-우르두어 병렬 벤치마크로 우르두어 화자를 위한 헌법 질의응답 시스템 시험하기
LEGAL-UQA: Testing Constitutional Question-Answering Systems for Urdu Speakers with a Parallel English-Urdu Benchmark
법률 정보 어시스턴트는 우르두어 화자가 자신의 헌법적 권리를 이해하도록 도울 수 있으나, 신뢰할 수 있는 시스템을 구축하려면 해당 언어에 적합한 시험 데이터와 평가 방법이 필요하다. 우리는 파키스탄 헌법의 구절과 연결된 619개의 질문-답변 쌍으로 구성된 영어-우르두어 병렬 벤치마크인 LEGAL-UQA를 제시한다. 각 예시는 질문, 참조 답변, 출처 구절을 두 언어로 모두 포함한다. 우리는 두 가지 구성요소를 별도로 평가한다. 하나는 출처 구절이 주어졌을 때 우르두어 질문에 답하는 것이고, 다른 하나는 각 질문이 생성된 출처 구절을 검색하는 것이다. 또한 자동 판정자로 사용되는 의사결정 모델인 JEV를 사람의 채점과 비교한다. 연구 결과, 모델 순위는 답변 유사도를 측정하는 방식에 따라 달라지며, 단순한 단어 매칭 방법이 시험한 임베딩 방법보다 출처 구절을 더 효과적으로 검색한다. 평가된 임계값에서 JEV는 모든 답변에 만점을 부여하는 기준선보다 사람의 채점과 덜 자주 일치한다. 또한 감사를 통해 생성된 참조 답변이 출처가 뒷받침하는 정보를 누락한 사례도 확인된다. 종합하면 이러한 결과는 우르두어 화자를 위한 법률 QA 소프트웨어를 설계할 때 검색과 답변을 별도로 시험하고, 단순한 검색 기준선을 포함하며, 자동 판정자와 참조 답변을 사람의 검토로 검증할 필요가 있음을 강조한다.
겉표지로 책을 판단하다: 다중 페이지 필기체 문서 전사를 위한 멀티모달 LLM 탐구
Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription
필기 텍스트 인식(HTR)은 여전히 까다로운 과제입니다. 기존 접근 방식은 실제 문제에서 확보하기 어려운 레이블이 지정된 데이터에 대한 미세조정(fine-tuning)을 필요로 하거나, OCR 엔진 및 멀티모달 LLM(MLLM)과 같은 제로샷(zero-shot) 도구에 의존합니다. MLLM은 엔드투엔드(end-to-end) 전사기와 OCR 사후 처리기 모두로서 유망한 가능성을 보여주었으나, 지금까지 HTR을 위한 다양한 MLLM 프롬프트(prompt) 전략, 특히 다중 페이지 문서에 대한 경험적 연구 평가는 거의 이루어지지 않았습니다. 대부분의 필기 문서는 다중 페이지로 구성되어 있으며 페이지 전반에 걸쳐 의미적 내용과 필체 스타일 같은 문맥을 공유하지만, MLLM은 일반적으로 페이지 단위 전사에 사용되어 이러한 공유 문맥을 버리게 됩니다. 또한 여러 양식을 활용하기보다는 텍스트 전용 사후 처리기 또는 이미지 전용 OCR 대안 중 하나로만 주로 사용됩니다. 본 논문에서는 제로샷 다중 페이지 필기체 문서 전사 과제를 위해 OCR, LLM 사후 처리, MLLM 엔드투엔드 전사를 결합한 일련의 방법을 조사합니다. 새로운 데이터셋(dataset)인 Malvern-Hills를 포함하여 기존 단일 페이지 데이터셋으로부터 이 과제를 위한 벤치마크(benchmark)를 소개합니다. 마지막으로, 프롬프트 복잡성을 최소화하면서 페이지 간 콘텐츠를 공유함으로써 기존 방식보다 뛰어난 성능을 보이는 다중 페이지 전사용 프롬프트 전략인 OCR+PAGE-1 및 OCR+PAGE-N을 소개합니다.
Orchestrator-Agent Trust: A Modular Agentic AI Visual Classification System with Trust-Aware Orchestration and RAG-Based Reasoning
PaddleOCR 3.0 Technical Report
토론
이 논문과 연결된 포럼 글이 아직 없습니다.