전사된 벵골어 텍스트에서의 개방형 어휘 단어 인식
Open Vocabulary Word Recognition From Transcribed Bangla Texts
한국어 초록
광학 문자 인식(OCR)은 기술을 활용하여 문서를 스캔하고 텍스트를 추출함으로써 사람들의 작업을 수월하게 만듭니다. 소프트웨어 산업에는 다양한 OCR 시스템이 존재하지만, 벵골어에 적합한 신뢰할 수 있는 솔루션을 찾는 것은 많은 노력이 필요합니다. 필기체 텍스트의 경우 상황은 훨씬 더 까다롭습니다. 단어 이미지에서 단어를 인식하는 것은 모든 OCR 프로세스에서 가장 중요한 단계이며, 텍스트 이미지에서 단어를 분할한 직후의 두 번째 단계에 해당합니다. 이 단계가 실패하면 다른 단계가 아무리 우수하게 수행되더라도 OCR의 전반적인 성능은 저하됩니다. 본 연구는 심층 학습(deep learning)을 활용하여 필기체 벵골어 단어 이미지에서 단어를 인식하는 것을 목표로 합니다. 필기체 단어 이미지를 학습하고 테스트하기 위해 MobileNetV2 기반의 SSD, InceptionResNetV2 기반의 Faster R-CNN, 그리고 이 두 가지를 결합한 앙상블 모델 등 세 가지 객체 검출(object detection) 모델을 사용했습니다. 모델 결과의 효과를 높이기 위해 수정된 비최대 억제(Non-Maximum Suppression)를 도입했습니다. 다양한 사람들의 서로 다른 필체 스타일을 포함하는 9,841개의 필기체 벵골어 단어 이미지로 구성된 맞춤형 데이터셋을 구축했습니다. 테스트 데이터셋을 통해 세 모델의 성능을 모두 검증한 결과, 앙상블 모델이 92.61%의 F1-점수를 기록하며 가장 인상적인 성능을 보였습니다. 또한 단어 수준에서 앙상블 모델은 단어의 96.12%를 일정 수준 정확하게 인식했습니다. 시스템에서 발생하는 오류를 수정하기 위한 후처리 단계를 도입함으로써 시스템을 더욱 향상시킬 수 있습니다.
원문 초록
An optical character recognition (OCR) can scan a paper and extract text using technology, making people's jobs easier. While various OCR systems are available in the software industry, finding a reliable equivalent solution for Bangla takes much work. When it comes to handwritten texts, the situation is much more unusual. Recognizing words from word images is the most critical stage in any OCR process. It is the second stage after segmenting words from text pictures. If this stage fails, the overall performance of the OCR will be poor, regardless of how well the other phases perform. This study aims to recognize words using deep learning in a handwritten Bangla word image. Three object detection models, SSD with MobileNetV2, Faster R-CNN with InceptionResNetV2, and an ensemble model of these two, have been used to train and test handwritten word images. A modified Non-Maximum Suppression has been introduced to enhance the effectiveness of the models' results. A customized dataset of 9841 handwritten Bangla word images has been compiled, featuring diverse handwriting styles from various individuals. All three models' performances have been checked against the test dataset, and the ensemble model has been the most impressive, with an F1-score of 92.61%. Also, at the word level, the ensemble model correctly recognizes 96.12% of the words to some extent. The system can be further improved by introducing a post-processing phase to correct errors generated by the system.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
필사된 벵골어 문맥에서 색상에 구애받지 않는 단어 분할
Color Independent Word Segmentation From Transcribed Bangla Passages
광학 문자 인식(OCR) 시스템은 문서를 스캔하고 텍스트를 추출하여 업무를 용이하게 해줍니다. 소프트웨어 분야에서 수많은 OCR 시스템을 접할 수 있지만, 벵골어(Bangla)에 대해 신뢰할 수 있는 동등한 솔루션을 찾는 것은 어렵습니다. 필기체 텍스트의 경우 그 사례는 더욱 드뭅니다. 모든 OCR의 첫 번째 기본 단계는 텍스트 이미지에서 단어를 분할(segmentation)하는 것입니다. 이 단계가 실패하면 이후 단계가 아무리 우수한 성능을 보여도 전체 OCR의 성능은 저하될 수밖에 없습니다. 본 연구는 필기체 벵골어 텍스트 이미지에서 단어를 분할하는 것을 목표로 합니다. 본 연구는 종이와 잉크의 색상 및 종류에 관계없이 스마트폰으로 촬영한 모든 이미지에 적용할 수 있습니다. 또한 스마트폰으로 촬영한 이미지는 그림자 간섭을 유발할 수 있으므로, 본 연구를 위해 구축된 커스텀 데이터셋은 마주칠 수 있는 모든 가능한 장애 요소를 포함하도록 제작되었습니다. 7,374개의 단어에 대해 총 7,278개의 바운딩 박스가 생성되었으며, 이는 90.60%의 재현율(recall), 91.80%의 정밀도(precision), 91.20%의 F1 점수를 기록했습니다. 이 시스템은 여러 단어가 포함된 바운딩 박스에 중첩 연산을 적용하거나 적응형 임계처리(adaptive thresholding) 및 팽창 필터(dilation filter) 크기를 보다 정밀한 수준으로 조정함으로써 더욱 개선될 수 있습니다.
잡초가 많은 현장 영상에서의 소형 수분 매체 검출
Small-Pollinator Detection in Cluttered Field Video
현장 영상에서 수분 매체를 검출하는 것은 어렵다. 대상은 작고 시각적으로 유사하며, 흐림과 가림 상태에서 잡초가 많은 식생 배경 위에서 관측된다. 우리는 실용적인 단일 GPU 연산 예산 하에서 소형 수분 매체 검출에 대한 체계적인 실증 연구를 제시한다. BuzzSpot 챌린지 데이터셋을 사용하여 입력 해상도에 걸쳐 YOLO 및 RF-DETR 모델을 비교하고, 슬라이스 추론, 클래스 게이트 융합, 크기 라우팅 앙상블, 사후 시간적 처리를 평가한다. 1344픽셀 해상도의 RF-DETR Large가 최고의 숨겨진 테스트 결과를 달성하여 0.405 mAP50:95에 도달했으며, 1120픽셀 모델(0.379)과 최고 단일 모델 YOLO26m 기준선(0.366)을 능가했다. 가장 큰 성능 향상은 RF-DETR 채택과 입력 해상도 증가에서 나왔으며, 이는 검출기 선택과 입력 해상도가 추가적인 추론 시간 복잡도보다 더 효과적인 레버였음을 나타낸다. 해상도 향상은 소형 객체와 더 희귀한 호박벌 및 나방 클래스에서 가장 강했다. 슬라이스 추론 융합, 크기 라우팅 앙상블, 웜 스타트 1536픽셀 연속은 이 결과를 넘지 못했으며, 사후 시간적 처리는 유출된 진단 평가를 개선하지 못했다. 오류 분석은 벌-허버플라이 구별을 가장 명확한 남은 병목으로 확인했다. 인접 프레임은 사후 보정을 위한 올바르게 분류된 허버플라이 증거를 거의 제공하지 못했다. 이러한 결과는 최종 분류 결정 전 학습된 특징 수준의 시간적 집계의 필요성을 시사한다.
PRISM-DR: 당뇨망막병증을 위한 전문가 모델 기반 병변별 망막 추론
PRISM-DR: Per-lesion Retinal Inference with Specialist Models for Diabetic Retinopathy
당뇨망막병증은 예방 가능한 실명의 주요 원인이며, 초기 병변은 작고 대비가 낮아 수동 스크리닝에서 놓치기 쉽다. 대부분의 자동 검출기는 비증식성 당뇨망막병증(DR)의 네 가지 병변—미세동맥류(microaneurysms), 출혈(hemorrhages), 경성 삼출물(hard exudates), 연성 삼출물(soft exudates)—을 단일 다중 클래스 모델로 처리하지만, 이러한 병변은 크기, 색상, 형태, 발생 빈도에서 크게 달라 공유 모델은 희귀하고 어려운 클래스보다 흔하고 쉬운 클래스에 유리하게 작동한다. 우리는 PRISM-DR을 제안한다. 이는 병변별 파이프라인으로, 각 병변마다 고유한 설정을 갖춘 단일 클래스 검출기를 하나씩 학습한다. 원시 안저(fundus) 영상에서 파이프라인은 관심 영역(ROI) 크롭, 안저 특화 전처리, 네 개의 병렬 YOLO 검출기, 타일링(tiling), 5겹 교차 검증 폴드의 병변별 앙상블, 그리고 신뢰도(confidence)가 아닌 병변의 물리적 크기와 임상적 우선순위에 따라 중첩을 해결하는 병변 간 억제 단계를 적용한다. 병변별로 다섯 세대의 YOLO 중 최적을 선택하고, 데이터 증강(augmentation)은 베이지안 최적화(Bayesian optimization)로 조정한다. IDRiD에서 계층화 5겹 교차 검증으로 학습한 시스템은 테스트 mAP50 0.527, F1 0.529를 달성했으며, 경성 삼출물에서 AP50 0.561로 가장 높은 성능을 보였다. 미세조정 없이도 촬영 스케일이 IDRiD와 유사한 경우 모델이 잘 전이(transfer)되며, 시야(field of view)와 해상도가 달라질수록 성능이 저하된다. 이러한 절대 성능은 작은 단일 출처 학습 데이터셋과 어려운 과제를 반영한 것이지만, 각 병변을 별도의 검출 문제로 다루는 접근은 단일 다중 클래스 모델에 대한 실용적인 대안이다.
RISC-V 멀티코어 MCU 기반 비전 시스템에서의 저전력 번호판 감지 및 인식
Low-Power License Plate Detection and Recognition on a RISC-V Multi-Core MCU-Based Vision System
본 논문에서는 자동 번호판 인식(ALPR)을 위한 저전력 MCU 기반 엣지 디바이스의 첫 번째 구현 사례(저자들이 아는 한)를 제시한다. 이 설계는 9코어 RISC-V 프로세서인 GAP8과 QVGA 초저전력 흑백 이미저를 결합하여 활용한다. 제안된 시각 처리 파이프라인은 번호판 감지를 위한 SSDlite-MobilenetV2와 광학 문자 인식을 위한 LPRNet을 기반으로 한 멀티 모델 추론 방식을 사용하며, 공개 데이터셋에서 첫 번째 과제에 대해 38.9% mAP 점수를, 후자에 대해 99.13% 이상의 인식률을 달성한다. 실제 환경 데이터에서 이 파이프라인은 번호판 크롭 크기가 30x5 픽셀만큼 작은 경우에도 등록 번호를 인식한다. 적용된 압축 및 최적화 전략 덕분에, 멀티 모델 추론(687 MMAC)은 GAP8에서 실행 시 117 mW의 전력 소비로 1.09 FPS의 처리량을 달성한다. 본 솔루션은 이러한 수준의 네트워크 복잡도를 임베딩한 최초의 MCU급 디바이스로, Raspberry Pi3를 탑재한 기존 모바일급 ALPR 시스템 대비 73배 더 에너지 효율적이다. 제안된 설계는 어떠한 하드와이어드 가속 엔진도 사용하지 않으므로, 향후 알고리즘 개선을 위한 완전한 유연성을 유지한다.
Cotton-SF YOLO: 복잡한 밭 환경에서 초기 면화 봉오리 검출을 위한 구조 및 주파수 단서 학습
Cotton-SF YOLO: Learning Structural and Frequency Cues for Early Cotton Square Detection in Complex Field Environments
면화 봉오리는 면화의 초기 생식 성장을 나타내는 중요한 표현형 지표이며, 면화 봉오리의 자동 현장 검출은 면화 생육 모니터링 및 정밀 재배 관리에 중요한 근거를 제공한다. 그러나 복잡한 밭 환경에서의 초기 면화 봉오리 검출은 여전히 충분히 탐구되지 않았는데, 면화 봉오리는 크기가 작고, 자주 가려지며, 쉽게 흐려지고, 조명 변화의 영향을 받으며, 주변 면화 잎과의 대비가 낮기 때문이다. 이러한 과제를 해결하기 위해, 우리는 자연 현장 조건에서의 면화 봉오리 검출을 위해 YOLO26m 기반의 과제 지향형 프레임워크인 Cotton-SF YOLO를 제안한다. 작고 불규칙한 면화 봉오리 경계의 인식을 개선하기 위해, 검출기에 Dynamic Snake Convolution을 도입하여 변형 가능한 가장자리 특징의 적응적 추출을 가능하게 한다. 또한, C2f 구조에 스펙트럼 강화를 통합하여 주파수 영역 특징 변조 모듈을 설계하는데, 이는 주파수 영역 표현을 재조정하고 판별적인 가장자리 및 텍스처 단서를 강화하는 동시에 복잡한 면화 잎 배경으로부터의 간섭을 줄인다. 수동으로 주석이 달린 면화 봉오리를 포함하여 새롭게 구축하고 주석을 부여한 현장 데이터셋에서 학습 및 평가한 결과, 제안 모델은 mAP$_{50}$, mAP$_{50:95}$, 재현율 값으로 각각 0.8196, 0.4942, 0.7939를 달성하여 기준선 YOLO26m 대비 각각 1.25%, 3.45%, 2.96% 향상되었다. 소거(ablation) 실험 및 시각화는 구조 및 주파수 단서의 상보적 효과로 최상의 성능이 달성됨을 보여준다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
6 pages, 4 figures, 5 tables. Accepted version of the paper published in the 2023 26th International Conference on Computer and Information Technology (ICCIT). Code: https://github.com/FaiasPromit/Open-Vocabulary-Word-Recognition-From-Transcribed-Bangla-Texts.git