arXiv:1911.07930

BiNet: Degraded-Manuscript Binarization in Diverse Document Textures and Layouts using Deep Encoder-Decoder Networks

Maruf A. Dhali, Jan Willem de Wit, Lambert Schomaker

제출 2019-11-13

원문 초록

Handwritten document-image binarization is a semantic segmentation process to differentiate ink pixels from background pixels. It is one of the essential steps towards character recognition, writer identification, and script-style evolution analysis. The binarization task itself is challenging due to the vast diversity of writing styles, inks, and paper materials. It is even more difficult for historical manuscripts due to the aging and degradation of the documents over time. One of such manuscripts is the Dead Sea Scrolls (DSS) image collection, which poses extreme challenges for the existing binarization techniques. This article proposes a new binarization technique for the DSS images using the deep encoder-decoder networks. Although the artificial neural network proposed here is primarily designed to binarize the DSS images, it can be trained on different manuscript collections as well. Additionally, the use of transfer learning makes the network already utilizable for a wide range of handwritten documents, making it a unique multi-purpose tool for binarization. Qualitative results and several quantitative comparisons using both historical manuscripts and datasets from handwritten document image binarization competition (H-DIBCO and DIBCO) exhibit the robustness and the effectiveness of the system. The best performing network architecture proposed here is a variant of the U-Net encoder-decoders.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02494v1cs.CV공통 태그 Semantic Segmentation, Transfer Learning

DeepStratNet: 희소한 레이블 환경에서 지진파 지층면 추적을 위한 문맥 인식 좌표 회귀 프레임워크

DeepStratNet: A Context-Aware Coordinate Regression Framework for Seismic Horizon Tracking under Sparse Labels

자동 지층면 추적(horizon tracking)은 3D 지진파 해석의 기초적인 작업입니다. 대부분의 기존 심층 학습(deep learning) 접근 방식은 주로 U-Net 기반 아키텍처를 사용하여 이를 조밀한 시맨틱 세그멘테이션(dense semantic segmentation) 문제로 공식화합니다. 이러한 모델은 정밀한 지층면 좌표를 추출하기 위해 후처리가 필요한 모든 픽셀에 대한 확률 맵을 생성하며, 시간/심도에서의 지층면 픽(horizon pick)은 학습(training)을 위해 조밀한 마스크로 변환되어야 합니다. 결과적으로 픽되지 않은 지진파 트레이스는 배경으로 처리되어 수렴(convergence)을 저해할 수 있으며, 전처리 및 후처리 과정 모두 최종 해석에 오차를 유발할 수 있습니다. 더욱이 2D 세그멘테이션 모델은 본질적으로 슬라이스 간 문맥을 포착하지 못하며, 3D 모델은 종종 연산 비용이 과도하게 듭니다. 대신 본 연구에서는 지층면 추적을 경계가 지정된 좌표 회귀(coordinate regression) 문제로 공식화하여, 모델이 각 횡방향 위치에서 목표 지층면의 시간/심도 좌표를 직접 예측하도록 합니다. 우리는 사전학습된 모든 비전 백본과 호환되는 경량 회귀 헤드를 제안하며, 슬라이스 간 문맥을 모델링하고 볼륨 전반에 걸쳐 연속적인 지층면 표면을 생성하기 위해 LSTM 모듈과 결합합니다. L1 및 L2 손실의 조합은 유효한 지층면 픽에서의 예측을 지도하며, 지질학적 정보를 반영한 정규화(regularization)는 연속적인 트레이스 간의 횡방향 연속성을 강화합니다. 통제된 실험 조건 하에서 뉴질랜드의 지진파 볼륨을 대상으로 세그멘테이션 및 회귀 구성 모두에서 네 가지 사전학습된 비전 백본을 평가합니다. 제안된 접근 방식은 RMSE 및 PCC를 포함한 지표를 사용한 정량적 평가와 정성적 평가 모두에서 세그멘테이션 기반 방식보다 지속적으로 우수한 성능을 보였으며, 학습 픽의 희소성(sparsity)이 증가함에도 더 높은 견고성을 입증했습니다. 마지막으로, 연속적인 트레이스 전반에 걸친 예측 편차가 지질학적 복잡성의 국소적 변화를 포착함으로써 후속 지진파 해석을 위한 자동화된 품질 관리 척도를 제공함을 보입니다.

arXiv:2610.01589v1cs.CV공통 태그 Semantic Segmentation, Transfer Learning

PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬

PAGER: Partial-to-global Alignment via Geometric and Relational Distillation

사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.