양식 필드 검출(Form Field Detection, FFD)은 문서 이해 시스템의 핵심 구성 요소로, 대규모 산업용 디지털화부터 자동화된 분석을 위한 접근성 높은 양식 상호작용에 이르기까지 다양한 응용을 가능하게 한다. 기존의 객체 검출(object detection) 작업과 달리, FFD는 필드가 눈에 보이는 전경 콘텐츠가 아니라 레이아웃 구조와 공백(whitespace)에 의해 정의되는 경우가 많기 때문에 본질적으로 어려운 과제이다. 기존의 대규모 데이터셋(dataset)은 휴리스틱 기반 주석 파이프라인에 의존하는 경우가 많아, 노이즈가 많고 일관성이 떨어지는 레이블이 생성되어 신뢰할 수 있는 평가를 저해한다. 본 연구에서는 일관되고 고품질의 주석을 갖춘, 신중하게 큐레이션된 FFD 벤치마크인 mini-CommonForms를 소개하고, 최신 검출 접근법에 대한 상세한 평가를 제시한다. 이 벤치마크는 문서 자동화 및 접근성 지향 응용 분야에서 재현 가능한 연구를 지원하도록 설계되었다. 데이터셋과 코드는 https://github.com/moured/mini-commonforms 에서 확인할 수 있다.
자기지도 학습(self-supervised learning)은 기계 지능과 계산 신경과학 분야에서 중요한 패러다임이 되었다. 그럼에도 불구하고 자기지도 학습(SSL) 관련 현재 연구는 생물학적으로 그럴듯하지 않은 신용 할당(credit assignment), 즉 오류의 역전파,와 순전파 추론(feedforward inference), 즉 순차적이고 비병렬적인 정보 흐름에 의존한다. 예측 코딩(predictive coding, PC)은 역전파 특유의 한계를 피할 수 있는 생물학적으로 그럴듯한 수단을 제공한다. 그러나 비지도 PC는 원시 입력에 대한 생성 모델을 학습해야 하며, 이는 고차원 입력을 예측하는 것을 수반한다. 반면 지도 PC는 입력과 목표 레이블 간의 매핑을 학습하므로 인간 주석이 필요하고 지도 학습의 단점을 갖는다. 본 연구에서는 PC와 능동 지각(active perception)에 기반한 신경과학 기반 SSL 모델인 메타-표상 예측 코딩(meta-representational predictive coding, MPC)을 제안한다. MPC는 병렬 스트림에 걸친 데이터 표상의 예측을 학습함으로써 감각 입력에 대한 생성 모델의 필요성을 우회하여, 인코더만 사용하는 학습-추론 방식을 만든다.
문서 패킷(여러 문서가 하나의 파일로 연결된 것)은 정부 및 행정 업무 흐름에서 흔하지만, 이를 구성 문서로 분할하는 것은 특히 저자원 언어에서 어렵다. 우리는 Khondo(방글라어로 분할/세그먼트를 의미)를 소개한다. 이는 방글라데시 정부 양식에 대한 문서 패킷 분할의 첫 번째 벤치마크이다. 기존의 영어 및 OCR 텍스트 기반 데이터셋과 달리, Khondo는 이중언어(방글라–영어)이며 비전 네이티브(vision-native)로, 모델이 페이지 이미지에 직접 작동한다. 순차적 연결부터 완전 무작위 섞기까지 다섯 가지 연결 방식을 14개 행정 도메인에 걸쳐 포함하며, 정답 경계, 도메인 유형, 페이지 순서를 제공한다. 멀티모달 대규모 언어 모델(MLLM)의 제로샷 평가는 페이지를 원본 문서로 클러스터링하는 데는 비교적 잘 수행하지만, 섞인 후 원래 페이지 순서를 복원하는 데는 어려움을 겪는다는 것을 보여준다. 이 어려움의 원인을 분리하기 위해, 프롬프트 지시를 바꾸고 이어서 패킷 언어를 바꾸는 두 가지 통제 분석을 수행한다. 둘 다 주로 클러스터링보다는 순서 정렬에 영향을 미친다: (a) 명시적 페이지 순서 지시는 필요하지만 충분하지 않으며, (b) 영어 패킷이 방글라 패킷보다 더 안정적으로 순서가 정렬되어, 페이지 배열이 지배적 과제이고 언어는 부차적이지만 일관된 요인임을 보여준다. Khondo는 페이지 순서 재구성을 비전 기반 저자원 문서 이해의 핵심 미해결 문제로 확립하고, 이를 해결하기 위한 진전을 측정할 수 있는 통제된 벤치마크를 제공한다. 데이터셋과 코드는 https://huggingface.co/datasets/Mausul/khondo 에서 이용할 수 있다.