분류에서 생성으로: 로마 제국 주화 설명을 위한 비전-언어 모델
From Classification to Generation: Vision-Language Models for Roman Imperial Coin Description
한국어 초록
로마 제국 주화를 목록화하려면 명문(legend)을 판독하고 도상을 식별하여 표준 참조 목록의 항목과 대응시켜야 한다. 기존 연구는 발행자 식별이나 뒷면 모티프 인식과 같이 이 과정의 개별 부분을 사전에 정의된 레이블 집합에 대한 분류 과제로 정식화하여 자동화하였다. 본 연구는 이와 달리 주화 설명을 이미지-텍스트 생성으로 정식화하고, 오픈 웨이트 비전-언어 모델(VLM)인 Qwen3-VL-8B-Instruct를 앞면 및 뒷면 명문 전사와 앞면 및 뒷면 도상 설명이라는 네 가지 과제에 맞게 적응시킨다. 학습 데이터를 얻기 위해 약 30,000건의 경매 기록을 구조화된 이미지-텍스트 쌍으로 변환한다. 각 주화의 양면을 분리하고, 명문과 설명을 추출하여 정규화하며, 앞면 설명을 흉상 유형 분류 체계에 맞추어 표준화한다. 이후 단일 20GB GPU에서 각 과제별로 별도의 저랭크 어댑터를 학습하고, 화폐학적 설명의 핵심 구성 요소를 포착하도록 정의한 지표로 각 과제를 평가한다. 적응된 모델은 네 가지 과제 모두에서 적응되지 않은 기본 모델과 GPT-4.1을 모두 능가하였으며, 명문 전사의 정규화 편집 거리를 GPT-4.1 대비 40% 이상 감소시켰다. 학습 데이터에 없는 명문에서는 개선 폭이 더 작지만 여전히 나타난다.
원문 초록
Cataloguing a Roman Imperial coin involves reading its legends and identifying its imagery in order to match it to an entry in the standard reference catalogue. Previous work has automated individual parts of this process, such as identifying the issuer or recognizing reverse motifs, by formulating each part as a classification task over a predefined set of labels. We instead formulate coin description as image-to-text generation and adapt an open-weight vision-language model (VLM), Qwen3-VL-8B-Instruct, to four tasks: transcribing the obverse and reverse legends, and describing the obverse and reverse imagery. To obtain training data, we convert approximately 30,000 auction records into structured image-text pairs. We separate the two sides of each coin, extract and normalize legends and descriptions, and standardize obverse descriptions against a bust-type taxonomy. We then train a separate low-rank adapter for each task on a single 20GB GPU, and evaluate each task with metrics that we define to capture the key components of numismatic descriptions. The adapted models outperform both the unadapted base model and GPT-4.1 on all four tasks, reducing the normalized edit distance of legend transcriptions by over 40% relative to GPT-4.1. The improvement is smaller, but still present, on legends absent from the training data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.14821v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.