arXiv:1309.6162

JRC-Names: A freely available, highly multilingual named entity resource

Ralf Steinberger, Bruno Pouliquen, Mijail Kabadjov, Erik van der Goot

제출 2013-09-24

원문 초록

This paper describes a new, freely available, highly multilingual named entity resource for person and organisation names that has been compiled over seven years of large-scale multilingual news analysis combined with Wikipedia mining, resulting in 205,000 per-son and organisation names plus about the same number of spelling variants written in over 20 different scripts and in many more languages. This resource, produced as part of the Europe Media Monitor activity (EMM, http://emm.newsbrief.eu/overview.html), can be used for a number of purposes. These include improving name search in databases or on the internet, seeding machine learning systems to learn named entity recognition rules, improve machine translation results, and more. We describe here how this resource was created; we give statistics on its current size; we address the issue of morphological inflection; and we give details regarding its functionality. Updates to this resource will be made available daily.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03836v2cs.CV공통 태그 Machine Translation, Translation

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.

arXiv:2606.24366v2cs.CL공통 태그 Machine Translation, Named Entity Recognition

MorfFlex: 풍부한 형태론의 처리

MorfFlex: Handling Rich Morphology

본 논문은 굴절과 파생 모두에서 규칙성이 큰 언어에 적합한 형태론 사전 구조인 MorfFlex를 제시한다. MorfFlex의 주된 사용 사례로 체코어 형태론 사전인 MorfFlex CZ를 소개한다. 이 사전은 <어형, 표제어, 태그> 삼중항의 단순한 비구조적 목록으로 배포되지만, 수작업으로 유지되는 비공개 원본 파일과 변환 스크립트에는 정교한 굴절 및 파생 패턴 체계가 인코딩되어 있다. 이러한 패턴은 현재 1억 개 이상의 어형과 100만 개 이상의 표제어를 포함하는, 그렇지 않으면 방대했을 사전의 크기를 획기적으로 줄여 준다. MorfFlex CZ 사전은 프라하 의존 트리뱅크에서 수작업 형태론 주석의 일관성을 보장하는 필수 자원으로 쓰이며, MorphoDiTa와 같은 최첨단 자동 도구의 기반이 된다. 본 논문은 (i) 사전 내 풍부한 형태론 체계를 관리하는 효과적인 방법을 제시하고, (ii) 이러한 언어 자원이 코퍼스의 주석 일관성을 유지하고 고급 NLP 응용 개발을 지원하는 데 유용함을 보이는 데 초점을 둔다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.