DGT-TM: A freely Available Translation Memory in 22 Languages
원문 초록
The European Commission's (EC) Directorate General for Translation, together with the EC's Joint Research Centre, is making available a large translation memory (TM; i.e. sentences and their professionally produced translations) covering twenty-two official European Union (EU) languages and their 231 language pairs. Such a resource is typically used by translation professionals in combination with TM software to improve speed and consistency of their translations. However, this resource has also many uses for translation studies and for language technology applications, including Statistical Machine Translation (SMT), terminology extraction, Named Entity Recognition (NER), multilingual classification and clustering, and many more. In this reference paper for DGT-TM, we introduce this new resource, provide statistics regarding its size, and explain how it was produced and how to use it.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IntLawNER: 국제법 개체명 인식 데이터셋 및 벤치마크
IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law
국제법은 국가들이 행동을 조율하고, 무력 충돌을 규율하며, 인권을 보호하는 규범적 틀을 제공하지만, 그 텍스트에는 여전히 토큰 수준의 개체명 인식(NER) 자원이 없다. 본 논문은 국제법의 성문화된 출처를 위한 NER 데이터셋 및 벤치마크인 IntLawNER를 소개한다. 국제사법재판소(ICJ) 판결, UN 안전보장이사회 결의, 유럽인권재판소(ECtHR) 판결에서 2,987개의 gold 주석 문장과 8,094개의 개체 스팬을 포함하며, 기관별 7가지 개체 유형으로 주석되었다. IntLawNER는 후보 검색, LLM 기반 검증, 인간 검토를 거치는 비용 효율적인 하이브리드 알고리즘-에이전트 파이프라인으로 구축하였으며, 46만 8천 개의 원문 문장을 축소된 주석 집합으로 줄였고, gold 스팬의 89.6%는 silver 층에서 변경 없이 수용되었다. 그러나 silver-to-gold 분석은 도메인 특화 NER에서 인간-기계 집계 일치 지표가 오해를 불러일으킬 수 있음을 보여준다. 경계가 일치하는 스팬에 대한 Cohen's kappa=0.964는 누락된 개체, 경계 오류, 라벨 수정을 포함하면 macro-F1이 0.753인 사실을 가린다. 벤치마크는 제로샷 span 기반 GLiNER가 표면 형태보다 기관적 기능에 의존하는 개체 유형에서 붕괴함(0.243 micro-F1)을 보여 주며, 파인튜닝된 트랜스포머는 희귀 라벨에서 어려움을 겪는다. 라벨 대비를 보여 주는 신중히 선정된 퓨샷(few-shot) 예시는 모든 LLM의 제로샷 프롬프팅 성능을 향상시키며, Claude Opus 4.6이 0.873 micro-F1의 최고 점수를 기록했다. IntLawNER를 국제법 텍스트에서 참조를 추출하기 위한 벤치마크 및 재사용 가능한 자원으로 공개한다.
저자원 개체명 인식을 위한 BERT 기반 모델 대 대규모 언어 모델: 마라티어 비교 연구
BERT-based Models vs. Large Language Models for Low-Resource Named Entity Recognition: A Comparative Study on Marathi
마라티어와 같은 저자원 언어에서의 개체명 인식(NER)은 주석 리소스의 제한과 언어적 복잡성으로 인해 여전히 어려운 과제이다. 최근 대규모 언어 모델(LLM)은 다양한 자연어 처리(NLP) 과제에서 우수한 성능을 보여왔지만, 저자원 환경에서 특정 언어에 대한 NER에 대한 그 효과는 여전히 불확실하다. 본 연구에서는 MahaNER 데이터셋의 여러 변형에 대해 MahaBERT-v2를 파인튜닝하고, 이러한 모델의 성능을 기존 MahaNER 기준선 및 Gemini, LLaMA-3.3-70B, Gemma 모델을 포함한 주요 범용 LLM과 체계적으로 비교한다. 모든 모델은 마라티어 NER 테스트 데이터셋에서 정밀도, 재현율, F1-score 등 표준 지표로 평가된다. 실험 결과, 파인튜닝된 MahaBERT 기반 모델은 기준선과 평가된 모든 LLM을 일관되게 능가하며, 파인튜닝된 모델은 0.88~0.91의 F1-score를 달성하여 기존 MahaNER 모델(0.8843)을 상회하고, F1-score가 0.57~0.69인 LLM 기반 접근법의 성능을 크게 초과한다. 이러한 결과는 도메인 관련 데이터로 학습된 과제 특화·언어 중심 모델이 마라티어 NER에서 범용 LLM보다 여전히 더 효과적임을 보여주며, 저자원 언어 처리를 위한 특화 아키텍처의 지속적인 중요성을 강조한다.
공간 유전자 지도화를 통한 단일세포 생물학을 위한 비전 기반 모델
A vision foundation model for single-cell biology via spatial gene cartography
대부분의 단일세포 기반 모델은 언어 모델에서 파생되어 각 세포를 유전자 토큰의 시퀀스로 표현한다. 이는 유전자 간 관계와 종종 그 발현 크기를 버린다. 우리는 scVision을 제안한다. 이는 대신 각 세포를 연속 이미지로 렌더링하는 비전 기반 모델이다. 최적 수송(optimal transport)을 사용해 공발현 유전자가 공간적으로 이웃하도록 단일 공유·전조직(pan-tissue) 레이아웃의 고정 위치에 유전자를 배치하고, 전사체(transcriptome)를 유전자 프로그램이 국소 텍스처로 나타나는 이미지로 바꾼다. 7,200만 개의 인간 세포에 대해 마스크드 이미지 모델링(masked image modelling)으로 비전 트랜스포머를 사전학습하고, 미세조정 없이 고정된 인코더를 사용한다. 6개의 독립적 보류(hold-out) 연구에 대한 제로샷 평가에서 scVision은 가장 정확한 세포 유형 주석기이며, 감독 없이 유전자 프로그램을 복원해 기존 기반 모델과 고전적 베이스라인보다 앞선다. 다중 연구 통합에서는 배치 레이블을 한 번도 보지 않았음에도 가장 강력한 토큰 기반 모델과 맞먹는 성능을 내면서 가장 많은 생물학적 구조를 보존한다. 네트워크를 고정한 채 유전자 레이아웃을 치환하면 비전 트랜스포머 자체를 제거하는 것보다 정확도가 더 크게 떨어져, 신호를 담는 것은 네트워크가 아니라 생물학적으로 의미 있는 위치임을 보여준다. 발현 크기와 유전자 관계를 보존함으로써 scVision은 단일세포 표현 학습을 비전 문제로 재구성하여, 이를 컴퓨터 비전(CV)의 성숙한 방법들과 연결한다.
CrimeNER Demo: 범죄 도메인 개체명 인식
CrimeNER Demo: Named-Entity Recognition in the Crime Domain
우리는 문서에서 일반적인 범죄 관련 정보를 추출하고 두 단계의 세분화 수준으로 개체 유형에 분류할 수 있는 AI 기반 플랫폼인 CrimeNER Demo를 소개한다. CrimeNER 데이터베이스에 대해 사전학습(pre-training)된 NER 모델을 제공하며, 사용자가 자신의 주석(annotated) 데이터를 제공하여 특정 사례에 맞는 모델을 학습할 수 있도록 한다. 이 시연 플랫폼은 범죄 관련 NER 연구를 촉진하고, 연구자와 법 집행 기관을 위한 범죄 정보 자동 추출 실용 도구를 제공하는 것을 목표로 한다. 이 시연 플랫폼에는 다음이 포함된다: i) 범죄 도메인에 대한 사전학습된 NER 모델; ii) 사용자가 주석을 단 특정 데이터에 대해 모델을 파인튜닝(fine-tuning)할 수 있는 기능; iii) 문서에서 범죄 개체를 추출하고 주석을 달기 위한 자동 파이프라인. 데모 플랫폼, 데모 실행 튜토리얼, 비디오 시연은 GitHub에서 공개로 제공된다.
Transformer-Based Named Entity Recognition for Automated Server Provisioning
HEProto: A Hierarchical Enhancing ProtoNet based on Multi-Task Learning for Few-shot Named Entity Recognition
토론
이 논문과 연결된 포럼 글이 아직 없습니다.