PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.06347v2cs.CL

범용 다국어 개체명 인식 모델을 구축할 때 중요한 것은 무엇인가?

What Matters When Building Universal Multilingual Named Entity Recognition Models?

최근 범용 다국어 개체명 인식(NER)의 발전은 다국어 트랜스포머 모델, 태스크별 아키텍처, 맞춤형 손실 함수, 대규모 학습 데이터셋에 의해 이끌려 왔다. 그러나 상당한 선행 연구에도 불구하고, 이러한 모델에 대한 많은 핵심 설계 결정이 체계적인 근거 없이 내려지며, 개별 구성 요소가 고립적으로가 아니라 조합으로만 평가된다는 것을 발견했다. 우리는 이러한 엄밀성 부족이 어떤 선택이 다국어 일반화를 향상시키는지 식별하기 어렵게 만들어 분야의 발전을 저해한다고 주장한다. 본 연구에서는 트랜스포머 백본, 아키텍처, 학습 목표, 데이터 구성, 임계값 선택에 대한 광범위한 실험을 수행한다. 이러한 결과를 바탕으로 100개 이상의 언어를 지원하는 범용 다국어 NER 모델 Otter를 제안한다. Otter는 강력한 다국어 NER 베이스라인 대비 일관된 성능 향상을 달성하며, 유사한 크기의 모델보다 F1에서 5.3%p 높은 성능을 보이고, 90배 더 큰 생성 모델과 비교해 경쟁력 있는 성능을 달성하면서도 훨씬 더 효율적이다. 재현성과 후속 연구를 촉진하기 위해 모델 체크포인트, 학습 및 평가 코드를 공개한다.

arXiv:2606.21895v1cs.CL

저자원 개체명 인식을 위한 후각 영감 희소 조합 코딩

Olfactory-Inspired Sparse Combinatorial Coding for Low-Resource Named Entity Recognition

저자원 개체명 인식(NER)을 위해 토큰 임베딩과 BiLSTM-CRF 사이에 후각 수용체-glomerular 병목 구조를 넣어, 사전학습 임베딩 없이 6개 다국어 데이터셋에서 희소 조합 코딩 기반 표현을 학습한다. 심각한 데이터 부족(1k 문장)에서 표현 병목이 강력한 정규화(regularizer)로 작용해 F1을 높였고, 벵골어·텔루구어 등 저자원 설정에서 일반 병목 대비 유의미한 이득과 수용체 층의 희소 특화가 관찰되었다.