A Syllable-based Technique for Word Embeddings of Korean Words
원문 초록
Word embedding has become a fundamental component to many NLP tasks such as named entity recognition and machine translation. However, popular models that learn such embeddings are unaware of the morphology of words, so it is not directly applicable to highly agglutinative languages such as Korean. We propose a syllable-based learning model for Korean using a convolutional neural network, in which word representation is composed of trained syllable vectors. Our model successfully produces morphologically meaningful representation of Korean words compared to the original Skip-gram embeddings. The results also show that it is quite robust to the Out-of-Vocabulary problem.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Morpheus: 터키어를 위한 형태론 인식 신경망 토크나이저 및 단어 임베더
Morpheus: A Morphology-Aware Neural Tokenizer and Word Embedder for Turkish
터키어는 교착어(agglutinative language)로, 의미가 형태소(morpheme)를 통해 전달된다. 그러나 현대 언어 모델을 구동하는 서브워드 토크나이저(subword tokenizer)들은 말뭉치 통계에 따라 단어를 분할하기 때문에 의미가 실린 접미사들을 파편화하며, WordPiece와 규칙 기반 분석기의 경우 그 출력을 원문으로 다시 디코딩하지 못한다. 본 논문은 터키어를 위한 신경망 형태소 경계 모델인 \textbf{Morpheus}를 제안한다. 이는 손실 없는(lossless) 형태론 인식 토크나이저이자 단어 임베딩 생성기를 동시에 구현한다. 미분 가능한 포아송-이항 동적 계획법(Poisson-binomial dynamic program)은 학습 중에는 문자 단위 경계 확률을 소프트 형태소 소속도로 변환하고, 추론 시에는 정확한 분절 결과를 산출하며, 문자열 정규화를 전혀 거치지 않으므로 $\mathrm{decode}(\mathrm{encode}(w)) = w$가 구조적으로 성립한다. 모델이 신경망이기 때문에, 토큰화를 수행하는 동일한 순전파에서 구조화된 단어 임베딩도 함께 산출된다. 생성(generation)에 유효한 유일한 유형인 가역적 토크나이저들 중에서, Morpheus는 가장 낮은 문자당 비트 수($1.425$)를 달성하고, 서브워드 계열 대비 골드 형태론적 정렬도를 거의 두 배로 높였으며(MorphScore macro-F1 $0.61$ 대 ${\sim}0.32$), 64K 어휘 서브워드 토크나이저 대비 GPU 메모리 사용량을 약 $19\%$ 줄였다. 임베더로서, 고정된(frozen) Morpheus 벡터는 어휘 검색(lexical retrieval, root-family MAP $0.85$)과 동일 어근 검증(same-root verification, ROC-AUC $1.00$)에서 최고 성능을 보이며 다국어 검색 모델 BGE-M3와 BERTurk를 능가한다. 반면 문맥 및 굴절 의존적 과제(개체명 인식(NER), 격/수 프로빙)에서는 더 무거운 문맥 인코더들이 여전히 앞서는데, 이는 Morpheus의 어근 중심 기하 구조에서 기인하는 트레이드오프로 보인다. 코드: https://github.com/lonewolf-rd/TurkishMorpheus; 모델: https://huggingface.co/lonewolflab/Morpheus-TR-50K; 인터랙티브 데모: https://huggingface.co/spaces/lonewolflab/morpheus-tr-demo.
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.
MorfFlex: 풍부한 형태론의 처리
MorfFlex: Handling Rich Morphology
본 논문은 굴절과 파생 모두에서 규칙성이 큰 언어에 적합한 형태론 사전 구조인 MorfFlex를 제시한다. MorfFlex의 주된 사용 사례로 체코어 형태론 사전인 MorfFlex CZ를 소개한다. 이 사전은 <어형, 표제어, 태그> 삼중항의 단순한 비구조적 목록으로 배포되지만, 수작업으로 유지되는 비공개 원본 파일과 변환 스크립트에는 정교한 굴절 및 파생 패턴 체계가 인코딩되어 있다. 이러한 패턴은 현재 1억 개 이상의 어형과 100만 개 이상의 표제어를 포함하는, 그렇지 않으면 방대했을 사전의 크기를 획기적으로 줄여 준다. MorfFlex CZ 사전은 프라하 의존 트리뱅크에서 수작업 형태론 주석의 일관성을 보장하는 필수 자원으로 쓰이며, MorphoDiTa와 같은 최첨단 자동 도구의 기반이 된다. 본 논문은 (i) 사전 내 풍부한 형태론 체계를 관리하는 효과적인 방법을 제시하고, (ii) 이러한 언어 자원이 코퍼스의 주석 일관성을 유지하고 고급 NLP 응용 개발을 지원하는 데 유용함을 보이는 데 초점을 둔다.
CoPiT: 전통 문자 기반 이중 문자 체계 저자원 몽골어를 위한 인지적 피벗 번역
CoPiT: Cognitive Pivot Translation for Digraphic Low-Resource Mongolian in the Traditional Script
저자원 언어는 기계 번역에서 여전히 어려운 과제이며, 몽골어는 대표적인 사례이다. 몽골어는 두 가지 문자 체계를 쓰는 언어로서 키릴 문자와 전통 문자로 모두 표기되는데, 두 문자 간 데이터 가용성에 심각한 불균형이 있다. 키릴 문자는 상대적으로 자원이 풍부하지만, 전통 문자는 데이터가 극히 부족하고 표기상 모호하여 직접 번역에서 상당한 성능 저하가 발생한다. 우리는 이러한 내부 자원 위계를 활용하여 키릴 문자를 경유해 번역하는, 인지적 동기에 기반한 피벗 기반 번역 파이프라인 CoPiT를 제안한다. 이 파이프라인은 번역에 앞서 전통 문자에서 문자로 인해 발생하는 모호성을 명시적으로 해소하여, 더 안정적이고 정확한 의미 전달을 가능하게 한다. 여러 백본 모델과 목표 언어에 걸쳐 CoPiT는 대체로 직접 번역보다 향상되었으며, BLEU의 절대적 향상이 상당하고 COMET에서는 최대 1.5~1.6배의 향상을 보였다. 이러한 향상 덕분에 강력한 오픈소스 모델이 비교 가능한 평가 설정에서 GPT-4.1과 대등하거나 그보다 우수한 성능을 낼 수 있다. 추론 시점의 개선을 넘어, CoPiT는 전통 문자 텍스트로부터 직접 합성 병렬 데이터를 구축할 수 있게 하여 현실적인 저자원 시나리오에서 데이터 부족을 완화한다. 우리는 두 문자의 몽골어와 영어, 한국어, 러시아어를 포괄하는 새로운 다중 문자 병렬 데이터셋을 공개한다.
MetaHOPE: MT 및 LLM 번역 오류 분석을 위한 은유 지향 평가 프레임워크
MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors
본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.