정보 추출을 활용한 아랍어-영어 기계가독 사전에서의 지식 추출
Extracting Knowledge from an Arabic-English Machine-Readable Dictionary Using Information Extraction
자연어 처리(NLP) 응용 프로그램은 방대하고 풍부한 언어 지식을 필요로 한다. 또한 사전, 백과사전, 말뭉치와 같은 전자 언어 자원이 점차 활용 가능해졌다. 이에 따라 지식 획득 병목 문제를 해소하기 위해 이러한 자원으로부터 어휘 정보를 자동으로 추출하는 방법들이 등장하였다. 본 연구에서는 아랍어-영어 Al-Mawrid 사전의 기계가독(machine-readable) 버전으로부터 어휘 정보를 자동으로 추출하는 방법을 제시하였다. n-gram 분석과 문맥 내 키워드(KWIC, key-word-in-context) 분석을 활용하여 형태론적, 통사론적, 또는 의미론적 정보를 나타내는 어휘 패턴을 발견하였다. 이후 수작업으로 작성된 규칙 기반 정보 추출 방법을 적용하여 해당 정보를 추출하였다. 아울러 구두점과 일부 휴리스틱을 활용하여 하위 항목 내 동의어 집합을 추출하였다. 본 연구는 모든 유형의 정보에서 높은 정밀도(precision)를 기록하였으며, 동의어에 대해서는 높은 재현율(recall)을, 그 외 정보에 대해서는 낮은 재현율을 보였다. 또한 Al-Mawrid 사전이 상당한 양의 파생어(형태론적 정보), 동의어, 영역 레이블, 하의어/상의어 관계(의미론적 정보)를 포함하고 있음을 확인하였다.