PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27959v1cs.CL

인간 작성 텍스트의 사실 오류에 대한 실증 분석 및 그 적용

An Empirical Analysis of Factual Errors in Human-Written Text and its Application

사실 오류 탐지(Factual Error Detection, FED)는 주어진 텍스트에서 사실적으로 부정확한 구간을 식별하는 작업으로, 오랫동안 중요한 연구 문제로 인식되어 왔다. 그러나 대규모 언어 모델(LLM)의 급격한 부상과 함께 연구 관심은 LLM 생성 텍스트에 특유한 사실 오류(환각)와 이의 탐지로 이동했다. 그 결과, 인간 작성 텍스트의 사실 오류 탐지는 상대적으로 소홀히 다루어져 왔다. 이 공백을 메우기 위해, 우리는 먼저 인간이 작성했음이 보장되고 문법 오류가 거의 없는 대표적인 텍스트 원천인 신문 기사의 수정본을 분석하여 인간 유발 사실 오류의 분류 체계를 도출했다. 우리의 분석은 kanji misconversions(한자 오변환)과 numeral classifier errors(수사 오류)와 같은 특징적인 범주가 존재하며, 이는 기존 환각 벤치마크에서 다루지 않는 것임을 밝혔다. 분류 체계를 바탕으로, 우리는 합성된 현실적인 테스트 사례와 실제 수정본에 대해 vanilla LLM의 FED 능력을 평가했다. 실험 결과, GPT-5.4와 같은 고성능 LLM조차 합성 평가 데이터에서 단어 수준 F1 점수 52%에 그쳤으며, 이는 과제의 난이도를 부각한다. 또한 탐지 난이도별 상세 분석을 통해 FED의 현재 상태를 밝혔다.