불만(grievance)은 폭력 위협을 평가할 때 분석가들이 주목하는 경고 징후 중 하나이다. 이는 점점 더 온라인 텍스트에서 대규모로 측정되며, 대개 가중 용어 매칭으로 점수를 매기는 Grievance Dictionary와 같은 단어 수준 어휘집(lexicon)을 통해 이루어진다. 이러한 매칭은 빠르고 투명한 대리 지표이지만, 용어가 단정적으로 서술되었는지, 인용되었는지, 부정되었는지, 또는 비난되었는지는 판별할 수 없다. 이러한 어휘집은 또한 자신이 검색한 바로 그 예시로 풍부해진 풀(pool)에서 평가되는 경우가 많아, 높은 점수는 부분적으로 어휘집 자체의 선택 규칙과의 일치를 반영한다. 5개 언어, 2,000개 항목으로 구성된 평가 풀을 조사한 결과, 그 절반이 어휘집 자체에 의해 거의 완벽하게 분리되어 있음을 발견했다. ``random''으로 라벨링된 모든 항목은 실제로 lexicon-negative이므로, 어휘집의 겉보기 macro-AUROC 0.686은 구조적으로 고정된 0.500 하한으로 붕괴한다. 우리는 사전의 22-구성(construct) 온톨로지는 유지하되, 용어 매칭을 맥락 읽기(context-reading) 모델로 대체하고, 5개 언어에 걸쳐 unconditional-random, lexicon-positive, lexicon-negative 층(strata)을 분리하는 비순환(non-circular) 벤치마크에서 평가한다. 대상 문장만이 아니라 전체 게시물을 읽는 방식은 어휘집이 침묵하는 경우에 가장 큰 도움이 되며, lexicon-negative 텍스트에서 평균 정밀도(average precision)를 0.14에서 0.20으로 높였고, 인용된, 암시적인, 문장 간 불만 표현에서 가장 큰 이득을 보였다. 종합하면, 이러한 결과는 불만이 주변 맥락을 읽음으로써 더 충실하게 측정되며, 어휘집이 선택하지 않은 텍스트에서 검증할 때 더 정직하게 평가됨을 보여준다. 우리는 코드와 벤치마크를 https://github.com/behavioral-ds/multilingual_grievance 에 공개한다.
다국어 자연어 처리(NLP) 연구는 다양한 데이터셋에 걸쳐 수백 또는 수천 개의 언어를 다루는 경우가 점점 늘어나고 있다. 이러한 규모에서 언어 메타데이터를 관리하고, 탐색하고, 보고하는 것은 흔한 장애물이 된다. 본 논문에서는 메타데이터 툴킷 및 브라우저 탐색기인 QQ를 소개한다. QQ는 언어 변종, 문자 체계, 지역, 식별자, 명칭, 관계로 구성된 그래프로 언어 메타데이터 소스를 통합하며, Python API, 커맨드라인 인터페이스, 브라우저 기반 탐색기를 통해 이를 제공한다. 사용자는 식별자를 정규화하고, 메타데이터를 검색하며, 관계를 탐색하고, 어떤 외부 리소스가 특정 언어를 포함하는지 확인할 수 있다. 본 논문에서는 세 가지 워크플로우에 QQ를 적용하여 시연한다: HuggingFace Hub 감사(audit), 서로 다른 식별자 체계를 사용하는 리소스 연결, 재현 가능한 언어 보고 테이블 생성. QQ는 버전 관리, 개방형 포맷, 재사용 가능한 인터페이스를 통해 FAIR 지향적 메타데이터 관행을 지원한다.
유럽 프로젝트 LLMs4EU와 ALT-EDIC 인프라 내에서 사회과학·인문학(SSH) 연구에 특화된 대규모 언어 모델(LLM) 적응 사례인 ReSearch_SSH를 소개하며, 검색-증강 생성(RAG) 아키텍처와 지식 그래프(Wikidata)를 결합해 ISIDORE 플랫폼의 다국어 학술 자료에 대한 질의응답, 문헌 종합, 비교 문서 분석을 지원한다. 환각 탐지·추적 가능성 등을 포함한 정량적 벤치마킹과 디지털 인문학 전문가 패널의 정성 평가를 통해 도메인 적응 모델의 신뢰성과 인식론적 책임을 검증하는 평가 프레임워크를 함께 제시한다.
우리는 ToxiREX: Toxic REasoning in ConteXt라는 새로운 맥락 기반 다국어 데이터셋을 소개한다. 이 데이터셋은 Reddit 댓글 스레드와 댓글이 함의하는 내용에 대한 구조화된 특성 묘사로 구성되며, 이전 논문에서 개발된 체계적인 유해성 추론(toxic reasoning) 스키마를 따른다. 이 스키마를 사용하면 암묵적이고 맥락 의존적인 유해성을 포착하고 설명할 수 있으며, 기존 유해성 분류체계로의 매핑도 지원한다. 데이터셋에는 영어, 아랍어, 터키어, 스페인어, 독일어, 네덜란드어 등 6개 언어의 댓글이 포함되며, 특정 주요 사건(예: 2023년 터키 지진, 러시아의 우크라이나 침공)과 연관된 게시물에서 수집되었다. 우리는 스레드의 맥락 보존 전처리를 설명한다. 상용 대규모 언어 모델(LLM)으로 주석 처리한 12만 5천 개 댓글의 학습 집합과, 원어민 화자가 주석 처리한 3천 개에 가까운 댓글의 테스트 집합을 만든다. 테스트 집합 주석에서 드러나는 겉보기 불일치는 종종 노이즈가 아니라 정당화 가능한 대안적 해석을 반영함을 보인다. 마지막으로, 프롬프트 및 언어 모델 미세조정을 통해 기준선 결과를 제공한다. 이러한 결과를 얻기 위해 계층적이고 스키마 기반 예측에 대한 평가 전략을 개발한다. 모델은 무작위보다는 더 나은 성능을 보이지만, 개선의 여지가 많아 이 과제가 어렵다는 것을 보여준다. ToxiREX는 유해성 추론 스키마를 활용한 풍부하고 구조화된 주석과 함께 다국어, 대화 맥락, 암묵적 유해성을 동시에 포함하는 최초의 데이터셋이다. 데이터셋은 https://github.com/cltl/toxirex 에서 이용할 수 있다.