arXiv:2001.04935

Humpty Dumpty: Controlling Word Meanings via Corpus Poisoning

Roei Schuster, Tal Schuster, Yoav Meri, Vitaly Shmatikov

제출 2020-01-14

원문 초록

Word embeddings, i.e., low-dimensional vector representations such as GloVe and SGNS, encode word "meaning" in the sense that distances between words' vectors correspond to their semantic proximity. This enables transfer learning of semantics for a variety of natural language processing tasks. Word embeddings are typically trained on large public corpora such as Wikipedia or Twitter. We demonstrate that an attacker who can modify the corpus on which the embedding is trained can control the "meaning" of new and existing words by changing their locations in the embedding space. We develop an explicit expression over corpus features that serves as a proxy for distance between words and establish a causative relationship between its values and embedding distances. We then show how to use this relationship for two adversarial objectives: (1) make a word a top-ranked neighbor of another word, and (2) move a word from one semantic cluster to another. An attack on the embedding can affect diverse downstream tasks, demonstrating for the first time the power of data poisoning in transfer learning scenarios. We use this attack to manipulate query expansion in information retrieval systems such as resume search, make certain names more or less visible to named entity recognition models, and cause new words to be translated to a particular target word regardless of the language. Finally, we show how the attacker can generate linguistically likely corpus modifications, thus fooling defenses that attempt to filter implausible sentences from the corpus using a language model.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.30393v2cs.CL공통 태그 Information Retrieval, Named Entity Recognition

타당성 인식 생의학 AI를 위한 정량적 증거 마이닝: 서술적 리뷰 및 개념적 프레임워크

Quantitative Evidence Mining for Plausibility-Aware Biomedical AI: A Narrative Review and Conceptual Framework

생의학 인공지능은 문헌 검색에서 지식 그래프, 임상 의사결정 지원, 계산 모델을 위한 증거 종합(evidence synthesis)으로 나아가고 있다. 그러나 대부분의 정보 추출(information extraction) 시스템은 여전히 발견을 단순 관계로만 표현하여, 해석과 재사용에 필요한 정량적·맥락적 세부를 버린다. 한 개체가 다른 개체에 영향을 준다는 주장만으로는 크기(magnitude), 단위, 대상 집단, 비교군(comparator), 실험 조건, 불확실성, 출처(provenance)가 빠져 있으면 부족하다. 우리는 생의학적 발견을 구조화되고 맥락이 풍부하며 감사 가능한(auditable) 증거 단위(evidence unit)로 변환하는 프레임워크로서 정량적 증거 마이닝(quantitative evidence mining)을 정의한다. 증거 단위의 핵심 요소로 주장, 측정 대상 개체와 속성, 값·단위·척도, 비교군, 대상 집단, 생물학적·임상적 조건, 시간적 맥락, 불확실성, 출처, 검증 결과, 전문가 검토 상태를 둔다. 코퍼스 선정, 개체 인식, 수량 추출, 맥락 연결, 정규화, 증거 단위 조립, 다차원 타당성(plausibility) 평가, 내보내기 및 거버넌스에 이르는 8단계 참조 아키텍처를 제안한다. 핵심 원칙은 타당성을 단일 진리 레이블로 축약하지 않아야 한다는 것이다. 통계적, 생물학적, 방법론적, 맥락적, 출처 기반 지지는 명시적으로 남겨 두어야 한다. 이 프레임워크는 정보 추출을 증거 종합 및 계산적 재사용과 연결하며, 임상시험 분석, 바이오마커 연구, 약물 감시(pharmacovigilance), 지식 그래프 구축, 기전 모델링(mechanistic modelling)에 적용할 수 있다. 이는 검증된 end-to-end 시스템이라기보다 연구 의제(research agenda)이다. 진전을 위해서는 주석이 달린 멀티모달 벤치마크, 엄격한 구성 요소·워크플로 수준 평가, 전향적 시험, 투명한 출처, 지속적인 전문가 감독이 필요할 것이다.

arXiv:2609.25859v1cs.CL공통 태그 Information Retrieval, Named Entity Recognition

BELXTR: 문맥화된 토큰 검색을 통한 생물의학 개체명 연계

BELXTR: Biomedical Entity Linking via Contextualized Token Retrieval

생물의학 개체명 연계(Biomedical Entity Linking)는 지식 베이스(KB) 내의 개체에 맞춰 멘션의 모호성을 해소함으로써 정보 추출 파이프라인의 핵심적인 초석 역할을 합니다. 임베딩(embedding) 기반 모델은 이 태스크에서 널리 사용되는 접근법이지만, 중대한 한계를 지니고 있습니다. 멘션(및 개체)을 단일 벡터로 압축하기 때문에, 모델이 중요하고 미세한 차이들을 평균화하여 유실하게 만듭니다. 본 논문에서는 토큰(token) 수준의 매칭 정보를 활용할 수 있는 다중 벡터(즉, 후기 상호작용) 아키텍처 기반의 새로운 임베딩 모델인 BELXTR을 제시합니다. BELXTR은 기존의 태스크 특화 학습(training) 목표를 통합하고 능동적 쿼리 확장을 탐색함으로써 기존 XTR 모델을 생물의학 개체명 연계로 확장합니다. 10개 말뭉치와 5개 KB에 걸친 실험 결과, BELXTR은 말뭉치의 절반에서 재현율(recall)@1이 평균 5%p 향상되며 기존 최고 수준(SOTA)의 성능을 개선함을 보였습니다. 가장 큰 성능 향상은 까다로운 이종 간 유전자 모호성 해소 하위 태스크에서 나타났으며, 여기서 BELXTR은 대규모 언어 모델(LLM) 기반의 검색 및 재순위화 파이프라인을 능가하고 특화된 규칙 기반 시스템에 근접하는 성능을 달성했습니다. 본 연구 결과는 다중 벡터 모델이 유지 관리가 어려운 규칙 기반 시스템이나 PubMed 규모의 마이닝처럼 LLM 기반 재순위화 비용이 과도하게 높은 시나리오에서 실용적인 대안이 될 수 있음을 강조합니다. 실험을 재현하기 위한 코드는 https://github.com/sg-wbi/belxtr 에서 확인할 수 있습니다.

arXiv:2609.22529v1cs.AI공통 태그 Information Retrieval, Named Entity Recognition

IntLawNER: 국제법 개체명 인식 데이터셋 및 벤치마크

IntLawNER: A Named Entity Recognition Dataset and Benchmark in International Law

국제법은 국가들이 행동을 조율하고, 무력 충돌을 규율하며, 인권을 보호하는 규범적 틀을 제공하지만, 그 텍스트에는 여전히 토큰 수준의 개체명 인식(NER) 자원이 없다. 본 논문은 국제법의 성문화된 출처를 위한 NER 데이터셋 및 벤치마크인 IntLawNER를 소개한다. 국제사법재판소(ICJ) 판결, UN 안전보장이사회 결의, 유럽인권재판소(ECtHR) 판결에서 2,987개의 gold 주석 문장과 8,094개의 개체 스팬을 포함하며, 기관별 7가지 개체 유형으로 주석되었다. IntLawNER는 후보 검색, LLM 기반 검증, 인간 검토를 거치는 비용 효율적인 하이브리드 알고리즘-에이전트 파이프라인으로 구축하였으며, 46만 8천 개의 원문 문장을 축소된 주석 집합으로 줄였고, gold 스팬의 89.6%는 silver 층에서 변경 없이 수용되었다. 그러나 silver-to-gold 분석은 도메인 특화 NER에서 인간-기계 집계 일치 지표가 오해를 불러일으킬 수 있음을 보여준다. 경계가 일치하는 스팬에 대한 Cohen's kappa=0.964는 누락된 개체, 경계 오류, 라벨 수정을 포함하면 macro-F1이 0.753인 사실을 가린다. 벤치마크는 제로샷 span 기반 GLiNER가 표면 형태보다 기관적 기능에 의존하는 개체 유형에서 붕괴함(0.243 micro-F1)을 보여 주며, 파인튜닝된 트랜스포머는 희귀 라벨에서 어려움을 겪는다. 라벨 대비를 보여 주는 신중히 선정된 퓨샷(few-shot) 예시는 모든 LLM의 제로샷 프롬프팅 성능을 향상시키며, Claude Opus 4.6이 0.873 micro-F1의 최고 점수를 기록했다. IntLawNER를 국제법 텍스트에서 참조를 추출하기 위한 벤치마크 및 재사용 가능한 자원으로 공개한다.

arXiv:2607.23886v3cond-mat.mtrl-sci공통 태그 Information Retrieval, Named Entity Recognition

배터리 문헌의 멀티모달 마이닝을 통한 X선 흡수 분광법 데이터 활용

Harnessing X-ray Absorption Spectroscopy Data through Multimodal Mining of Battery Literature

X선 흡수 분광법(XAS)은 재료의 국소 전자 및 원자 구조를 이해하는 데 핵심적이지만, 대부분의 발표된 스펙트럼은 문헌의 그림에 내장되어 있고 파편화된 텍스트 문맥을 통해 기술되어 있어 데이터 기반 분석에 접근할 수 없는 상태로 남아 있다. 여기서 우리는 멀티모달(이미지 및 텍스트) 문헌 마이닝을 사용하여 이 분산된 지식을 AI 활용 가능한 실험 데이터 자원으로 변환한다. 우리는 전문(full-text) 논문에서 XAS 그림을 식별하고, 스펙트럼 곡선을 디지털화하며, 각 스펙트럼을 측정된 edge 및 재료에 관한 수반 메타데이터와 연결하는 확장 가능한 분광 데이터 디지털화 파이프라인을 개발했다. 이 파이프라인을 배터리 문헌에 적용한 결과, 66개의 흡수 원소와 다양한 배터리 화학을 포괄하는 13,740개의 XAS 스펙트럼으로 구성된 공개 데이터셋이 생성되었으며, 전문가 검증을 통해 스펙트럼 및 메타데이터 정보의 정확한 추출이 확인되었다. 문헌에 내장된 스펙트럼을 구조화된 수치 데이터로 변환함으로써, 이 데이터셋은 대규모 XAS 분석, 교차 실험실 비교, 고처리량(high-throughput) 특성화, 및 첨단 재료의 자율적 발견을 위한 기반을 제공한다.

arXiv:2607.14095v1cs.AI공통 태그 Information Retrieval, Named Entity Recognition

HG-RAG: 구조화된 지식 그래프를 위한 계층 유도 검색-증강 생성

HG-RAG: Hierarchy-Guided Retrieval-Augmented Generation for Structured Knowledge Graphs

검색-증augumentation 생성(RAG)은 대규모 언어 모델(LLM)의 출력 품질을 더 넓은 컨텍스트로 향상시키는 데 널리 성공적인 방법으로 입증되었다. 그러나 RAG 시스템은 일반적으로 평면(flat) 문서 저장소에서 컨텍스트를 검색하며, 쿼리가 구조화된 지식을 가로질러 계층적 또는 관계적 추론을 요구할 때 어려움을 겪는다. 본 연구는 계층적 지식 그래프에 대한 그래프 순회(graph-traversal)를 수행하여 언어 모델에 구조화된 컨텍스트를 제공하는 프레임워크인 HG-RAG(Hierarchy-Guided RAG)를 제안한다. 검색 파이프라인은 쿼리에서 명명된 개체(named entity) 앵커를 해석한 뒤, 필요에 따라 부모 노드를 따라 위로, 관계 이웃을 통해 옆으로, 자식 노드를 통해 아래로 컨텍스트를 확장한다. HG-RAG를 세 가지 세계 규모(18–800개 노드)와 네 가지 쿼리 유형(지역 사실, 계층적, 이웃, 다중 홉)에 걸쳐 밀집 검색 기준선과 비교 평가하였다. 결과에 따르면 HG-RAG는 계층적·관계적·다중 홉 추론 과제에서 평면 기준선을 지속적으로 능가하며, 환각을 줄이고 지역성 일관성(locality coherence)을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.