arXiv:1911.00313

Deep Bidirectional Transformers for Relation Extraction without Supervision

Yannis Papanikolaou, Ian Roberts, Andrea Pierleoni

제출 2019-11-01

원문 초록

We present a novel framework to deal with relation extraction tasks in cases where there is complete lack of supervision, either in the form of gold annotations, or relations from a knowledge base. Our approach leverages syntactic parsing and pre-trained word embeddings to extract few but precise relations,which are then used to annotate a larger cor-pus, in a manner identical to distant supervision. The resulting data set is employed to fine tune a pre-trained BERT model in order to perform relation extraction. Empirical evaluation on four data sets from the biomedical domain shows that our method significantly outperforms two simple baselines for unsupervised relation extraction and, even if not using any supervision at all, achieves slightly worse results than the state-of-the-art in three out of four data sets. Importantly, we show that it is possible to successfully fine tune a large pre-trained language model with noisy data, as op-posed to previous works that rely on gold data for fine tuning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.11870v2cs.CL공통 태그 Language Modeling, Word Embeddings

Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것

Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model

언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.

arXiv:2609.25797v1cs.CL공통 태그 Language Modeling, Word Embeddings

인간 및 AI 생성 언어의 양자 구조에 관한 코멘트 arXiv:2512.07881 및 arXiv:2601.06104에 대한 답변

Reply to comments arXiv:2512.07881 and arXiv:2601.06104 on quantum structure in human and AI-generated language

본 논문에서는 인간 언어에서의 양자역학적 통계(arXiv:2407.14924) 및 AI 생성 언어의 양자 구조(arXiv:2511.21731)에 관한 본 연구진의 연구에 대해 M. Sienicki와 K. Sienicki가 작성한 코멘트(arXiv:2512.07881)와 K. Sienicki가 작성한 코멘트(arXiv:2601.06104)에 답변한다. 저자들의 면밀한 검토에 감사하며, 본 연구진이 주요 비판점으로 생각하는 다음 내용들을 다룬다: 대규모 언어 모델(LLM)을 활용한 실험에 사용된 프로토콜의 탐색적 특성; 얽힘(entanglement) 식별에 있어 주변 법칙 위반과 기본 맥락성(Contextuality-by-Default) 기준의 역할; 단독으로 고려된 보스-아인슈타인(Bose-Einstein) 피팅의 제한적인 진단 가치; 가장 빈번한 단어에 가장 낮은 에너지 준위를 할당하는 의미; 그리고 LLM이 사용하는 벡터 공간과 양자 상태 공간 간의 관계. 또한 보고된 CHSH 값에는 영향을 주지 않는 arXiv:2511.21731의 표 3에 있는 오타를 정정한다.

arXiv:2607.21231v1cs.CL공통 태그 Language Modeling, Word Embeddings

점진적 크래밍: 신뢰할 수 있는 토큰 압축과 그것이 드러내는 것

Progressive Cramming: Reliable Token Compression and What It Reveals

토큰 크래밍은 시퀀스를 학습된 임베딩으로 압축하여 거의 완벽한 재구성을 달성하지만, 고정된 토큰 예산과 99% 정확도 임계값 때문에 잔여 오류가 최적화 실패를 반영하는 것인지 근본적 한계를 반영하는 것인지 불분명하다. 우리는 목표 접두 문맥을 토큰 단위로 점진적으로 확장하고, 고정된 최적화 예산 내에서 재구성이 더 이상 달성 불가능해질 때에만 중단하는 점진적 크래밍(progressive cramming)을 제안한다. 점진적 궤적은 임베딩 공간에서 저차원 구조를 차지한다. 크래밍된 임베딩을 앞에 붙이면 원본 접두 문맥이 컨텍스트에 있음에도 객관식 벤치마크에서 중간 수준이지만 일관된 정확도 하락을 유발하며, 생성형 평가에서는 능력이 거의 완전히 붕괴된다. 인과적 어텐션 차단(attention-knockout) 개입은 이러한 성능 저하를 모델 초기 층에서의 임베딩 상호작용으로 추적한다. 이러한 결과는 점진적 크래밍을 압축 한계 연구 도구로 자리매김하며, 전이 가능한 의미론이 아닌 취약한 조향을 통해 달성 가능한 완벽한 재구성만으로는 의미 있는 압축에 충분하지 않음을 보여준다.

arXiv:2607.15232v1cs.CL공통 태그 Language Modeling, Word Embeddings

사전학습 LLM의 제자리 토크나이저 확장

In-Place Tokenizer Expansion for Pre-trained LLMs

사전학습 시작 시점에 고정된 토크나이저는 사전학습 말뭉치에 비례하여 어휘를 할당하며, 당시의 배포 우선순위를 반영한다. 그러한 우선순위가 바뀌면, 이후에 추가된 언어는 단어당 훨씬 더 많은 토큰으로 분할되어, 해당 언어 사용자의 지연 시간, 연산량, 에너지 소비를 증가시킬 수 있다. 클라우드 모델은 임베딩과 LM-head 행렬이 매개변수의 작은 부분을 차지하기 때문에 넓은 어휘를 수용할 수 있다. 소형 모델에서는 이러한 행렬이 토큰당 디코딩 대역폭의 상당한 비중을 차지하므로, 온디바이스 모델은 작은 어휘를 탑재하고 고정된 언어 집합 밖의 분할을 감수한다. 우리는 토크나이저 확장을 제시한다. 이는 모델 제작자가 토크나이저 설계를 통제할 때 사전학습된 모델의 토크나이저를 업그레이드하기 위한 제자리 방식이다. 우리는 다국어 말뭉치에서 기존 토크나이저의 BPE 병합을 이어가므로, 대부분의 소스 토큰은 단일 토큰으로 변경 없이 유지되고 모든 새 토큰은 소스 토큰들로의 정확한 분해를 갖는다. 유지된 임베딩 행은 변경 없이 복사하고, 새 행은 해당 소스 서브토큰 임베딩의 평균으로 초기화한다. 2단계 적응—임베딩만 학습한 뒤 전체 모델 지속 사전학습—을 통해 소스 체크포인트 품질을 회복한다. 우리는 이 방식을 8B 매개변수 전문가 혼합(MoE) 모델인 LFM2-8B-A1B의 지속 사전학습 체크포인트에 적용하여 128K 토크나이저를 갖는 LFM2.5-8B-A1B를 만드는 데 기여했다. 확장된 토크나이저는 힌디어와 베트남어를 소스 대비 약 $2.4\times$ 및 $2.6\times$ 더 적은 토큰으로 인코딩한다(태국어에서는 최대 $4.0\times$). 이러한 감소와 더 큰 어휘의 측정된 토큰당 비용을 결합하여, 참조 기기 전반에서 해당 언어에 대해 문자당 $2.2$-$3.7\times$ 디코딩 속도 향상을 추정한다. 우리는 모델 가중치와 확장된 토크나이저를 공개하고, 이 방식을 형성한 부정적 발견을 보고한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.