arXiv:1911.12674

RETRO: Relation Retrofitting For In-Database Machine Learning on Textual Data

Michael Günther, Maik Thiele, Wolfgang Lehner

제출 2019-11-28

원문 초록

There are massive amounts of textual data residing in databases, valuable for many machine learning (ML) tasks. Since ML techniques depend on numerical input representations, word embeddings are increasingly utilized to convert symbolic representations such as text into meaningful numbers. However, a naive one-to-one mapping of each word in a database to a word embedding vector is not sufficient and would lead to poor accuracies in ML tasks. Thus, we argue to additionally incorporate the information given by the database schema into the embedding, e.g. which words appear in the same column or are related to each other. In this paper, we propose RETRO (RElational reTROfitting), a novel approach to learn numerical representations of text values in databases, capturing the best of both worlds, the rich information encoded by word embeddings and the relational information encoded by database tables. We formulate relation retrofitting as a learning problem and present an efficient algorithm solving it. We investigate the impact of various hyperparameters on the learning problem and derive good settings for all of them. Our evaluation shows that the proposed embeddings are ready-to-use for many ML tasks such as classification and regression and even outperform state-of-the-art techniques in integration tasks such as null value imputation and link prediction.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.17482v3cs.CL공통 태그 Word Embeddings, Relation

RSD: 언어 모델 은닉 상태 감사를 위한 이동 국소 삼각 차트

RSD: Moving Local Triangular Charts for Auditing Language-Model Hidden States

우리는 언어 모델 은닉 상태에 대한 이동 국소 삼각 차트 감사(audit)로서 관계적 의미 분해(Relational Semantic Decomposition, RSD)를 연구한다. 하나의 목표 단어가 반복 등장할 때, RSD는 층 또는 토큰 시간 $t$에서 공유된 세 앵커 멤버십 차트 $S_t$를 적합한다. 은닉 상태 채널은 $X_t\approx S_tC_t$를 사용한다; 불변 판독값(readout) $M_t=S_tS_t^\top$은 유도된 등장 공-멤버십 관계이며, $R_t=X_t-S_tC_t$는 적합된 루트 차트가 차트 밖에 남기는 것을 기록한다. 더 넓은 공동 감사(joint audit)는 어텐션에서 유도된 등장 관계와 같은 관계 데이터 $A_t\approx S_tB_tS_t^\top$에 동일한 멤버십 차트를 재사용한다. 현재 GPT-2 증거는 Word-in-Context(WiC) 레이블을 외부 동의어 대 이의어 참조 관계로 사용하는 $X$-채널 은닉 상태 감사이다. 전체 WiC train에서 루트 차트는 자격을 갖춘 53개 목표 단어 중 16개를 통과한다; 이는 GPT-2 과제 정확도가 아니라 감사 커버리지(audit coverage)이다. 토큰 시간 및 쌍(pair) 수준 진단은 주요 영역(regime)을 보여준다: \texttt{make}와 \texttt{break}는 목표 상태에서 정렬(align)되고, \texttt{drive}와 \texttt{stay}는 소규모 탐색적 사례에서 오른쪽 문맥 이후 개선되며, \texttt{play}는 최종 동의어 쌍이 더 가깝지 않고 잔차(residual) 불일치가 더 큰 국소화된 루트 차트 실패로 남아 있다. 그 결과 주장은 진단적이다: RSD는 의미(sense) 관계가 루트 공-멤버십에서 어디에 가시적인지, 그리고 어떤 실패가 잔차 분기 후보 또는 어텐션 채널 의무(attention-channel obligations)가 되는지 보고한다.

arXiv:2606.24337v2cs.CL공통 태그 Relation

UD_Czech-PDTC 소개: Universal Dependencies의 대규모 장르 풍부 트리뱅크

Meet UD_Czech-PDTC: A Large and Genre-Rich Treebank in Universal Dependencies

체코어는 2015년 첫 릴리스부터 Universal Dependencies의 일부였다. 또한 프라하 의존 트리뱅크가 대부분의 다른 UD 트리뱅크보다 한 자릿수 이상 큰 규모로, 가장 잘 대표되는 언어 중 하나였다. 최근에는 프라하 계열의 다른 데이터셋 세 개가 추가되고 주석이 전면적으로 재검토되어 "프라하 의존 트리뱅크 통합판"(PDT-C)이 구성되었다. 원래의 PDT와 비교하여 PDT-C는 두 배 이상 크며, 장르와 도메인 면에서도 훨씬 다양하다. 본 논문은 이 새로운 자원을 Universal Dependencies로 변환한 과정을 기술한다. 두 주석 체계는 언뜻 비슷해 보이지만, 의존 구조의 위상과 품사 및 관계 유형 목록의 세분화 정도에는 수많은 사소한 차이가 있다. 이러한 차이 중 일부를 예시로 보이고, 서로 다른 동기를 논의하며, 변환 중 차이를 극복하는 방법을 다룬다. PDT는 덜 "보편적"이고 하나의 언어에 더 밀접하게 묶여 있지만, 다층 주석이 풍부하여 기본 UD 트리에 필요한 모든 정보와 그 이상을 제공한다고 주장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.