arXiv:2312.02337

Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings

Gyandev Gupta, Bashir Rastegarpanah, Amalendu Iyer, Joshua Rubin, Krishnaram Kenthapadi

제출 2023-12-04

원문 초록

An essential part of monitoring machine learning models in production is measuring input and output data drift. In this paper, we present a system for measuring distributional shifts in natural language data and highlight and investigate the potential advantage of using large language models (LLMs) for this problem. Recent advancements in LLMs and their successful adoption in different domains indicate their effectiveness in capturing semantic relationships for solving various natural language processing problems. The power of LLMs comes largely from the encodings (embeddings) generated in the hidden layers of the corresponding neural network. First we propose a clustering-based algorithm for measuring distributional shifts in text data by exploiting such embeddings. Then we study the effectiveness of our approach when applied to text embeddings generated by both LLMs and classical embedding algorithms. Our experiments show that general-purpose LLM-based embeddings provide a high sensitivity to data drift compared to other embedding methods. We propose drift sensitivity as an important evaluation metric to consider when comparing language models. Finally, we present insights and lessons learned from deploying our framework as part of the Fiddler ML Monitoring platform over a period of 18 months.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.03921v3cs.AI공통 태그 Language Modeling, Sensitivity

트랜스포머 혁명, 파트 1: 출력-가중치 상호연결을 통한 동적 처리

The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections

본 연구에서는 트랜스포머(Transformer)의 기능적 아키텍처에 대해 기능적으로 동등한 기계-구조적 기술을 개발함으로써 트랜스포머 추론(inference)을 재해석한다. 토큰(token) 표현의 매개변수화된 변환, 즉 변환 개념(transforming concepts)은 출력-입력 및 출력-가중치 상호연결을 통해 조직된 단순 신경망으로 규명된다. 이러한 재기술은 표준 행렬 기술 방식에서는 두드러지지 않는 조직적 특징(feature)을 명시적으로 드러낸다. 즉, 추론 중에 일부 네트워크의 출력이 다른 네트워크의 가중치(weight), 나아가 변환을 결정한다는 점이다. 이러한 출력-가중치 상호연결은 프롬프트(prompt)에 의존하는 동적 변환을 생성하며 시퀀스 수준 상호작용 동적 병렬 처리(Sequence-level Interactive Dynamic Parallel Processing, SIDPP)를 유발한다. 우리는 동적 매개변수의 수가 프롬프트 길이에 따라 선형적으로 증가하며, 학습(training)을 통해 고정된 정적 매개변수의 수에 필적하거나 이를 초과할 수 있음을 보인다. 우리는 이 현상을 강한 프롬프트 민감도(strong prompt sensitivity)라고 부른다. 철학적으로 이는 트랜스포머에 대한 개념적 관점을 학습을 통해 획득된 정적 구조 중심에서 추론 중 동적으로 구성되는 프롬프트 의존적 변환 또한 작동의 구성적 특징으로 다루는 관점으로 전환시킨다. 최근 GPT-4.5의 튜링 테스트(Turing test) 결과는 이 현상에 대한 행동적 예시를 제공한다. 마지막으로, 출력-가중치 상호연결과 형태학적·기능적으로 대응하는 생물학적 메커니즘을 밝혀 SIDPP의 원리적 신경 구현 가능성을 뒷받침하고 '가설 T(Conjecture T)'를 제안한다. 즉, 인간 신경계가 트랜스포머와 유의미하게 유사한 기능적 아키텍처를 구현하고 있을 수 있다는 점이다.

arXiv:2607.12863v1cs.SE공통 태그 Language Modeling, Sensitivity

트랜스포머 어텐션 헤드 내 바이어스의 위치 특정 및 수정을 향하여

Toward Localizing and Repairing Bias in Transformer Attention Heads

트랜스포머 언어 모델이 소프트웨어 구성 요소로 점점 더 많이 사용되고 있지만, 바이어스가 있는 출력은 모델 내부에서 위치를 특정하고 수정하기 어렵다. 기존 공정성 테스트 및 수정 방법은 주로 입력-출력 수준 또는 재학습(retraining) 수준에서 동작하는 반면, 최근 연구는 바이어스 관련 행동이 소수의 어텐션 헤드에 집중될 수 있음을 시사한다. 본 논문은 표적화된 추론 시점 개입을 통해 어텐션 헤드를 위치 특정하고 수정할 수 있는지를 연구한다. 우리는 공정성 프로브(fairness probes)에 대한 민감도를 사용하여 어텐션 헤드의 순위를 매기고, 선택된 헤드 출력에서 작은 바이어스 부분공간을 제거하는 화이트박스 헤드 수준 공정성 디버깅 방법인 ROBIN을 제안한다. 4개 모델 파일럿 연구에서 ROBIN은 헤드 전체 영제로(whole-head zeroing)보다 언어 모델링 품질을 더 잘 유지하면서 모든 모델에서 측정된 WinoBias 격차를 줄인다. 이러한 예비 결과는 헤드 수준 바이어스 수정이 어떤 헤드가 선택되느냐뿐만 아니라 선택된 헤드가 어떻게 수정되느냐도 고려해야 함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.