arXiv:2609.00946v1 stat.ML

대규모 언어 모델 생성 텍스트를 위한 임베딩 조건부 독립성 검정과 독일 연방의회 연설에의 적용

Embedded Conditional Independence Tests for Large Language Model Generated Text with an Application to German Parliament Speeches

Marco Simnacher, Georg Keilbar, Benjamin König, Christoph Lippert, Sonja Greven

제출 2026-09-01

한국어 초록

조건부 독립성 검정(conditional independence tests, CITs)은 제3의 임의 객체 $Z$가 주어졌을 때 두 임의 객체 $X$와 $Y$ 사이의 조건부 종속성을 검정한다. 기존 CIT은 고차원 데이터, 특히 텍스트와 같은 다중모달(multimodal) 데이터에 적용하기 어렵다. 그러나 본 논문은 소스 텍스트 $Z$로부터 생성된 출력 $X$가 속성 $Y$에 대해 $Z$ 자체를 넘어 정보를 담고 있는지 검정하는 대규모 언어 모델(LLM) 출력에서 이러한 검정이 의미가 있음을 보인다. 이를 위해 $X$와 $Z$를 임베딩하고 기존 CIT을 결과 표현 및 $Y$에 적용하는 임베딩 CIT(embedded CIT, eCIT)을 제안한다. $Z$의 임베딩이 충분(sufficient)할 때, 즉 $Y$ 또는 $X$의 표현에 대해 $Z$가 담고 있는 정보를 보존할 때, 귀무가설이 $X$와 $Z$에서 그들의 표현으로 이전(transfer)되므로, 임베딩된 가설에 대해 유효한 CIT은 원래 가설에 대해서도 유효하다는 것을 보인다. 또한 두 가설의 동등성 조건을 제시하고, 임베딩된 검정이 조건부 평균 독립성(conditional mean independence)을 목표로 할 때 충분성이 평균 충분성(mean sufficiency)으로 약화됨을 보인다. 특정 데이터셋 및 과업에 대한 주어진 임베딩 맵에서 eCIT의 I형 오류(type I error, T1E) 통제와 검정력(power)을 평가하기 위한 반합성(semi-synthetic) 시뮬레이션 설계를 제안하고, 이를 응용 사례에서 평가한다. 독일 연방의회 연설에 eCIT을 적용한 결과, 고려한 모든 임베딩 맵 조합에 대해 두 LLM의 요약이 생성 원문 연설을 넘어 발화자의 당파(faction)와 성별에 대한 정보를 포함함을 발견했다.

원문 초록

Conditional independence tests (CITs) test for conditional dependence between two random objects $X$ and $Y$ given a third random object $Z$. Existing CITs have limited applicability to high-dimensional data, especially multimodal data like text. However, we show that such tests are of interest for large language model (LLM) outputs, where we test whether an output $X$ generated from a source text $Z$ carries information about an attribute $Y$ beyond $Z$ itself. For this purpose, we propose embedded CITs (eCITs), which embed $X$ and $Z$ and apply an existing CIT to the resulting representations and to $Y$. We show that, provided the embedding of $Z$ is sufficient, i.e. retains the information $Z$ carries about either $Y$ or the representation of $X$, the null hypothesis transfers from $X$ and $Z$ to their representations, so that a CIT valid for the embedded hypothesis is valid for the original one. We further give conditions for equivalence of the two hypotheses, and show that sufficiency weakens to mean sufficiency when the embedded test targets conditional mean independence. We propose a semi-synthetic simulation design to assess type I error (T1E) control and power of the eCITs for given embedding maps on a specific dataset and task, and use it to evaluate them on our application. Applying the eCITs to German Parliament speeches, we find for all combinations of embedding maps considered that the summaries of two LLMs contain information about the speaker's faction and gender beyond the speech they were generated from.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00946v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.