arXiv:2609.38767v2 cs.LG

dattri-LLM: LLM 규모의 학습 데이터 기여도 분석을 위한 통합적이고 효율적인 라이브러리

dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale

Shixuan Liu, Tongli Zhou, Junwei Deng, Pingbang Hu, Jiaqi W. Ma

제출 2026-09-30

한국어 초록

학습 데이터 기여도 분석(TDA, Training Data Attribution)은 개별 학습 예제가 모델 출력에 미치는 영향을 추정합니다. 확장 가능한 대부분의 TDA 방식은 예제별 그래디언트(per-example gradient)에 의존하지만, 이를 대규모 언어 모델(LLM) 규모에서 계산하고 활용하는 데에는 효율성, 호환성 및 확장성 측면의 어려움이 따릅니다. 본 연구에서는 그래디언트 기반 기여도 분석을 대규모 환경에서 더욱 실용적으로 수행할 수 있도록 지원하는 TDA 라이브러리인 dattri-LLM을 소개합니다. 효율성을 위해 dattri-LLM은 간결한 그래디언트 표현 방식을 사용하고 비용 모델을 기반으로 그래디언트 연산을 동적으로 라우팅합니다. 호환성 측면에서는 포착(capture) 메커니즘을 통해 backward()를 호출하는 기존 학습 루프나 그 구성을 변경하지 않고도 예제별 그래디언트를 수집할 수 있습니다. 이는 DDP 및 FSDP를 활용한 분산 학습과 HuggingFace Transformers, TRL, OLMo로 구축된 파이프라인을 지원합니다. 확장성을 위해 dattri-LLM은 기여도 분석 기법과 응용 프로그램을 구현할 수 있는 재사용 가능한 그래디언트 연산 및 학습 시점 콜백을 제공합니다. 이러한 인터페이스는 그래디언트 유사도, 곡률 기반 영향도, 궤적 기반 기법 등 다양한 기여도 분석 방식뿐만 아니라 온라인 데이터 선택과 같이 학습 중 그래디언트를 활용하는 응용 분야도 지원합니다. 동일한 하드웨어와 워크로드에서 dattri-LLM은 가장 빠른 경쟁 라이브러리 대비 평균 3.2배의 처리량을 달성하고, 4대의 H200 GPU에서 다양한 기여도 분석 방식을 1,100억 개 매개변수(110B) 모델까지 확장하며, 다양한 모델 계열 및 규모 전반에 걸쳐 기여도 정확도 대비 비용 면에서 우수한 절충점을 제공합니다. dattri-LLM의 소스 코드는 https://github.com/TRAIS-Lab/dattri-llm 에서 확인할 수 있습니다.

원문 초록

Training data attribution (TDA) estimates the contribution of individual training examples to model outputs. Most scalable TDA methods rely on per-example gradients, whose computation and use at LLM scale pose challenges in efficiency, compatibility, and extensibility. We introduce dattri-LLM, a TDA library that makes gradient-based attribution more practical at scale. For efficiency, dattri-LLM uses compact gradient representations and dynamically routes gradient operations based on a cost model. For compatibility, its capture mechanism collects per-example gradients from existing training loops that call backward(), without requiring changes to the loop or its configuration. This includes distributed training with DDP and FSDP and pipelines built with HuggingFace Transformers, TRL, and OLMo. For extensibility, dattri-LLM exposes reusable gradient operations and training-time callbacks for implementing attribution methods and applications. These interfaces support a variety of attribution methods, including gradient similarity, curvature-based influence, and trajectory-based methods, as well as applications that act on gradients during training, such as online data selection. On the same hardware and workload, dattri-LLM achieves 3.2x the throughput of the fastest competing library on average, scales multiple attribution methods to 110B-parameter models across four H200 GPUs, and offers superior attribution fidelity-cost trade-offs across a range of models with different model families and scales. The source code of dattri-LLM is available at https://github.com/TRAIS-Lab/dattri-llm.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.38767v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.13668v2cs.CL공통 태그 influence functions

Influcoder: 데이터 속성(Data Attribution)을 위한 디코더의 그래디언트 영향력 순위를 인코더로 증류하기

Influcoder: Distilling Decoders' Gradient Influence Rankings into an Encoder for Data Attribution

대규모 언어 모델(LLM)의 능력이 성장함에 따라, 학습 데이터 내 샘플을 필터링하여 고품질 데이터셋을 큐레이션하려는 요구가 증가하고 있습니다. 일반적으로 데이터 속성(Data Attribution, DA) 방법은 학습 데이터셋 내 개별 샘플이 모델이 특정 출력을 생성하도록 조건화(precondition)하는 방식을 추정하는 것을 목표로 합니다. 예를 들어, LLM 학습 후 데이터 내 어떤 샘플이 유독한(toxic) 행동의 원인이 되었는지에 관심이 있을 수 있습니다. 많은 방법이 영향 함수(influence functions) 패러다임을 통해 이러한 조건화를 정량화합니다. 이 계열의 방법들은 기능적으로는 효과적이지만, 대규모 데이터셋에 실제로 구현하기 위해 필요한 처리 속도와 저장 공간의 효율성이 부족합니다. 우리는 대규모 영향 기반 데이터 속성을 위한 빠르고 비용 효율적인 접근 방식으로 Influcoder 방법을 제안합니다.

arXiv:2606.06892v3cs.LG공통 태그 data selection

GRASP: 확장 가능한 사전학습 데이터 기여도 분석을 위한 기하학 인지 잔차 정렬

GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

확장 가능한 데이터 기여도 분석(data attribution) 방법들은 일반적으로 개별 학습 예제에 독립적인 효용 점수를 부여합니다. 이처럼 널리 쓰이는 가법성 가정은 데이터 중복성과 상호 보완적 커버리지를 포함한 핵심적인 부분집합 역학을 근본적으로 포착하지 못합니다. 본 연구에서는 기여도 분석을 부분집합 수준의 반사실적(counterfactual) 효용 예측 문제로 재정의하고, 상호작용을 고려하는 대리 모델인 GRASP를 제안합니다. 이론적인 평활도 하한에 기반한 GRASP는 2차 기하학적 페널티를 통해 부분집합 간 상호작용을 명시적으로 모델링합니다. 숨겨진 오라클 튜닝에 의존하지 않고 사전학습 규모의 효율성을 달성하기 위해, 저차원 특징 스케치와 엄격하게 유한한 하한 신뢰 한계(LCB) 선택 프로토콜을 결합합니다. 광범위한 부분집합 재학습 평가를 통해 GRASP가 기존의 확장 가능한 베이스라인 모델들을 압도적으로 능가함을 입증합니다. GRASP는 사전 산출물 구축 비용을 약 10분의 1 수준으로 줄이면서도, 반사실적 부분집합 충실도에 대한 태스크 수준 순위 상관관계를 2배 이상 끌어올립니다. 나아가 다운스트림 진단을 통해 이러한 점수 측정 메커니즘이 언어 모델 큐레이션 및 교차 도메인 비전 데이터 선택으로도 전이됨을 보여주며, 대규모 사전학습 말뭉치를 최적화하기 위한 탄탄한 토대를 마련합니다.

arXiv:2608.28007v2cs.LG공통 태그 data selection

선형 회귀에서 가중치 기반 데이터 선택의 정확한 위험 비율

Exact Risk Ratios for Weighted Data Selection in Linear Regression

고정된 학습자(learner)는 얼마나 많은 데이터를 유지해야 하는가? Hanneke, Moran, Shlimovich, Yehudayoff(COLT 2025)는 최소 노름 경험적 위험 최소화기(minimum-norm empirical risk minimizer)를 사용하는 선형 회귀에 대해 이 질문을 제기했다. 선택기(selector)는 유한 데이터셋 $D\subseteq R^d\times R$를 확인하고 음이 아닌 가중치를 갖는 최대 $n$개의 예제를 유지하며, $F_w(d,n)$은 학습된 예측기의 전체 데이터 손실과 최적 손실 사이의 최악의 경우 비율이다. 이 값은 $n<d$일 때 $\infty$, $n=d$일 때 $d+1$, $n\ge2d$일 때 $1$이며, $d<n<2d$ 영역은 미해결 과제로 남아 있었다. 본 연구에서는 여러 사례를 해결한다. 모든 $d$에 대해 $F_w(d,2d-1)=1+1/d$임을 증명하여, 원 논문에서 증명 없이 언급되었던 주장을 확인한다. 또한 해당 공식으로 다루어지지 않는 가장 작은 세 셀인 $F_w(3,4)=5/3$, $F_w(4,5)=2$, $F_w(4,6)=3/2$를 증명한다. 모든 중간 예산 $n=d+k$에 대해 하한 $F_w(d,d+k)\ge1+Γ_{d,k}$를 증명하며, 여기서 $Γ_{d,k}$는 $d$의 균형 분할에 대한 명시적인 조화 수량이다. 이 하한은 백색화된 시스템(whitened systems)이 직교 회로 블록으로 분할되는 데이터셋 클래스에서의 정확한 미니맥스(minimax) 값이다. 증명된 모든 값은 $1+Γ_{d,k}$와 같으며, 본 연구는 미해결 영역 전체에서도 이것이 성립할 것이라고 추측한다. 본 연구의 상한은 손실 기울기(loss gradient)의 양의 생성 구성(positive spanning configurations)에 대한 강성 정리와 $R^3$ 및 $R^4$에서의 작은 양의 기저(positive bases)의 표준형을 결합한다. 이러한 형태는 Cornaz, Kerleau, Royer 분류의 특수한 경우이며, 기저 외부의 모든 기울기 또한 제어한다. 차원 독립적인 극대 기저 논증은 부호 원뿔(sign-cone) 기하학을 $d+1$개 점의 선택으로 변환한다. 명시적인 반례를 통해 몇 가지 더 짧은 경로를 배제한다. 모든 상한은 구성적(constructive)이며, 고정된 차원에 대해 점 수에 대한 다항식 선택 절차를 갖는다. 특정 인스턴스에 대한 모든 수치적 주장은 정확한 유리수 또는 대수적 항등식이며, 보충 자료에서 정확한 산술로 재계산된다.

arXiv:2608.30254v2cs.LG공통 태그 data selection

벡터 값 선형 회귀에서 가중치 부여 데이터 선택의 정확한 복원 임계값

Exact Recovery Thresholds for Weighted Data Selection in Vector-Valued Linear Regression

본 논문에서는 Hanneke, Moran, Shlimovich, Yehudayoff의 COLT 2025 미해결 문제인 "회귀 태스크를 위한 데이터 선택"의 질문 4 중 임계값 부분을 해결합니다. 우리는 $x\in\mathbb{R}^d$ 및 $y\in\mathbb{R}^m$에 대해 제곱 손실(loss) $\ell_{(x,y)}(W)=\lVert Wx-y\rVert_2^2$을 갖는 벡터 값 선형 회귀를 연구합니다. 학습기는 최소 프로베니우스 노름(Frobenius-norm) 경험적 위험 최소화기를 반환합니다. 우리는 모든 유한 데이터셋(dataset)에서 전체 데이터 손실을 복원하기 위한 가중치 부여 예제의 최소 예산이 정확히 $n^{\star}(d,m)=(m+1)d$임을 증명합니다. 또한 임계값에 근접한 예산에서의 가중치 부여 선택 프로파일 $F_{\mathrm{weighted}}(d,m,n)$을 규명하여 $F_{\mathrm{weighted}}(d,m,(m+1)d-1)=1+1/(dm^2)$임을 보입니다. 우리는 모든 $m$에 대해 이미 알려진 생성 예산(spanning-budget) 값인 $F_{\mathrm{weighted}}(d,m,d)=d+1$과 $n<d$일 때 $F_{\mathrm{weighted}}(d,m,n)=\infty$임을 재현합니다. 미해결된 가장 작은 중간 셀인 $(d,m)=(2,2)$에 대해 $F_{\mathrm{weighted}}(2,2,3)\in[13/8,15/8]$ 및 $F_{\mathrm{weighted}}(2,2,4)\in[5/4,3/2]$임을 증명합니다. 추측된 정확한 값인 $13/8$과 $5/4$를 최대 7개의 원자를 갖는 원 위의 유한 모멘트 문제로 귀결시키고 이에 대한 구조적 증거를 제시합니다. 상한은 고정 기저 원뿔 압축 보조정리(fixed-basis conic compression lemma), 극대 인증(maximal certificate)에 대한 행렬식-면 강성 정리(determinant--facet rigidity theorem), 그리고 평균이 0인 가중치 부여 점 시스템에 대한 샤프 희소화 보조정리(sharp sparsification lemma)를 사용합니다. 이러한 도구들은 그 자체로도 독립적인 관심을 가질 수 있습니다. 또한 우리는 $2d$개의 점으로 이루어진 어떤 가중치 부여 선택도 최적 손실을 복원하지 못하는 $d=m=2$인 명시적인 6개 점 정수 데이터셋을 제시합니다. 따라서 스칼라에서 충분했던 예산 $2d$는 벡터 값 출력으로 확장되지 않습니다. $m\ge2$에 대한 우리의 새로운 회귀 프로파일 결과는 $m=1$에 대한 스칼라 이론을 확장합니다.

arXiv:2610.02347v1cs.LG공통 태그 training data attribution

행동에서 기원까지: 정형 파운데이션 모델을 합성 사전학습 데이터로 귀속하기

From Behavior to Provenance: Attributing Tabular Foundation Models to Synthetic Pretraining Data

학습 데이터 기여도 분석(training-data attribution)은 어떤 학습 예제가 모델의 행동을 형성하는지 식별하는 것을 목표로 하지만, 인과적 학습 영향력을 관찰하기 어렵기 때문에 이러한 주장을 검증하기는 어렵습니다. 본 논문에서는 통제된 합성 사전학습(pre-training)을 통해 기여도 분석을 실험적으로 검증 가능하게 만들 수 있다고 주장합니다. 정형 파운데이션 모델(tabular foundation model)을 위한 풍부한 기원(provenance) 정보를 담은 합성 태스크 생성기인 O'PRIOR를 활용하여, 모든 사전학습 태스크가 구조적 메커니즘, 결측성, 교란, 지름길(shortcut), 분포 변화에 대한 명시적인 계통(lineage)을 갖는 테스트베드를 구축합니다. 우리는 태스크 수준의 충실도와 메커니즘 수준의 일관성을 모두 검증하기 위해 행동 조건부 기여도 분석을 반사실적 재학습 및 기원 인지 개입과 결합합니다. 홀드아웃된 실제 태스크에서 기여도 상위 5%의 합성 태스크를 제거하면 평균 ROC-AUC가 0.013 감소하여 무작위 제거 시의 0.002$\pm$0.004와 대조를 이룬 반면, 기여도 하위 태스크를 제거하면 성능이 0.003 향상됩니다. 지름길 기원 태스크 내에서 목표 제거를 수행하면 일치된 무작위 제거의 0.016 대비 0.043의 효과를 보입니다. 상당한 상위 k개 농축에도 불구하고 랭킹 AUROC 기준 기원 판별력은 다소 완만한 수준(0.55-0.62)으로 나타나, 기원 연관성과 개입적 충실도가 반드시 일치하지는 않음을 보여줍니다. 이러한 결과는 합성 기원이 검증 가능한 기여 귀속을 위한 통제된 환경임을 입증합니다.

arXiv:2610.02593v1cs.LG공통 태그 data selection

대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택

Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.