학습 데이터 기여도 분석(training-data attribution)은 어떤 학습 예제가 모델의 행동을 형성하는지 식별하는 것을 목표로 하지만, 인과적 학습 영향력을 관찰하기 어렵기 때문에 이러한 주장을 검증하기는 어렵습니다. 본 논문에서는 통제된 합성 사전학습(pre-training)을 통해 기여도 분석을 실험적으로 검증 가능하게 만들 수 있다고 주장합니다. 정형 파운데이션 모델(tabular foundation model)을 위한 풍부한 기원(provenance) 정보를 담은 합성 태스크 생성기인 O'PRIOR를 활용하여, 모든 사전학습 태스크가 구조적 메커니즘, 결측성, 교란, 지름길(shortcut), 분포 변화에 대한 명시적인 계통(lineage)을 갖는 테스트베드를 구축합니다. 우리는 태스크 수준의 충실도와 메커니즘 수준의 일관성을 모두 검증하기 위해 행동 조건부 기여도 분석을 반사실적 재학습 및 기원 인지 개입과 결합합니다. 홀드아웃된 실제 태스크에서 기여도 상위 5%의 합성 태스크를 제거하면 평균 ROC-AUC가 0.013 감소하여 무작위 제거 시의 0.002$\pm$0.004와 대조를 이룬 반면, 기여도 하위 태스크를 제거하면 성능이 0.003 향상됩니다. 지름길 기원 태스크 내에서 목표 제거를 수행하면 일치된 무작위 제거의 0.016 대비 0.043의 효과를 보입니다. 상당한 상위 k개 농축에도 불구하고 랭킹 AUROC 기준 기원 판별력은 다소 완만한 수준(0.55-0.62)으로 나타나, 기원 연관성과 개입적 충실도가 반드시 일치하지는 않음을 보여줍니다. 이러한 결과는 합성 기원이 검증 가능한 기여 귀속을 위한 통제된 환경임을 입증합니다.
학습 데이터 기여도 분석(TDA, Training Data Attribution)은 개별 학습 예제가 모델 출력에 미치는 영향을 추정합니다. 확장 가능한 대부분의 TDA 방식은 예제별 그래디언트(per-example gradient)에 의존하지만, 이를 대규모 언어 모델(LLM) 규모에서 계산하고 활용하는 데에는 효율성, 호환성 및 확장성 측면의 어려움이 따릅니다. 본 연구에서는 그래디언트 기반 기여도 분석을 대규모 환경에서 더욱 실용적으로 수행할 수 있도록 지원하는 TDA 라이브러리인 dattri-LLM을 소개합니다. 효율성을 위해 dattri-LLM은 간결한 그래디언트 표현 방식을 사용하고 비용 모델을 기반으로 그래디언트 연산을 동적으로 라우팅합니다. 호환성 측면에서는 포착(capture) 메커니즘을 통해 backward()를 호출하는 기존 학습 루프나 그 구성을 변경하지 않고도 예제별 그래디언트를 수집할 수 있습니다. 이는 DDP 및 FSDP를 활용한 분산 학습과 HuggingFace Transformers, TRL, OLMo로 구축된 파이프라인을 지원합니다. 확장성을 위해 dattri-LLM은 기여도 분석 기법과 응용 프로그램을 구현할 수 있는 재사용 가능한 그래디언트 연산 및 학습 시점 콜백을 제공합니다. 이러한 인터페이스는 그래디언트 유사도, 곡률 기반 영향도, 궤적 기반 기법 등 다양한 기여도 분석 방식뿐만 아니라 온라인 데이터 선택과 같이 학습 중 그래디언트를 활용하는 응용 분야도 지원합니다. 동일한 하드웨어와 워크로드에서 dattri-LLM은 가장 빠른 경쟁 라이브러리 대비 평균 3.2배의 처리량을 달성하고, 4대의 H200 GPU에서 다양한 기여도 분석 방식을 1,100억 개 매개변수(110B) 모델까지 확장하며, 다양한 모델 계열 및 규모 전반에 걸쳐 기여도 정확도 대비 비용 면에서 우수한 절충점을 제공합니다. dattri-LLM의 소스 코드는 https://github.com/TRAIS-Lab/dattri-llm 에서 확인할 수 있습니다.
모델 행동을 합성 학습(training) 데이터의 탓으로 귀속시키기 위해서는, 각 학습 항목이 무엇을 유발했는지 추정하기에 앞서 무엇이 그 항목을 생성했는지를 알아야 합니다. 파형(waveform)-레이블 쌍은 이러한 정보를 보존하지 못합니다. 본 논문에서는 합성 연구 대상(synthetic research object)이 소스 명세, 생성된 콘텐츠, 파형, 타깃, 사실 요건, 품질 신호, 검토 계보(review lineage), 그리고 불변 매니페스트 식별자를 결합하는 생성 출처(generation provenance) 기반 구조를 제안합니다. 생성자 및 선택 메커니즘이 증거적 의미를 결정하며, 저장 위치나 변수명은 그렇지 않습니다. 저자들은 비공개 일본어 간호 인수인계 파이프라인에서 이 기반 구조를 감사합니다. 113개 자산으로 구성된 검토 대상군은 6개 시나리오 패밀리에 걸쳐 1.552시간 분량의 합성 음성을 포함합니다. 모든 항목은 연결된 오디오, 전사본, 후보 노트, 사실 체크리스트를 갖추고 있으나, 사람에 의한 증거는 선별적이며 소스에 국한됩니다. 두 개의 충실성 전용(faithful-only) 매니페스트는 시나리오 시드가 서로 겹치지 않으며(scenario-seed-disjoint) 불변 버전으로 관리되지만, 유동적인 생성기 별칭(floating generator aliases), 클립별 TTS 및 코드 스탬프 누락, 버전이 지정되지 않은 검사 프롬프트(prompt)로 인해 정확한 상류 귀속(upstream attribution)은 여전히 차단되어 있습니다. 본 논문에서는 생성 출처가 행동 귀속을 위한 필요조건이지만 충분조건은 아니라고 주장합니다. 즉, 생성 출처는 후보 인과 그래프와 감사 단위를 정의할 뿐이며, 기여적 귀속(contributive attribution)을 위해서는 여전히 동결된 학습 실행과 개입 또는 영향력 증거가 필요합니다. 본 연구는 합성 데이터 귀속을 위한 간결한 출처 계약, 감사 프로토콜, 그리고 한정된 사례 연구를 제시합니다. 통제된 연구 목적의 접근은 제공될 수 있으나, 인과적 학습 데이터 귀속, 임상적 유효성, 또는 제한 없는 공개 배포를 주장하지는 않습니다.
신경망은 의료 진단, 신용 승인, 에너지 입찰과 같은 고위험 도메인에서 점점 더 많은 의사결정을 안내하고 있다. 이러한 환경에서의 감사(audit)는 사례 수준의 근거를 필요로 한다: 어떤 학습 사례가 특정 행동을 지지하며 그 결과가 무엇인지. 사례 기반 의사결정 이론(CBDT)은 기억된 사례들로부터 결과 지지를 집계함으로써 이러한 추론을 형식화한다. 우리는 고정된 신경망 표현 위에 적합된 OLS 행동 판독값이 정확한 사례 기반 분해를 허용함을 보인다. 각 행동 점수는 학습 사례 수익의 가중합이며, 계수는 경험적 그람(Gram) 기하학에 의해 결정된다. 우리는 CBDT 유사도 의미론에 대한 충분 조건 체계를 식별하며, 그 밖의 경우 계수는 일반적으로 부호 있는 그람-기하학적 영향력으로 취급해야 한다. 이 분해는 점수를 학습 사례로 추적하고, 행동 일관성을 측정하며, 약한 지지를 식별하는 감사 신호를 산출한다. 합성 CBDT, PJM, Adult Income, Default Credit 태스크에 걸쳐, 이 방법은 사례 수준의 선호 구조를 복원하고 비교된 귀인(attribution) 기준선 중 가장 높은 평균 Top-30 일관성을 달성하면서, 지지 재구성에서도 경쟁력을 유지한다. 감사는 표현을 재학습하거나 원래 최적화 궤적에 접근하지 않고도 OLS 최상위 층(top-layer) 프로브(probe)를 적합하는 것만으로 수행되며, 프로브 충실도는 점수 재구성으로 측정된다.