행동에서 기원까지: 정형 파운데이션 모델을 합성 사전학습 데이터로 귀속하기
From Behavior to Provenance: Attributing Tabular Foundation Models to Synthetic Pretraining Data
한국어 초록
학습 데이터 기여도 분석(training-data attribution)은 어떤 학습 예제가 모델의 행동을 형성하는지 식별하는 것을 목표로 하지만, 인과적 학습 영향력을 관찰하기 어렵기 때문에 이러한 주장을 검증하기는 어렵습니다. 본 논문에서는 통제된 합성 사전학습(pre-training)을 통해 기여도 분석을 실험적으로 검증 가능하게 만들 수 있다고 주장합니다. 정형 파운데이션 모델(tabular foundation model)을 위한 풍부한 기원(provenance) 정보를 담은 합성 태스크 생성기인 O'PRIOR를 활용하여, 모든 사전학습 태스크가 구조적 메커니즘, 결측성, 교란, 지름길(shortcut), 분포 변화에 대한 명시적인 계통(lineage)을 갖는 테스트베드를 구축합니다. 우리는 태스크 수준의 충실도와 메커니즘 수준의 일관성을 모두 검증하기 위해 행동 조건부 기여도 분석을 반사실적 재학습 및 기원 인지 개입과 결합합니다. 홀드아웃된 실제 태스크에서 기여도 상위 5%의 합성 태스크를 제거하면 평균 ROC-AUC가 0.013 감소하여 무작위 제거 시의 0.002$\pm$0.004와 대조를 이룬 반면, 기여도 하위 태스크를 제거하면 성능이 0.003 향상됩니다. 지름길 기원 태스크 내에서 목표 제거를 수행하면 일치된 무작위 제거의 0.016 대비 0.043의 효과를 보입니다. 상당한 상위 k개 농축에도 불구하고 랭킹 AUROC 기준 기원 판별력은 다소 완만한 수준(0.55-0.62)으로 나타나, 기원 연관성과 개입적 충실도가 반드시 일치하지는 않음을 보여줍니다. 이러한 결과는 합성 기원이 검증 가능한 기여 귀속을 위한 통제된 환경임을 입증합니다.
원문 초록
Training-data attribution aims to identify which training examples shape model behavior, yet validating such claims is difficult because causal training influence is rarely observable. We argue that controlled synthetic pretraining makes attribution experimentally testable. Using O'PRIOR, a provenance-rich synthetic task generator for tabular foundation models, we construct a testbed in which every pretraining task carries explicit lineage over structural mechanisms, missingness, confounding, shortcuts, and distribution shift. We combine behavior-conditioned attribution with counterfactual retraining and provenance-aware interventions to test both task-level faithfulness and mechanism-level consistency. On held-out real tasks, removing the top-attributed 5% of synthetic tasks decreases mean ROC-AUC by 0.013, compared with 0.002$\pm$0.004 under random removal, while removing bottom-attributed tasks improves performance by 0.003. Within shortcut-provenance tasks, targeted removal yields an effect of 0.043 versus 0.016 for matched random removal. Provenance discrimination is more modest by ranking AUROC (0.55-0.62), despite substantial top-k enrichment, revealing that provenance association and interventional faithfulness need not coincide. Our results establish synthetic provenance as a controlled setting for verifiable contributive attribution
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
그래프 신경망을 활용한 상각 반사실적 예측
Amortized Counterfactual Prediction with Graph Neural Networks
반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.
통제된 실험 없이 과학적 에뮬레이터에서 반사실적 예측하기
Counterfactual Predictions in Scientific Emulators Without Controlled Experiments
많은 과학적 질문은 한 번도 관측되지 않은 것에 대한 추론을 요구한다: 조건, 개입, 혹은 역사가 달랐다면 어땠을까? 모델은 관측된 데이터에서는 정확하게 예측할 수 있지만, 상관된 입력들을 독립적으로 변화시키는 이러한 가정적(what-if) 질의에서는 실패할 수 있다. 일반적인 해결책은 이러한 요인들이 명시적으로 분리된 통제된 시뮬레이션 데이터를 추가하는 것이지만, 이는 시뮬레이터에 대한 접근을 필요로 하고, 계산 비용이 높을 수 있으며, 시뮬레이터의 모델링 가정을 그대로 물려받는다. 우리는 ReRoute를 소개한다. 이는 사실적(factual) 데이터와 부분적인 메커니즘 지식을 결합하여 목표로 하는 과학적 가정 예측을 수행하는 프레임워크로, 적응을 위한 통제된 개입(intervention) 데이터를 필요로 하지 않는다. ReRoute는 사전학습된 백본(backbone)의 질의 대상 입력을 기준값(reference value)으로 고정한 뒤, 알려진 메커니즘 경로(mechanistic pathway)를 통해 그 변동을 다시 도입하고, 원본 사실적 데이터로 파인튜닝을 수행하며, 하류(downstream) 효과는 학습된 동역학(dynamics)에 맡긴다. 우리는 명시적인 구조적 가정 하에서 이러한 구성에 대한 인과적 식별(causal identification) 결과를 제시하며, 핵심 논증은 Lean을 이용해 기계적으로 검증되었다. 정확한 응답을 얻을 수 있는 통제된 이송-확산(advection-diffusion) 시스템에서 ReRoute가 매우 정확한 반사실적 예측을 달성함을 보인 뒤, 우리는 최신(state-of-the-art) 기후 에뮬레이션(climate emulation)으로 눈을 돌린다. 홀드아웃(held-out)된 결합 기후(coupled-climate) 개입에 대해, ReRoute는 심각한 CO$_2$ 분포 변화(distribution shift) 하에서 전체 기후 오차를 18.2-31.8% 감소시키는 동시에 표준 조건에서의 성능(skill)은 그대로 유지하며, 이러한 데이터를 생성하는 데 드는 상당한 비용을 고려하지 않더라도 추가적인 통제된 시뮬레이션으로 재학습하는 비용의 일부에 불과한 비용으로 이를 달성한다. 마지막으로, 반사실적 기준(reference)이 존재하지 않는 과거 ERA5 재분석(reanalysis) 데이터로 학습된 에뮬레이터에서, ReRoute는 고정 CO$_2$ 반사실적 조건(fixed-CO$_2$ counterfactual) 하에서 관측된 경계 조건(boundary conditions)이 시사하는 지표면 온난화(surface warming)를 상당히 더 많이 보존한다.
스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰
What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review
대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.
행동 귀속 이전의 생성 출처: 합성 음성 연구 대상 감사하기
Generation Provenance Before Behavior Attribution: Auditing Synthetic Speech Research Objects
모델 행동을 합성 학습(training) 데이터의 탓으로 귀속시키기 위해서는, 각 학습 항목이 무엇을 유발했는지 추정하기에 앞서 무엇이 그 항목을 생성했는지를 알아야 합니다. 파형(waveform)-레이블 쌍은 이러한 정보를 보존하지 못합니다. 본 논문에서는 합성 연구 대상(synthetic research object)이 소스 명세, 생성된 콘텐츠, 파형, 타깃, 사실 요건, 품질 신호, 검토 계보(review lineage), 그리고 불변 매니페스트 식별자를 결합하는 생성 출처(generation provenance) 기반 구조를 제안합니다. 생성자 및 선택 메커니즘이 증거적 의미를 결정하며, 저장 위치나 변수명은 그렇지 않습니다. 저자들은 비공개 일본어 간호 인수인계 파이프라인에서 이 기반 구조를 감사합니다. 113개 자산으로 구성된 검토 대상군은 6개 시나리오 패밀리에 걸쳐 1.552시간 분량의 합성 음성을 포함합니다. 모든 항목은 연결된 오디오, 전사본, 후보 노트, 사실 체크리스트를 갖추고 있으나, 사람에 의한 증거는 선별적이며 소스에 국한됩니다. 두 개의 충실성 전용(faithful-only) 매니페스트는 시나리오 시드가 서로 겹치지 않으며(scenario-seed-disjoint) 불변 버전으로 관리되지만, 유동적인 생성기 별칭(floating generator aliases), 클립별 TTS 및 코드 스탬프 누락, 버전이 지정되지 않은 검사 프롬프트(prompt)로 인해 정확한 상류 귀속(upstream attribution)은 여전히 차단되어 있습니다. 본 논문에서는 생성 출처가 행동 귀속을 위한 필요조건이지만 충분조건은 아니라고 주장합니다. 즉, 생성 출처는 후보 인과 그래프와 감사 단위를 정의할 뿐이며, 기여적 귀속(contributive attribution)을 위해서는 여전히 동결된 학습 실행과 개입 또는 영향력 증거가 필요합니다. 본 연구는 합성 데이터 귀속을 위한 간결한 출처 계약, 감사 프로토콜, 그리고 한정된 사례 연구를 제시합니다. 통제된 연구 목적의 접근은 제공될 수 있으나, 인과적 학습 데이터 귀속, 임상적 유효성, 또는 제한 없는 공개 배포를 주장하지는 않습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.