GRASP: 확장 가능한 사전학습 데이터 기여도 분석을 위한 기하학 인지 잔차 정렬
GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution
한국어 초록
확장 가능한 데이터 기여도 분석(data attribution) 방법들은 일반적으로 개별 학습 예제에 독립적인 효용 점수를 부여합니다. 이처럼 널리 쓰이는 가법성 가정은 데이터 중복성과 상호 보완적 커버리지를 포함한 핵심적인 부분집합 역학을 근본적으로 포착하지 못합니다. 본 연구에서는 기여도 분석을 부분집합 수준의 반사실적(counterfactual) 효용 예측 문제로 재정의하고, 상호작용을 고려하는 대리 모델인 GRASP를 제안합니다. 이론적인 평활도 하한에 기반한 GRASP는 2차 기하학적 페널티를 통해 부분집합 간 상호작용을 명시적으로 모델링합니다. 숨겨진 오라클 튜닝에 의존하지 않고 사전학습 규모의 효율성을 달성하기 위해, 저차원 특징 스케치와 엄격하게 유한한 하한 신뢰 한계(LCB) 선택 프로토콜을 결합합니다. 광범위한 부분집합 재학습 평가를 통해 GRASP가 기존의 확장 가능한 베이스라인 모델들을 압도적으로 능가함을 입증합니다. GRASP는 사전 산출물 구축 비용을 약 10분의 1 수준으로 줄이면서도, 반사실적 부분집합 충실도에 대한 태스크 수준 순위 상관관계를 2배 이상 끌어올립니다. 나아가 다운스트림 진단을 통해 이러한 점수 측정 메커니즘이 언어 모델 큐레이션 및 교차 도메인 비전 데이터 선택으로도 전이됨을 보여주며, 대규모 사전학습 말뭉치를 최적화하기 위한 탄탄한 토대를 마련합니다.
원문 초록
Scalable data attribution methods typically assign isolated utility scores to individual training examples. This prevalent additive assumption fundamentally fails to capture critical subset dynamics, including data redundancy and complementary coverage. In this work, we reframe attribution as subset-level counterfactual utility prediction and introduce GRASP, an interaction-aware surrogate. Grounded in a theoretical smoothness lower bound, GRASP explicitly models subset interactions through a quadratic geometric penalty. To achieve pretraining-scale efficiency without relying on hidden oracle tuning, we couple low-dimensional feature sketches with a strictly finite lower-confidence bound selection protocol. Extensive subset-retraining evaluations demonstrate that GRASP decisively outperforms existing scalable baselines. It more than doubles the task-level rank correlation for counterfactual subset fidelity while reducing upfront artifact construction costs by nearly an order of magnitude. Downstream diagnostics further show that this scoring mechanism transfers to language model curation and cross-domain vision selection, establishing a robust foundation for optimizing massive pretraining corpora.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06892v3
- arXiv:2606.06892v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
스트리밍 개입: 비디오 대규모 언어 모델은 실수가 발생할 때 이를 수정할 수 있는가?
Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?
요리와 같은 일상적인 기술을 배우는 일은 온라인 비디오와 같은 교육용 미디어에 점점 더 의존하고 있습니다. 이는 비디오(및 멀티모달) 대규모 언어 모델(LLM)을 작업 가이드 어시스턴트로 활용할 수 있는 가능성을 열어줍니다. 잠재적인 작업 가이드 어시스턴트가 실제 환경에서 성공하기 위해 필수적인 능력은 사용자를 안내하기 위해 실수가 드러나는 즉시 선제적으로 개입하는 능력입니다. 이러한 핵심 능력을 평가하기 위해, 우리는 현실적인 요리 시나리오에서 반응형 단계별 작업 가이드를 평가하는 벤치마크인 Ego-MC-Bench(Mistake Corrections)를 소개합니다. 광범위한 실험을 통해 Ego-MC-Bench가 최첨단 비디오 LLM에게 매우 도전적인 과제임을 확인했습니다. 우리는 주된 원인이 이 작업에 대해 모델을 미세조정할 학습 데이터의 가용성이 제한되어 있기 때문이라고 주장합니다. 광범위한 요리 비디오 데이터셋이 존재하지만, 기존 데이터셋에는 적절한 시점에 이루어지는 개입과 함께 실수에 대한 예제가 부족합니다. 이러한 데이터 제한을 해결하기 위해, 우리는 또한 비대화형 요리 비디오를 선제적 개입을 보여주는 지도 학습 예제로 변환하여 생성된 반사실적 합성 데이터셋인 Ego-CoMist를 소개합니다. Ego-CoMist로 미세조정을 수행하면, 특히 엣지 디바이스에서 지원을 제공하는 데 적합한 더 작고 효율적인 비디오 LLM의 성능이 향상됨을 보여줍니다.
텍스트-이미지 모델은 귀납주의적 칠면조인가? 인과 추론을 위한 반사실적 벤치마크
Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning
Einstein World Models
Einstein World Models
지능은 직접적인 경험을 넘어서는 현상에 대해 추론할 수 있는 능력을 필요로 하는가? 일부 복잡한 사고는 언어만으로는 포착할 수 없다고 의심하는 것은 자연스럽다. 그러나 본 연구가 특히 관심을 두는 것은, 반사실적(counterfactual) 사건을 시각화하는 것이 복잡한 사고의 메커니즘으로서 언어를 보완할 수 있는지 여부이다. 우리는 대규모 언어 모델(LLM)이 이러한 시각화 메커니즘을 활용하도록 학습될 수 있으며, 그 방식이 추론 능력 향상에 도움이 되는지 묻는다. 이 질문에서 영감을 받아, 우리는 Einstein World Models를 제안한다. EWM은 시각-시간적 롤아웃을 추론 trace 안에 배치하는 LLM 기반 추론 시스템의 청사진(blueprint)으로, 텍스트만으로는 잘 지원하지 못할 수 있는 방식으로 추론할 수 있게 한다. EWM에서 LLM은 검토 중인 장면에 대한 짧은 롤아웃을 생성하기 위해 world-module(월드 모델(world model)과 혼동하지 말 것)을 호출한다. 반환된 롤아웃은 답이 아니라, 이후 추론을 지원할 수 있는 검사 가능한 가설(hypothesis)로 취급된다. Einstein World Models는 LLM의 도구 호출(tool calling) 능력(예: 웹 검색 또는 코드 실행)을 시각적 사고 실험(thought experiment) 영역으로 확장한다.
내성적 결합: 고정된 지도 신호에도 불구하고 행동 변화를 추적하는 자기 설명 학습
Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision
비전이 언어를 우선할 때: VLA의 반사실적 실패 평가 및 완화
When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs
지도 학습 기반 분리를 활용한 조직 그래프 반사실 질의
Querying Counterfactuals on Tissue Graphs with Supervised Disentanglement
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
EMNLP 2026 Main Poster