PyTorchKR Papers

최신 논문

총 14편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06892v3cs.LG

GRASP: 확장 가능한 사전학습 데이터 기여도 분석을 위한 기하학 인지 잔차 정렬

GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

확장 가능한 데이터 기여도 분석(data attribution) 방법들은 일반적으로 개별 학습 예제에 독립적인 효용 점수를 부여합니다. 이처럼 널리 쓰이는 가법성 가정은 데이터 중복성과 상호 보완적 커버리지를 포함한 핵심적인 부분집합 역학을 근본적으로 포착하지 못합니다. 본 연구에서는 기여도 분석을 부분집합 수준의 반사실적(counterfactual) 효용 예측 문제로 재정의하고, 상호작용을 고려하는 대리 모델인 GRASP를 제안합니다. 이론적인 평활도 하한에 기반한 GRASP는 2차 기하학적 페널티를 통해 부분집합 간 상호작용을 명시적으로 모델링합니다. 숨겨진 오라클 튜닝에 의존하지 않고 사전학습 규모의 효율성을 달성하기 위해, 저차원 특징 스케치와 엄격하게 유한한 하한 신뢰 한계(LCB) 선택 프로토콜을 결합합니다. 광범위한 부분집합 재학습 평가를 통해 GRASP가 기존의 확장 가능한 베이스라인 모델들을 압도적으로 능가함을 입증합니다. GRASP는 사전 산출물 구축 비용을 약 10분의 1 수준으로 줄이면서도, 반사실적 부분집합 충실도에 대한 태스크 수준 순위 상관관계를 2배 이상 끌어올립니다. 나아가 다운스트림 진단을 통해 이러한 점수 측정 메커니즘이 언어 모델 큐레이션 및 교차 도메인 비전 데이터 선택으로도 전이됨을 보여주며, 대규모 사전학습 말뭉치를 최적화하기 위한 탄탄한 토대를 마련합니다.

arXiv:2610.02593v1cs.LG

대규모 언어 모델의 지속적 사전학습을 위한 피셔 유도 서브모듈러 데이터 선택

Fisher-Guided Submodular Data Selection for Continual Pre-Training of Large Language Models

데이터 선택은 웹 규모 말뭉치에 노이즈가 많고 토큰 예산이 한정된 대규모 언어 모델(LLM) 학습에서 이미 핵심적인 병목 지점입니다. 지속적 사전학습(Continual Pre-Training, CPT)에서 이는 망각 제어 문제로 전환됩니다. 잘못 선택된 타깃 도메인 말뭉치는 사전학습된 체크포인트에 인코딩된 역량을 덮어써 버릴 수 있습니다. 기존의 CPT 관행은 펄플렉서티(perplexity)와 같은 매개변수 무관 스칼라값으로 후보를 점수화하거나, 다수의 일반 도메인 리플레이(replay) 토큰을 추가로 소모하여 망각을 완화합니다. 그러나 두 전략 모두 후보 데이터에 대한 학습이 모델 매개변수를 어떻게 변화시킬지 직접적으로 고려하지 않습니다. 본 연구에서는 손실 기반 선택을 사용할 경우 CPT 이후 피셔 대각 성분(Fisher diagonal)이, 사전학습 모델이 이미 확정해 둔 바로 그 고피셔(high-Fisher) 좌표에서 하향 표류(drift)하는 반면 저피셔 좌표는 대체로 건드리지 않은 채로 남겨둔다는 점을 보입니다. 이러한 비대칭성은 치명적 망각(catastrophic forgetting)의 매개변수 공간 메커니즘을 드러냅니다. 이러한 관찰에 착안하여, 각 후보 데이터의 그래디언트를 확정된 매개변수 방향에 대한 섭동을 측정하는 앵커(anchor) 성분과 제약 없는 저피셔 부분공간에서의 업데이트 역량을 측정하는 프론티어(frontier) 성분으로 분해하는 피셔 인식 CPT 선택기를 제안합니다. 우리는 로그 행렬식(log-determinant) 서브모듈러 목적함수로 이러한 신호들을 종합하며, 확장 가능한 스트리밍 데이터 선택 파이프라인을 사용해 단일 패스(single pass)로 이를 최적화합니다. 의료 데이터에 대한 TinyLlama-1.1B 및 Llama-3.1-8B CPT 실험에서, 제안한 선택기는 미보유(held-out) 사전학습 벤치마크에 대한 망각을 억제하면서 타깃 도메인 품질을 개선합니다. 가장 중요한 점은 망각 인식 리플레이 방식보다 토큰 효율성이 대폭 향상된다는 것입니다. 선택된 1B 토큰만으로도 적응과 망각 방지 모두에서 10B 토큰으로 학습된 리플레이 전략을 능가하여 10배의 토큰 효율성 이점을 달성합니다.

arXiv:2608.30254v2cs.LG

벡터 값 선형 회귀에서 가중치 부여 데이터 선택의 정확한 복원 임계값

Exact Recovery Thresholds for Weighted Data Selection in Vector-Valued Linear Regression

본 논문에서는 Hanneke, Moran, Shlimovich, Yehudayoff의 COLT 2025 미해결 문제인 "회귀 태스크를 위한 데이터 선택"의 질문 4 중 임계값 부분을 해결합니다. 우리는 $x\in\mathbb{R}^d$ 및 $y\in\mathbb{R}^m$에 대해 제곱 손실(loss) $\ell_{(x,y)}(W)=\lVert Wx-y\rVert_2^2$을 갖는 벡터 값 선형 회귀를 연구합니다. 학습기는 최소 프로베니우스 노름(Frobenius-norm) 경험적 위험 최소화기를 반환합니다. 우리는 모든 유한 데이터셋(dataset)에서 전체 데이터 손실을 복원하기 위한 가중치 부여 예제의 최소 예산이 정확히 $n^{\star}(d,m)=(m+1)d$임을 증명합니다. 또한 임계값에 근접한 예산에서의 가중치 부여 선택 프로파일 $F_{\mathrm{weighted}}(d,m,n)$을 규명하여 $F_{\mathrm{weighted}}(d,m,(m+1)d-1)=1+1/(dm^2)$임을 보입니다. 우리는 모든 $m$에 대해 이미 알려진 생성 예산(spanning-budget) 값인 $F_{\mathrm{weighted}}(d,m,d)=d+1$과 $n<d$일 때 $F_{\mathrm{weighted}}(d,m,n)=\infty$임을 재현합니다. 미해결된 가장 작은 중간 셀인 $(d,m)=(2,2)$에 대해 $F_{\mathrm{weighted}}(2,2,3)\in[13/8,15/8]$ 및 $F_{\mathrm{weighted}}(2,2,4)\in[5/4,3/2]$임을 증명합니다. 추측된 정확한 값인 $13/8$과 $5/4$를 최대 7개의 원자를 갖는 원 위의 유한 모멘트 문제로 귀결시키고 이에 대한 구조적 증거를 제시합니다. 상한은 고정 기저 원뿔 압축 보조정리(fixed-basis conic compression lemma), 극대 인증(maximal certificate)에 대한 행렬식-면 강성 정리(determinant--facet rigidity theorem), 그리고 평균이 0인 가중치 부여 점 시스템에 대한 샤프 희소화 보조정리(sharp sparsification lemma)를 사용합니다. 이러한 도구들은 그 자체로도 독립적인 관심을 가질 수 있습니다. 또한 우리는 $2d$개의 점으로 이루어진 어떤 가중치 부여 선택도 최적 손실을 복원하지 못하는 $d=m=2$인 명시적인 6개 점 정수 데이터셋을 제시합니다. 따라서 스칼라에서 충분했던 예산 $2d$는 벡터 값 출력으로 확장되지 않습니다. $m\ge2$에 대한 우리의 새로운 회귀 프로파일 결과는 $m=1$에 대한 스칼라 이론을 확장합니다.

arXiv:2608.28007v2cs.LG

선형 회귀에서 가중치 기반 데이터 선택의 정확한 위험 비율

Exact Risk Ratios for Weighted Data Selection in Linear Regression

고정된 학습자(learner)는 얼마나 많은 데이터를 유지해야 하는가? Hanneke, Moran, Shlimovich, Yehudayoff(COLT 2025)는 최소 노름 경험적 위험 최소화기(minimum-norm empirical risk minimizer)를 사용하는 선형 회귀에 대해 이 질문을 제기했다. 선택기(selector)는 유한 데이터셋 $D\subseteq R^d\times R$를 확인하고 음이 아닌 가중치를 갖는 최대 $n$개의 예제를 유지하며, $F_w(d,n)$은 학습된 예측기의 전체 데이터 손실과 최적 손실 사이의 최악의 경우 비율이다. 이 값은 $n<d$일 때 $\infty$, $n=d$일 때 $d+1$, $n\ge2d$일 때 $1$이며, $d<n<2d$ 영역은 미해결 과제로 남아 있었다. 본 연구에서는 여러 사례를 해결한다. 모든 $d$에 대해 $F_w(d,2d-1)=1+1/d$임을 증명하여, 원 논문에서 증명 없이 언급되었던 주장을 확인한다. 또한 해당 공식으로 다루어지지 않는 가장 작은 세 셀인 $F_w(3,4)=5/3$, $F_w(4,5)=2$, $F_w(4,6)=3/2$를 증명한다. 모든 중간 예산 $n=d+k$에 대해 하한 $F_w(d,d+k)\ge1+Γ_{d,k}$를 증명하며, 여기서 $Γ_{d,k}$는 $d$의 균형 분할에 대한 명시적인 조화 수량이다. 이 하한은 백색화된 시스템(whitened systems)이 직교 회로 블록으로 분할되는 데이터셋 클래스에서의 정확한 미니맥스(minimax) 값이다. 증명된 모든 값은 $1+Γ_{d,k}$와 같으며, 본 연구는 미해결 영역 전체에서도 이것이 성립할 것이라고 추측한다. 본 연구의 상한은 손실 기울기(loss gradient)의 양의 생성 구성(positive spanning configurations)에 대한 강성 정리와 $R^3$ 및 $R^4$에서의 작은 양의 기저(positive bases)의 표준형을 결합한다. 이러한 형태는 Cornaz, Kerleau, Royer 분류의 특수한 경우이며, 기저 외부의 모든 기울기 또한 제어한다. 차원 독립적인 극대 기저 논증은 부호 원뿔(sign-cone) 기하학을 $d+1$개 점의 선택으로 변환한다. 명시적인 반례를 통해 몇 가지 더 짧은 경로를 배제한다. 모든 상한은 구성적(constructive)이며, 고정된 차원에 대해 점 수에 대한 다항식 선택 절차를 갖는다. 특정 인스턴스에 대한 모든 수치적 주장은 정확한 유리수 또는 대수적 항등식이며, 보충 자료에서 정확한 산술로 재계산된다.

arXiv:2609.38767v2cs.LG

dattri-LLM: LLM 규모의 학습 데이터 기여도 분석을 위한 통합적이고 효율적인 라이브러리

dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale

학습 데이터 기여도 분석(TDA, Training Data Attribution)은 개별 학습 예제가 모델 출력에 미치는 영향을 추정합니다. 확장 가능한 대부분의 TDA 방식은 예제별 그래디언트(per-example gradient)에 의존하지만, 이를 대규모 언어 모델(LLM) 규모에서 계산하고 활용하는 데에는 효율성, 호환성 및 확장성 측면의 어려움이 따릅니다. 본 연구에서는 그래디언트 기반 기여도 분석을 대규모 환경에서 더욱 실용적으로 수행할 수 있도록 지원하는 TDA 라이브러리인 dattri-LLM을 소개합니다. 효율성을 위해 dattri-LLM은 간결한 그래디언트 표현 방식을 사용하고 비용 모델을 기반으로 그래디언트 연산을 동적으로 라우팅합니다. 호환성 측면에서는 포착(capture) 메커니즘을 통해 backward()를 호출하는 기존 학습 루프나 그 구성을 변경하지 않고도 예제별 그래디언트를 수집할 수 있습니다. 이는 DDP 및 FSDP를 활용한 분산 학습과 HuggingFace Transformers, TRL, OLMo로 구축된 파이프라인을 지원합니다. 확장성을 위해 dattri-LLM은 기여도 분석 기법과 응용 프로그램을 구현할 수 있는 재사용 가능한 그래디언트 연산 및 학습 시점 콜백을 제공합니다. 이러한 인터페이스는 그래디언트 유사도, 곡률 기반 영향도, 궤적 기반 기법 등 다양한 기여도 분석 방식뿐만 아니라 온라인 데이터 선택과 같이 학습 중 그래디언트를 활용하는 응용 분야도 지원합니다. 동일한 하드웨어와 워크로드에서 dattri-LLM은 가장 빠른 경쟁 라이브러리 대비 평균 3.2배의 처리량을 달성하고, 4대의 H200 GPU에서 다양한 기여도 분석 방식을 1,100억 개 매개변수(110B) 모델까지 확장하며, 다양한 모델 계열 및 규모 전반에 걸쳐 기여도 정확도 대비 비용 면에서 우수한 절충점을 제공합니다. dattri-LLM의 소스 코드는 https://github.com/TRAIS-Lab/dattri-llm 에서 확인할 수 있습니다.

arXiv:2604.17614v2cs.AI

모델-네이티브 스킬 특성화

Characterizing Model-Native Skills

스킬은 언어 모델이 무엇을 할 수 있는지, 그리고 그 행동을 어떻게 바꿀 수 있는지를 기술하는 자연스러운 단위이다. 그러나 기존 특성화는 사람이 작성한 분류체계, 텍스트 설명, 또는 수동 프로파일링 파이프라인에 의존한다—이는 모두 무엇이 중요한지에 대한 외부 가설이며, 모델의 내부 표현과 일치할 필요가 없다. 우리는 모델 행동에 개입하는 것이 목표일 때, 스킬 특성화는 모델-네이티브(model-native)이어야 한다고 주장한다: 외부 온톨로지를 통해 부과하는 것이 아니라 모델 자체의 표현에 그라운딩되어야 한다. 우리는 시퀀스 수준 활성화(sequence-level activations)로부터 컴팩트한 직교 기저(orthogonal basis)를 복원함으로써 이 관점을 구체화한다. 결과적 기저는 의미적으로 해석 가능하지만 미리 정의된 인간 온톨로지와 대응할 필요는 없으며, 대신 모델 자체가 조직화하는 행동 변화의 축을 포착한다. 우리는 추론 사후 학습(reasoning post-training)에서 이 특성화를 검증하며, 복원된 기저를 SFT 데이터 선별과 추론 시 스티어링 모두에 사용한다. 우리는 주어진 모델에 어떤 방향이 가장 유용한지 식별하기 위해 경량 프록시 개입을 개발한다. Llama3-8B와 Qwen2.5-3B 전반에 걸쳐, 그 방향을 따라 데이터를 선별하면 MATH에서 Pass@1이 최대 20%, AMC에서 41% 개선되며, 사람이 특성화한 스킬에 기반한 데이터 선별을 능가한다. 기저가 활성화 공간에 존재하므로, 동일한 방향은 추론 시 스티어링 벡터로도 작동하여 MATH에서 Pass@8을 최대 4.8% 개선한다—이는 사람이 특성화한 스킬이 지원할 수 없는 개입이다. 우리는 안전성 정렬(safety alignment)에서도 특성화를 추가로 검증하며, 텍스트 다양성보다 모델-네이티브 스킬 커버리지를 위한 적대적 학습 데이터 선별이 더 샘플 효율적인 학습을 낳는다. 이 결과는 외부에서 부과하는 대신 모델 자체 표현으로부터 스킬을 복원하는 것이 모델 행동 개입을 위한 더 효과적인 기반을 제공함을 시사한다. 코드는 오픈소스로 공개되었다.

arXiv:2603.12478v2cs.CV

적은 데이터, 빠른 수렴: 멀티모달 지시 미세조정을 위한 목표 주도 데이터 최적화

Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning

멀티모달 인스트럭션 튜닝의 연산 비효율 문제를 해결하기 위해, GDO(Goal-Driven Data Optimization) 프레임워크는 각 학습 샘플에 대해 광학 흐름, 비디오 의존도 점수(VDS), 시간적 필요성 등 6가지 디스크립터를 계산하여 목표별 최적 학습 서브셋을 구성한다. Qwen3-VL-8B-Instruct 기반 고정 학습 환경에서 512k 샘플의 Uni-10x 기준선 대비 최대 19.2배 적은 데이터로 MVBench, VideoMME, MLVU, LVBench 전 벤치마크에서 더 빠른 수렴과 최대 +3.08pp 높은 정확도를 달성했다.

arXiv:2607.02637v1cs.LG

동질-이질 분할을 통한 합성 이미지의 생성 후 큐레이션

Post-Generation Curation of Synthetic Images via Homogeneous-Heterogeneous Splitting

최근 생성 모델은 고품질 합성 이미지를 생성할 수 있어, 데이터가 많이 필요한 모델에 확장 가능한 학습 데이터를 제공한다. 이러한 잠재력을 활용하는 기존 접근법은 일반적으로 1) 생성기를 학습하거나 미세조정하거나, 2) 프롬프트 엔지니어링이나 추론 시점 가이던스와 같은 경량 사후 적응을 사용하는 방식으로, 생성기에 종속적이고 전문 지식을 필요로 한다. 본 연구는 이에 상보적인 질문을 다룬다: 고정된 생성 이미지 풀이 주어졌을 때, 유익한 부분 집합을 선택하는 것만으로 다운스트림 유용성을 향상시킬 수 있는가? 답은 그렇다이다. 우리는 효과적인 선택이 현대 생성기의 구조적 바이어스에 대응해야 함을 보인다: 생성기는 각 클래스의 전형적인 모드를 과잉 생성하는 경향이 있는 반면, 클래스 내 변이는 충분히 표현하지 못한다. 이 통찰을 바탕으로, 우리는 각 실제 클래스를 전형적인 동질(HO) 부분 집합과 비중복적인 이질(HE) 부분 집합으로 분할한 뒤, 의미적 정렬에는 보상을 주고 전형적 중복에는 패널티를 부과하는 충실도-다양성 기준으로 합성 이미지에 점수를 매긴다. 이 방법은 생성기에 무관하며 재학습을 필요로 하지 않는다. 여러 벤치마크에서 최신 데이터 선택 기준선을 일관되게 능가하며, 합성 샘플을 최대 40% 줄인 상태에서도 실제 데이터 수준의 성능에 도달한다. 동일한 기준은 더 강력한 태스크 튜닝 생성기 위에 적용했을 때도 효과적이며, 분류와 분할 태스크 모두에서 성능 향상을 보인다. 따라서 생성 후 선택은 더 나은 생성기의 대안이 아니라, 합성 데이터의 유용성을 향상시키는 상보적 메커니즘이다.

arXiv:2607.02460v1cs.LG

주석 없는 LLM 자기 증류를 위한 뉴런 인식 데이터 선택

Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation

주석 없는 자기 증류(annotation-free self-distillation)의 한계를 극복하기 위해, 내부 뉴런 활성화 패턴을 활용하여 학습 데이터 선택(Neuron Consensus)과 교사 컨텍스트 구성(Neuron Overlap)을 동시에 안내하는 Neuron-OPSD 프레임워크를 제안한다. 특화 도메인 벤치마크에서 기존 주석 없는 기준 방법 대비 도메인 내 성능 향상, 교차 도메인 일반화 유지, 캘리브레이션 붕괴 완화를 달성했다.

arXiv:2606.30077v1cs.LG

가우시안 프로세스를 통한 지시 미세조정을 위한 온라인 데이터 선택

Online Data Selection for Instruction Tuning via Gaussian Processes

기존 온라인 데이터 선택 방식의 '배치 제약' 한계를 극복하기 위해, 가우시안 프로세스(Gaussian Process) 회귀로 전체 학습 데이터의 품질 유용성 다양체를 모델링하고 적응형 전략 융합 메커니즘으로 고품질 샘플을 전역적으로 우선 샘플링하는 GAIA 프레임워크를 제안한다. fixed-share Hedge 프레임워크 기반의 동적 후회 보장(dynamic-regret guarantee)을 통해 비정상적 품질 점수 하에서도 강건성을 유지하며, 세 가지 데이터셋에서 GREATS 등 최신 기준 방법을 크게 능가하는 성능을 달성하였다.

arXiv:2603.01195v2cs.CV

VisNec: 다중모달 지시 미세조정을 위한 시각적 필요성 측정 및 활용

VisNec: Measuring and Leveraging Visual Necessity for Multimodal Instruction Tuning

VisNec(Visual Necessity Score)는 다중모달 지시 미세조정에서 시각 컨텍스트 유무에 따른 예측 손실 차이로 샘플이 시각 필수·중복·정렬 불일치인지 판별하는 데이터 선택 프레임워크이며, 의미적 클러스터링과 결합해 작업 다양성을 유지한다. 10개 다운스트림 벤치마크에서 LLaVA-665K의 15%만으로 전체 데이터 성능의 100.2%를 달성했고, Vision-Flan-186K에서는 전체 학습 대비 15.8% 더 높은 성능을 보였다.

arXiv:2606.24828v1cs.CL

Less is More: Quality-Aware Training Data Selection for Scientific Summarization

생의학·생명과학 장문 요약을 위해 PMC 기반 188만 건 규모의 PMC-Large 데이터셋을 구축·공개하고, 저자 초록이 본문과 얼마나 정렬되는지 원문 근거·모델 기반 지표로 분석했다. 초록 품질 신호로 학습 데이터를 선별하면 동일 학습 규모에서 무작위 샘플링보다 성능이 좋아지며, 사실성 중심 평가에서는 더 큰 무작위 부분집합과 맞먹거나 능가할 수 있다.

arXiv:2606.22002v1cs.CV

그래프 커버리지 기반 의료 이미지 분류를 위한 원샷 데이터 선택

One-Shot Data Selection for Medical Image Classification via Graph Coverage

라벨링 예산이 제한된 경우 전체 데이터셋으로 의료 이미지 분류기를 학습하는 것은 낭비적이다. 모든 샘플이 동등하게 기여하지 않지만, 전문가 라벨을 확보하는 것은 비용이 많이 든다. 액티브 학습(active learning)은 반복적 질의를 통해 라벨링 비용을 줄이지만, 오라클에 대한 반복적 접근을 가정하며 여러 라운드의 모델 학습이 필요하다. facility location과 같은 원샷 기하학 기반 방법은 재학습은 피하지만, 데이터 매니폴드의 국소 구조를 무시하는 쌍별 거리 위에서 동작한다. 우리는 완전히 고정된 파운데이션 모델 임베딩 위에서만 동작하는 그래프 기반 원샷 선택 방법을 제안한다. 사전학습된 인코더의 임베딩이 주어지면, 모든 학습 샘플에 대해 k-근접 이웃 그래프를 구성하고, 열 확산 커널로부터 2항 커버리지 커널을 도출하여 직접 이웃 관계와 2-hop 이웃 관계를 모두 포착한다. 이 커널에 대한 탐욕적 facility location을 통해 데이터 매니폴드의 커버리지를 최대화하는 클래스 균형 부분집합을 선택한다. 2항 커널은 선택 동작에서 전체 스펙트럴 열 커널과 일치하면서, 단일 하이퍼파라미터를 사용한 희소 행렬 연산으로 계산을 줄인다. 조직병리학, 방사선학, 현미경을 아우르는 5개 MedMNIST 데이터셋에서 평가하고, 학습 역학 기반 및 기하학 기반 베이스라인과 비교한다. 우리 방법은 10가지 데이터셋-비율 조건 중 9개에서 가장 높은 균형 정확도를 달성했으며, 전역 그래프 구성이 클래스별 방법이 놓치는 클래스 간 구조를 포착하는 클래스 불균형 데이터셋에서 가장 큰 이득을 보였고, 선택 과정에서 어떠한 모델 학습도 수행하지 않았다. 코드는 https://github.com/zahiriddin-rustamov/graph-coverage-selection 에서 이용 가능하다.

arXiv:2606.18650v1cs.LG

BLADE: LLM 학습을 위한 확장 가능한 이중 수준 적응적 데이터 선택

BLADE: Scalable Bi-level Adaptive Data Selection for LLM Training

대규모 언어 모델(LLM) 학습에서 영향 기반(influence-based) 데이터 선택은 역 Hessian 계산이 부담스럽고, 초과 손실(excess-loss) 방식은 고정된 참조 모델이 학습 중 프록시 모델과 어긋나는 한계가 있다. BLADE는 라그랑주 승수로 이중(bi-level) 목적을 페널티 단일 수준 문제로 바꿔 Hessian 없이 동적 참조 모델과 동기화된 토큰 선택을 수행하며, Frank-Wolfe 기반 온라인 배치 선택으로 기존 최신 데이터 선택 기준보다 일관되게 우수한 성능을 보였다.