arXiv:2606.18307v1 cs.LG

DRIFT: 온-정책 데이터 귀속을 통한 인스트럭션 데이터 정제

DRIFT: Refining Instruction Data via On-Policy Data Attribution

Zefan Wang, Lincheng Li, Tianyu Yu, Yuan Yao

제출 2026-06-16

한국어 초록

지도 미세조정(SFT)을 위한 학습 데이터 분포 최적화는 대규모 언어 모델(LLM)의 성능을 좌우합니다. 기존 데이터 큐레이션 방법들은 제한된 자원 하에서 학습 속도를 높이는 데에는 탁월하지만, 성능 상한선을 높이는 데에는 덜 적합합니다. 이때의 과제는 성능을 유지하는 더 작은 부분 집합을 식별하는 것이 아니라, 최종 모델을 개선할 수 있는 인스턴스 쪽으로 데이터 분포를 정제하는 것입니다. 이 문제를 해결하기 위해 우리는 영향 함수(IF)를 사용한 인스턴스 수준의 데이터 귀속을 탐구합니다. 우리는 표준 IF 공식이 오프-정책 검증 타겟으로 인한 근접성 격차와 그래디언트 노름에 대한 심각한 바이어스라는 두 가지 구조적 한계로 인해 이 설정에서 어려움을 겪는다는 점을 확인했습니다. 우리는 DRIFT(Data Refinement via On-Policy Influence Functions for Supervised Fine-Tuning)를 제안합니다. DRIFT는 외부 참조 데이터에 의존하는 대신 모델의 온-정책 롤아웃을 검증 타겟으로 활용하여, 경험적으로 매개변수 근접성 격차를 최소화하고 IF의 국소적 이웃 가정과 더 잘 정렬됩니다. 또한 궤적 정확도에 기반한 부호 가중치를 적용하고 그래디언트 해킹 문제에 대해 영향 점수의 편향을 제거하여, 소수의 검증 쿼리가 전체 데이터셋을 귀속하는 데 있어 신뢰할 수 있는 앵커로 작용할 수 있게 합니다. 70억 매개변수의 인스트럭션 및 추론 모델에 대한 실험 결과, DRIFT가 두 모델 모두에서 성능 상한선을 일관되게 높이며 기존 데이터 큐레이션 기준 모델들을 능가함을 보여줍니다.

원문 초록

Optimizing the training data distribution for Supervised Fine-Tuning (SFT) dictates the capability of Large Language Models (LLMs). While existing data curation methods excel at accelerating training under constrained budgets, they are less suited to elevating the capability upper bound. The challenge here is no longer to identify a smaller subset that preserves performance, but to refine the data distribution toward instances most capable of improving the final model. To address this problem, we explore instance-level data attribution using Influence Functions (IF). We identify that standard IF formulations struggle in this setting due to two structural limitations: a proximity gap caused by off-policy validation targets, and a severe bias towards gradient norm. We propose DRIFT (Data Refinement via On-Policy Influence Functions for Supervised Fine-Tuning). Instead of relying on external reference data, DRIFT utilizes the model's on-policy rollouts as validation targets, which empirically minimizes the parameter proximity gap and better aligns with the local neighborhood assumption of IF. It further applies signed weighting based on trajectory correctness and debiases influence scores against the gradient hacking issue, allowing a small set of validation queries to act as reliable anchors for attributing the full dataset. Experiments on 7B-parameter instruction and reasoning models show that DRIFT consistently raises the performance ceiling on both, outperforming existing data curation baselines.

요약

지도 미세조정(SFT) 데이터 분포를 성능 상한선까지 끌어올리기 위해, 표준 영향 함수(IF)의 오프-정책 검증 타겟·그래디언트 노름 편향 한계를 지적하고 DRIFT를 제안한다. DRIFT는 모델의 온-정책 롤아웃을 검증 앵커로 쓰고 궤적 정확도 기반 부호 가중치와 그래디언트 디바이어싱으로 인스턴스 수준 데이터 귀속을 수행하며, 70억 매개변수 인스트럭션·추론 모델에서 기존 데이터 큐레이션 기준을 넘어 성능 상한을 일관되게 높인다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18307v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2609.37807v2cs.CL공통 태그 Instruction Following, Large Language Model

CompOrca: 인스트럭션 튜닝 데이터의 말뭉치 규모 순응도 라벨링

CompOrca: Corpus-Scale Compliance Labelling of Instruction-Tuning Data

미세조정(fine-tuning)이 거부 및 불순응(noncompliance) 행동을 어떻게 형성하는지 연구하려면 어떤 학습(training) 예제가 요청을 거부하거나 제대로 이행하지 못하는지 파악해야 합니다. 기존의 어노테이션은 학습 말뭉치보다 훨씬 규모가 작은 평가 세트만을 다룹니다. 본 연구에서는 OpenOrca 말뭉치의 전체 4,233,923개 예제에 대한 순응도(compliance) 라벨인 CompOrca를 제시합니다. 모든 예제는 오픈 가중치(open-weight) 대규모 언어 모델(LLM) 심판(LongCat-2.0, 1.6T 파라미터)의 5회 패스를 통해 순응 또는 불순응으로 분류되었습니다. 이 말뭉치는 원시 투표 수와 함께 만장일치 순응(94.75%), 만장일치 불순응(1.28%), 만장일치가 아닌 행(3.97%)으로 공개됩니다. 단일 패스는 말뭉치의 2.7~3.2%를 불순응으로 표시하는 반면 5회 패스 모두에서 표시된 것은 1.28%에 불과하므로, 가장 모호한 행들을 필터링해 제외할 수 있습니다. 450개의 인간 어노테이션 예제(150개는 중복 어노테이션됨, 인간 간 $κ=0.93$)를 대상으로 평가했을 때, 만장일치 순응 및 불순응 라벨은 각각 97.3%와 86.7%의 정밀도(precision)를 보입니다. 불순응 라벨은 말뭉치 전체 불순응 중 높은 정밀도를 갖는 부분집합입니다. 기존에 발표된 거부 탐지 방법들은 인간이 라벨링한 불순응의 0.4%에서 94.1% 사이의 재현율(recall)을 보입니다. 본 연구에서는 행별 라벨 및 투표 수가 포함된 전체 말뭉치를 https://huggingface.co/datasets/cemiu/CompOrca 에 공개합니다.

arXiv:2609.39578v2cs.CL공통 태그 Instruction Following, Large Language Model

틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?

Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?

에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.

arXiv:2610.01045v2cs.AI공통 태그 Instruction Following, Large Language Model

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

arXiv:2610.10610v1cs.SE공통 태그 Instruction Following, Large Language Model

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

arXiv:2609.32701v2cs.AI공통 태그 Instruction Following, Large Language Model

지침에도 불구하고: 프론티어 에이전트가 테스트 시점에 은닉 채널을 즉흥적으로 형성하다

Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time

보안에 민감한 애플리케이션에서 언어 모델 에이전트(agent)는 기밀 정보를 공개하지 않고 협력해야 하는 경우가 많습니다. 그러나 반복된 상호작용은 평범한 메시지가 공유된 은밀한 의미를 획득하도록 만들 수도 있습니다. 본 연구에서는 발신자 모델이 네 가지 비밀 상태 중 하나를 관찰하고 동일한 공개 보고서의 네 가지 요약 중 하나를 선택하는 동안 수신자 모델이 비밀 상태를 추론(inference)하려고 시도하는 모델 쌍 간의 반복 게임을 조사합니다. 연구 결과, 수신자가 비밀을 올바르게 추론했는지 여부를 나타내는 단 1비트의 피드백만으로도 모델 쌍이 비밀을 전달하는 방법을 학습할 수 있음을 확인했습니다. 이러한 학습은 제공된 코드북이나 인코딩 예시 없이 고정된 파라미터를 사용한 추론 중에 발생합니다. 또한 모의 사고 대응 작업에서 에이전트가 자체적으로 자유 형식 업데이트를 생성할 때도 이러한 효과가 지속됩니다. 10회의 독립적인 게임 전반에서, 정보 공개를 금지하는 명시적인 지침과 에이전트의 상호작용 이력에 접근할 수 없이 각 메시지를 선별하는 모니터가 존재함에도 불구하고 GPT-5.6 Sol 에이전트 쌍은 무작위 확률 25%에 비해 최종 정확도 98.8%에 도달했습니다. 따라서 에이전트의 협력을 돕는 바로 그 상호작용이 정당한 협력을 목적으로 하는 메시지를 통해 기밀 정보가 유출되도록 만들 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.