arXiv:2611.24844v1 cs.CL

일반적 진전은 언어 모델에서 특정 학습 데이터를 대체한다

General progress substitutes for specific training data in language models

Mark Marosi, Peter Antal

제출 2026-11-19

한국어 초록

언어 모델은 학습 데이터로부터 능력을 획득하며, 개발자는 모델이 오용될 수 있는 능력을 학습하지 못하도록 학습 중 데이터를 제외한다. 이것이 능력의 획득을 얼마나 지연시키는지, 그리고 나중에 그 능력을 획득하는 데 얼마나 많은 데이터가 필요한지는 알려져 있지 않다. 본 연구에서는 모델이 나머지 학습 데이터에서 이루는 일반적 진전이 제외된 데이터를 대체함을 보인다. 우리는 체스, 오델로, 분자 문자열, 괄호 언어, 웹 텍스트 모델에서 개별 기술에 대한 학습 신호를 제외하였다. 더 큰 모델에서 제외된 기술의 지연 정도는 더 작은 모델로부터 예측되었다. 체크에 대응하도록 명시적으로 학습된 적이 없는 체스 모델도, 학습된 모델과 거의 비슷한 수준으로 합법적인 대응 수들의 순위를 매겼다. 이후 모델을 제외되었던 데이터로 학습시키자, 초기화 상태에서 필요한 데이터의 작은 일부만으로 해당 기술을 획득했으며, 이 비율은 모델이 진전될수록 감소하였다. 난이도가 동일한 대조 규칙은 훨씬 더 느리게 학습되었다. 70억 개 파라미터 모델의 학습 텍스트에서 제외된 프로그래밍 언어 역시 같은 방식으로 다시 획득되었다. 따라서 데이터 필터링은 능력의 획득을 지연시키지만, 이를 되찾는 데 필요한 데이터는 모델이 향상될수록 감소한다.

원문 초록

Language models acquire their capabilities from training data, and developers withhold data during training to keep models from learning capabilities that could be misused. How long this delays a capability, and how much data is needed to acquire it later, is unknown. Here we show that the general progress a model makes on the rest of its training data substitutes for the data that was withheld. We withheld the training signal for individual skills in models of chess, Othello, molecular strings, bracket languages and web text. The delay of a withheld skill in larger models was predicted from smaller ones. A chess model never explicitly trained to respond to check ranked the legal responses almost as well as a model that was. When models were then trained on the withheld data, they acquired the skill with a small fraction of the data needed from initialization, and this fraction decreased as the models progressed. A control rule of equal difficulty was learned much more slowly. A programming language withheld from the training text of a 7-billion-parameter model was regained in the same way. Data filtering therefore delays a capability, and the data required to regain it decreases as models improve.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24844v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.