arXiv:2611.21885v2 cs.AI

언어 모델은 스스로의 가중치를 다시 쓸 수 있다

Language Models Can Rewrite Their Own Weights

Jiajun Fan, Neil He, Changyi Yang, Andy Mao, Xi Zhu, Chaoran Cheng, Kaiqu Liang, Shuaike Shen, Zetian Li, Ruihan Guo, Ge Liu

제출 2026-11-18

한국어 초록

언어 모델은 한 번 학습된 뒤 고정된다. 모델을 개선하려면 또 한 번의 학습을 하거나, 작업이 끝나면 사라지는 프롬프트, 하네스 또는 추론 시 추가 연산이 필요하다. 본 논문은 세 번째 방법을 제시한다. 우리가 아는 한 처음으로, 언어 모델이 자신의 추론으로 스스로의 가중치를 다시 써서 기울기와 학습 없이 성능이 향상된다. 이를 자기 재작성(self-rewriting)이라 부르며, 이때 모델은 자기 자신의 옵티마이저가 된다. 기존 연구에서는 최상위 모델이 훨씬 작은 모델을 편집했으나, 본 연구에서는 공개된 270억 파라미터 모델이 자신의 가중치, 채점된 답안, 스스로를 실행할 수 있는 능력을 부여받아 자신의 실패를 진단하고 그 뒤에 있는 가중치를 다시 쓴다. 모델은 스스로를 능가한다. 자신의 편집만으로 접해 본 적 없는 문제에서 정확도가 6.6점 높아진다. 모델은 계속 향상된다. 연습 문제로 편집을 시험하여 효과가 있는 것만 제출하며, 각 편집은 이전보다 개선되고, 연속된 여덟 번의 세션 동안 정확도는 오르기만 한다. 모델은 손상된 자기 복제본도 수리한다. 이는 다시 만들지 않고도 스스로를 고치는 고장 난 로봇과 같다. 복제본은 거의 아무것도 풀지 못하지만, 재학습 없이 원본 가중치를 읽지도 않은 채 모델은 접해 본 적 없는 이미지 과제에서 원래 정확도의 80% 이상으로 복구시킨다. 또한 이 능력은 규모에 따라 나타난다. 한 모델 계열에서 더 작은 모델들은 편집을 하지 못하거나 스스로를 망가뜨리며, 가장 큰 모델만이 스스로를 개선하고 수리한다. 테스트 시점 스케일링과 달리 자기 재작성은 그 이득을 가중치에 기록하므로 답변당 비용이 들지 않으며, 학습과 달리 서빙과 마찬가지로 순전파만 실행한다. 학습과 추론 사이의 벽은 지능의 속성이 아니라 우리 도구의 한계이다. 우리는 자기 재작성이 재귀적 자기 개선을 향한 필수적인 단계라고 믿는다. 인간처럼 학습과 추론을 구분하지 않는 모델은 더 큰 모델도, 하네스나 프롬프트 엔지니어링도, 사전 학습이나 사후 학습도 없이 평생 스스로를 계속 업그레이드할 수 있을 것이다.

원문 초록

A language model is trained once and frozen. Making it better takes another training run, or a prompt, a harness or extra computation at inference that is gone once the task ends. We show a third way: to our knowledge for the first time, a language model rewrites its own weights by its own reasoning and becomes better, with no gradients and no training. We call this self-rewriting: the model is its own optimizer. In earlier work, a frontier model edited a much smaller one; here an open 27B model, given its weights, its graded answers and the ability to run itself, diagnoses its own failure and rewrites the weights behind it. It surpasses itself: its own edit makes it 6.6 points more accurate on problems it never saw. It keeps getting better: it tests its edits on practice problems and submits only what works, each edit improving on the last, and over eight consecutive sessions its accuracy only rises. It repairs a damaged copy of itself, like a broken robot that fixes itself without being rebuilt: the copy solves almost nothing, yet with no retraining and without ever reading the original weights, the model brings it back to over 80% of the original accuracy on image tasks it never saw. And the ability emerges with scale: in one model family, the smaller models make no edit or break themselves, and only the largest improves and repairs itself. Unlike test-time scaling, self-rewriting writes its gain into the weights, at no cost per answer; unlike training, it runs only forward passes, as serving does. The wall between training and inference is a limit of our tools, not a property of intelligence. We believe self-rewriting is a necessary step toward recursive self-improvement: a model that, like a human, does not separate training from inference could keep upgrading itself for life, with no larger model, no harness or prompt engineering, and no pre- or post-training.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21885v2제출 시각 미확인
  2. arXiv:2611.21885v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.