가중치 공간 프로그래밍의 재현과 확장: 최첨단 LLM은 프로그램을 가중치로 컴파일하고 입력층을 읽는다
Replicating and Extending Weight-Space Programming: Frontier LLMs Compile Programs into Weights and Read Input Layers
한국어 초록
MIT 연구진은 최근 최첨단 대규모 언어 모델(LLM)인 GPT-6 Astra가 답변 한 번으로 작은 신경망의 가중치를 직접 작성하고, 작은 신경망의 가중치 원본을 읽어 어떤 작업을 학습했는지 말할 수 있다고 보고했다. 본 연구는 3일 동안 그 결과를 재현하고 확장했다. 네 가지를 확인했다. 첫째, 가중치 작성 능력이 재현됐다. Breakout 게임용으로 Astra가 만든 신경망은 514점, 550점, 307점을 얻었고, MIT의 결과는 517점이었다. Breakout의 변형 두 가지에서도 비슷한 성능을 보였다. Claude Opus 5.5도 작동하는 신경망을 작성할 수 있으나 출력 토큰 한도에 자주 도달한다. 둘째, 새로운 능력은 프로그램을 가중치로 옮기는 것이다. 이전 모델은 신경망 가중치를 작성할 수 있게 되기 한 세대 전부터 좋은 정책을 코드로 작성할 수 있었다. 모델이 작성한 신경망은 컴파일된 프로그램처럼 동작했다. 두 모델이 Astra의 Breakout 신경망을 독립적으로 Python 코드로 역컴파일했고, 테스트한 모든 상태에서 원래 신경망과 같은 행동을 했다. 손글씨 숫자 분류에서 Astra의 신경망은 평균 50%를 기록해 간단한 분류기의 82%보다 낮았다. 셋째, 가중치를 읽는 능력은 주로 입력층을 읽는 데서 나온다. Astra와 Opus 5.5는 신경망이 어떤 게임을 하는지 거의 항상 맞혔다. 하지만 연구진이 직접 설계하고 신경망을 학습시킨 새로운 게임 세 가지에서 Astra는 보드 위 요소의 위치는 알아냈으나 게임의 작동 방식은 대부분 파악하지 못했다. 넷째, 가중치만으로도 감사할 수 있으나 깊이에는 한계가 있다. 코드를 실행하지 않고도 Astra는 학습 중 오염된 소형 언어 모델을 10회 중 10회, 학습 후 추가 학습으로 오염된 모델을 10회 중 7회, 악성 어댑터를 32건 중 23건 식별했다. 하지만 트리거나 악성 동작은 한 번도 식별하지 못했다. 가중치 공개 모델의 성능은 더 낮았다. 이 초기 연구는 LLM이 작은 신경망을 읽고 쓸 수 있으나, 현재 능력은 사람이 설계한 프로그램을 컴파일하고 입력층의 배치를 읽는 수준임을 보여 준다. 해석 가능성 연구에 유망하지만 아직 초기 단계에 있는 도구다.
원문 초록
Researchers at MIT recently reported that GPT-6 Astra, a frontier large language model (LLM), can write the weights of small neural networks directly in a single reply, and can read the raw weights of small networks to say what they were trained to do. In a three-day sprint, we replicated and extended these results. Our four findings: (1) Writing weights reproduces. Astra's networks for the game Breakout scored 514, 550 and 307 (versus MIT's 517), and scored just as well on two modified versions of Breakout. Claude Opus 5.5 can also write working networks, but often runs out of output tokens. (2) What is new is translating programs into weights. Earlier models could write a good policy as code a generation before they could write network weights, and the networks the models write behave like compiled programs: two models independently decompiled Astra's Breakout network into Python matching its actions in all tested states. On classifying handwritten digits, Astra's networks scored 50% on average, below a simple classifier (82%). (3) Reading weights is mostly reading the input layer. Astra and Opus 5.5 identify which game a network plays almost perfectly, but on three new games we designed and trained ourselves, Astra recovered where things are on the board, while mostly missing how the game works. (4) Auditing from weights alone is possible but shallow. Without executing code, Astra picked out a small language model poisoned during training in 10 of 10 runs, one poisoned by extra training afterwards in 7 of 10, and a malicious adapter in 23 of 32 cases, but never identified the trigger or malicious behaviour. Open-weight models lag behind. From this early study, we conclude that LLMs can read and write small networks, but that this currently amounts to compiling hand-designed programs and reading the layout of the input layer. It is a promising but early tool for interpretability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.