arXiv:2611.22055v1 cs.LG

가중치 공간 프로그래밍에는 트랜스포머가 필요 없다

Weight-Space Programming Doesn't Need Transformers

Hyunjong Ok, Jaeho Lee

제출 2026-11-18

한국어 초록

트랜스포머 같은 표준 신경망 아키텍처는 경사하강법으로 잘 학습되고 GPU에서 빠르게 실행되므로 채택됐다. 가중치 공간 프로그래밍에서는 대규모 언어 모델이 그래디언트 기반 학습 없이 대상 모델의 가중치를 직접 작성하므로 이러한 근거가 적용되지 않는다. 그래도 트랜스포머를 유지할 필요가 있을까? 최소한의 지침과 레이블이 있는 예시 10개, 샌드박스를 제공한 뒤 최신 대규모 언어 모델 세 가지에 고정 아키텍처의 가중치를 생성하거나 아키텍처 자체를 설계하도록 했다. 주로 객관식 문제를 사용했다. 자유롭게 설계하도록 하자 세 모델 모두 일반 텍스트의 사실을 희소 테이블로 바꾸고 고정된 절차로 질의했다. 시험 정확도는 최대 54.4%였다. 대규모 언어 모델이 설계한 모델 하나는 같은 언어 모델이 가중치를 작성해 공개한 트랜스포머 가운데 정확도가 가장 높은 모델보다 정확도가 높았고, 매개변수는 약 1,800분의 1만 사용했다. 그래디언트가 없을 때 모델은 테이블을 선택한다. 대규모 언어 모델은 테이블의 각 가중치가 뜻하는 바를 설명할 수 있고, 잘못된 가중치를 찾아 다시 쓸 수 있다. 오답 하나는 행 하나를 가리키며, 행을 제거하면 다른 응답 한 개 정도가 바뀐다. 이를 바탕으로 같은 크기의 트랜스포머보다 GPU에서 최대 17배 빠른 연상 메모리 기반 모델을 제안한다. 사전학습 가중치, 다른 벤치마크, 모델이 답을 생성하는 과제도 시험했다. 사전학습된 대규모 언어 모델의 정확도는 여전히 더 높다. 연구의 주장은 가중치를 직접 작성할 때 어떤 구조를 만들 것인가에 관한 것이다.

원문 초록

Standard neural architectures such as the Transformer were chosen because they train well with gradient descent and run fast on GPUs. In weight-space programming, a large language model (LLM) writes target weights by hand without gradient-based training, so those reasons no longer apply. Should we keep the Transformer? Given minimal guidance, ten labeled examples, and a sandbox, mainly on multiple-choice questions, we task three frontier LLMs with either generating the weights of a fixed architecture or designing the architecture themselves. When free to design, all three compile plain-text facts into a sparse table queried by a fixed procedure, reaching up to 54.4% test accuracy. An LLM-designed model achieves higher test accuracy than the most accurate released Transformer that the same LLM wrote while using about 1,800x fewer parameters. Without gradients, they choose a table, in which the LLM can state what each weight means and can find and rewrite a wrong one. Each wrong answer points to one row, and removing a row changes about one other answer. From this, we propose an associative-memory-based model up to 17x faster on GPUs than a same-sized Transformer. We also test pretrained weights, other benchmarks, and tasks where models generate answers. Pretrained LLMs remain more accurate; the claim concerns which structure to build when writing weights.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22055v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.