구조화 데이터셋의 목표 변수 예측과 분류를 위한 제로샷 가중치 공간 프로그래밍
Zero-Shot Weight-Space Programming for Prediction and Classification of Target Variables in Structured Datasets
한국어 초록
가중치 공간 프로그래밍은 경사하강법 없이 순전파 신경망의 모든 매개변수를 직접 정한다. 기존의 모든 시연은 목표 함수를 규칙으로 모델에 줬기 때문에 컴파일 문제에 해당했다. 지도학습 데이터셋에는 그런 명세가 없다. 따라서 통계적 추론부터 수행한 뒤 주어진 매개변수화 안에서 결과를 표현해야 한다. 본 연구는 대규모 언어 모델이 두 작업을 모두 할 수 있는지 조사한다. 작은 데이터셋 전체와 순전파 신경망의 아키텍처를 보여 주고, 모델이 모든 가중치와 바이어스를 숫자로 직접 작성하도록 했다. 옵티마이저, 그래디언트, 코드 실행, 사전 평가 기회는 제공하지 않았다. 각 결과를 확정해 변경하지 않도록 하고 예상 점수를 사전 등록했다. 단계별 과제 모음은 장난감 문제 두 개에서 시작해, 숨겨진 회전으로 구조를 가린 합성 문제 아홉 개를 거쳐, 고전적 벤치마크와 실제 공학 회귀 문제 하나까지 이른다. 가중치를 고정한 신경망은 최적해가 선형인 모든 문제에서 닫힌 형태의 최적해와 일치했다. 최적해가 비선형인 세 단계에서는 데이터 생성 과정의 비가역적 오차 한계에 도달했으며, 그중 두 단계에서는 경사하강법으로 학습한 동일 아키텍처를 포함해 적합한 모든 기준선을 앞섰다. 두 단계에서는 찾아야 할 구조가 분석한 좌표축에 비스듬히 놓여 실패했다. 다른 모델 세 종으로 구성 실험을 해 보니 점수 하나로는 구분할 수 없는 두 실패 유형이 드러났다. 한 모델은 가장 어려운 단계에서 매개변수 벡터를 반환하지 못했다. 다른 모델은 모든 단계에서 벡터를 냈지만 평균값을 예측하는 것보다 성능이 낮은 신경망을 작성했다. 실패 사례 중 하나는 피할 수 있었다. 또 다른 모델은 비스듬한 힌지 과제를 다중 비교 보정 후에도 유의한 차이로 해결했다. 은닉층이 실제로 유용한지는 선형 분리기의 학습 오차로 예측할 수 있었지만, 종합 복잡도 지수는 이를 포착하지 못했다.
원문 초록
Weight-space programming fixes every parameter of a feed-forward network by hand, with no gradient descent anywhere in the construction. Every demonstration so far starts from a target function handed to the model as a rule system, making it a compilation problem. A supervised dataset withholds that specification, so the procedure must do the statistical inference itself and then express the result in the parameterisation it was given. We ask whether a large language model can do both. It is shown a small dataset in full, with the architecture of a feed-forward network, and writes out every weight and bias as a literal number, with no optimizer, no gradient, no code execution, and no chance to evaluate it first. Each construction is sealed and pre-registers its expected score. The graded suite runs from two toy problems, through nine synthetic problems disguised by a hidden rotation, to the classical benchmarks and one real engineering regression. The frozen network matches the closed-form optimum wherever that optimum is linear, reaches the irreducible error of the generating process on three rungs where it is not, and beats every fitted baseline on two of those, including the same architecture trained by gradient descent. It fails on two rungs, both times because the structure to be found is oblique to the coordinates it analysed. Three further constructors separate two failure modes a single score conflates: one returns no parameter vector at all on the hardest rungs, another delivers everywhere while writing networks worse than predicting the mean. One of those failures proves avoidable: another constructor solves the oblique-hinge rung by a margin that survives multiple-comparison correction. What predicts whether the hidden layer earns its keep is the training error of a linear separator, which the composite complexity index misses.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19292v2제출 시각 미확인
- arXiv:2611.19292v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.