BaseRSI: 학습 불필요 하네스 내재화를 통한 기반 비전-언어 모델의 재귀적 자기 개선
BaseRSI: Recursive Self-Improvement of a Base Vision-Language Model via Training-Free Harness Internalization
한국어 초록
재귀적 자기 개선(RSI)은 기반 모델을 둘러싼 프롬프트와 도구의 하네스에서 모델 자체로 옮겨 가고 있다. 그러나 기존 RSI는 기반 모델 밖에 머무는 하네스 종속적 이득, 모델의 출력만 읽는 블랙박스 지도, 위치와 강도가 미리 고정된 부정확한 편집 등의 핵심 과제에 여전히 직면해 있다. 이러한 과제를 해결하기 위해 본 논문은 재귀적 하네스 내재화라는 새로운 패러다임인 BaseRSI를 제안한다. 여기서 기반 모델은 자신의 하네스를 개선한 뒤, 하네스가 더하는 것을 학습이 필요 없는 편집을 통해 자신의 가중치에 기록하며, 이를 자신의 응답에 대해 라운드마다 반복한다. 이 패러다임을 뒷받침하기 위해 우리는 ReGap을 도입한다. ReGap은 하네스가 각 블록에서 단독으로 만들어 내는 고차원 활성화 차이로 모든 트랜스포머 블록을 지도하고, 이 신호를 따라 저차원 부분공간에서 해당 블록의 가중치를 갱신하는 메커니즘이다. 이 메커니즘을 기반으로 우리는 ReKey도 제안한다. ReKey는 이 신호를 모든 블록의 소수의 키-값 뉴런에 회귀로 기록하고, 모델 자신의 응답을 바탕으로 각 편집의 위치와 강도를 측정하는 알고리즘이다. 또한 기반 모델은 순전파만으로 이 재귀의 모든 역할을 수행하며, 서로 다른 위치에 기록된 편집들은 재적합 없이 하나의 체크포인트에서 합성된다. 열 개의 시각 추론 벤치마크에 대한 실험 결과, BaseRSI는 기반 비전-언어 모델을 분포 내 벤치마크와 보류된 벤치마크 모두에서 일관되게 향상시킨다. 코드는 https://github.com/beita6969/BaseRSI 에서 공개되어 있다.
원문 초록
Recursive self-improvement (RSI) is moving from the harness of prompts and tools around a base model toward the model itself. However, existing RSI still faces key challenges, including harness-bound gains that stay outside the base model, black-box supervision that reads only the model's outputs, and imprecise edits whose site and strength are fixed in advance. To address these challenges, we propose BaseRSI, a new paradigm of Recursive Harness Internalization: the base model improves its harness, then writes what the harness adds into its own weights through training-free edits, round after round on its own responses. To support this paradigm, we introduce ReGap, a mechanism that supervises every transformer block with the high-dimensional activation difference that the harness makes at that block alone, and updates the block's weights along this signal in a low-dimensional subspace. Building on this mechanism, we further propose ReKey, an algorithm that writes this signal by regression into a few key-value neurons of every block, and measures the site and strength of each edit on the model's own responses. Moreover, the base model fills every role of this recursion with forward passes alone, and its edits, written at different sites, compose in one checkpoint without refitting. Experimental results on ten visual reasoning benchmarks show that BaseRSI consistently improves a base vision-language model both in distribution and on held-out benchmarks. Our code is available at https://github.com/beita6969/BaseRSI.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24578v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.