미세조정 역전의 중력적 해석
A Gravitational Interpretation of Fine-Tuning Reversion
무해한 데이터에 대한 미세조정은 학습 초기에 획득된 행동을 부분적으로 되돌릴 수 있다. 안전성은 무해한 정렬 후 업데이트에 의해 약화될 수 있고, 언러닝된 능력이 재출현할 수 있으며, 잠재적 특성이 겉보기에 무관한 지도 신호를 통해 전이될 수 있고, 이와 관련된 정렬 후 취약성은 다른 생성적 환경에서도 나타난다. 우리는 이러한 현상들이 공통된 학습 이력의 관점에서 유용하게 해석될 수 있다고 주장한다. 우리의 가설은 기하학적이다: 대규모의 초기 학습 단계는 지배적인 행동 다양체(behavioral manifold)를 형성하는 반면, 이후의 정렬 또는 특화 단계는 그로부터의 더 얕은 변위에 해당한다. 따라서 이후의 미세조정은 지배적 다양체의 증인(witness)을 향해 되돌아가는 지속적인 복귀 성분을 내재적으로 가질 수 있다. 우리는 이를 미세조정 역전의 중력적 해석이라 부른다. 주요 실험 설정 전반에 걸쳐, 표현 드리프트(representational drift)는 이력 기반 복귀 방향(v_rev)을 따라 빠르게 성분을 획득한다. 주요 트랙에서, v_rev와의 정렬은 첫 번째 업데이트 후 cos = 0.429 ± 0.052에서 20번째 스텝까지 0.647 ± 0.021로 상승한다. 24개의 실행-스텝 쌍 전반에 걸쳐, 관측된 모든 정렬 값이 등방성 활성화 공간(isotropic activation-space) 귀무 분포의 p99를 초과한다. 우리는 v_rev 방향의 이동을 선택적으로 차단하면 T=100에서의 최종 정렬이 0.648 ± 0.009에서 −0.211 ± 0.021로 변화하고, 유해성이 19.0% ± 4.0%에서 8.5% ± 1.5%로 감소하며 태스크 비용은 거의 발생하지 않음을 입증한다. 이러한 결과들은 v_rev가 우리의 실험 설정에서 정렬 후 초기 복귀의 인과적으로 관련된 매개변수임을 뒷받침한다. 중요한 점은, 우리는 v_rev가 유일한 안전성 방향이라거나 지배적 다양체가 직접 관측된다고 주장하지 않는다는 것이다; 오히려, 우리는 초기 복귀 역학을 설명하고 부분적으로 제어하는 견고하고 이력 기반의 방향을 식별한다.