시각 관측 기반 end-to-end 모방 학습에서 행동 손실만으로는 인코더가 모호한 행동 비특이적 표현을 학습하는 문제를, ORION이 Far Left부터 Far Right까지의 목표 상대 제어 범주 순서에 맞춰 표현 공간을 1차원 축으로 정렬하는 Ordinal Neural Collapse 사전학습으로 해결한다. 사전학습된 인코더를 diffusion 기반 내비게이션 파이프라인에 통합해 end-to-end 파인튜닝한 결과, 시뮬레이션과 실제 환경에서 내비게이션 성공률과 목표 진행률이 end-to-end 및 neural collapse 베이스라인보다 우수했고, 복잡한 다방향 교차로 같은 시각적으로 어려운 구간에서 특히 개선이 두드러졌다.
독립적으로 학습된 신경망은 공유된 뉴런 인덱스 기준 프레임이 없으므로, 이들을 비교하려면 좌표 자유도를 고려해야 한다. Neural Collapse는 이 문제를 더 날카롭게 만든다. 네트워크가 공유된 저차원 기하학으로 수렴하면서, 수렴 이후 궤적 특이적 기능적 변이가 여전히 구별 가능한지라는 질문이 제기된다. 우리는 탐지 가능성(detectability), 이식 가능성(transplantability), 인과적 지속성(causal persistence)의 세 가지 주장을 구분하고 첫 번째를 다룬다. MNIST에서 Neural Collapse를 재현하는 다섯 개의 독립 학습 네트워크를 사용하여, 기증자(donor) 헤드를 수혜자(recipient) 좌표로 매핑하는 검증된 아핀 보정(affine-correct) 정렬을 적용한다. 기증자 특이적 기능적 지문은 수혜자 수준 기준선 보정 후에도 구별 가능하다. 순서가 있는 20개의 기증자-수혜자 쌍이 모두 정확히 식별되었으며, exact permutation p=0.0083이고, 누출(leakage) 감사에도 견고하다. 이 결과는 여기서 사용한 검증 하에서 탐지 가능성을 입증하지만, 이식 가능성이나 인과적 지속성은 입증하지 않는다. 본 연구는 정렬, 모호성 진단, 누출 통제가 통제된 환경에서 네트워크 간 변이를 검증하는 방법을 보여준다. 이것이 그 범위를 넘어 일반화되는지는 아직 열려 있다.
언어 모델 표현에서의 클래스 내 분산은 흔히 불완전한 신경 붕괴(neural collapse)로 해석된다. 우리는 이것이 할당된 정보 저장이며, 그 할당이 하나의 법칙을 따른다고 주장한다. 단 한 줄의 중심화 항등식이 심플렉스 등각 타이트 프레임(simplex equiangular-tight-frame) 주장들의 한 계열을 무효화하는데, 여기에는 우리 자신의 이전 연구도 포함된다. 14개 모델에 걸친 무차원 분산 점유율에서, 매크로 카테고리 구조는 표현 분산의 4~12%만을 차지하고 토큰 내 컨텍스트(within-token context)는 79~91%를 차지하며, 이는 100배의 매개변수 범위에 걸쳐 안정적이다. 이론적 측면에서, 토큰 수준의 가중치 감쇠는 카테고리를 발생 빈도가 아닌 타입 수에 비례하여 불이익을 주어, 다음 토큰 예측을 불균형한 K-클래스 문제로 환원시키며, 그 최적해는 카테고리 노름(norm)을 타입 수에 따라 순서화한다. 이진 카테고리에 대해 증명된 역방향 하한(converse floor)은, 클래스 내 분산이 조건부 상호 정보량 I(토큰; 컨텍스트 | 카테고리)에 적어도 비례하도록 강제한다. 이 법칙은 성립한다: 항등 분산도(identity dispersion)가—총 분산이 아니라—테스트된 모든 모델과 파티션에 걸쳐 이 정보를 추적하며, 이는 모델 비의존적 추정 하에서도, 심지어 모델 간에서도 성립하여 한 모델의 정보가 다른 모델의 분산도를 예측한다. 또한 사전학습 과정에서 카테고리 점유율은 과잉 상승하고 감소한 뒤 부분적으로 회복되는데, 이는 그것이 담아야 할 정보가 사라지지 않기 때문이다.
원-핫 다음 토큰 예측에서도 잠재 의미 요인을 반영한 표현이 학습 초기에 창발하지만, 뉴럴 콜랩스(Neural Collapse)가 예측하는 레이블 기반 대칭 분리와 충돌하는 문제를 세 가지 합성 제어 설정으로 검증했다. 의미적 기하 구조는 명시적 감독 없이 공유 속성별로 군집화되나 충분한 용량과 학습 시간 뒤 소실되는 일시적 상전이이며, 그람 행렬(Gram matrix) 분석으로 이를 추적하고 비제약 특징 모델의 예비적 수정을 제안한다.