arXiv:2611.21596v1 cs.RO

SADL: 표현 붕괴의 수요-공급 기하학에 관하여

SADL: On the Demand-Supply Geometry of Representation Collapse

Junhan Sun, Yigui Feng, Mingzhe Liu, Haoyan Xu, Lei Ye, Ziqi Han, Hanru Bai, Yanzhao Zhang, Hao Zhao, Guofeng Zhang

제출 2026-11-16

저자 비고

arXiv Comments

49 pages, including references and appendices

한국어 초록

결합 임베딩 예측 아키텍처(JEPA)에서는 프로젝터 출력을 잘 제약하는 것만으로는 표현 붕괴를 막지 못한다. 우리는 초기화 시점부터 인코더 표현이 서로 다른 입력들이 공유하는 성분에 의해 지배된다는 것을 발견했다. 배치 정규화된 프로젝터는 이 성분을 제거하므로 프로젝터 이후의 정규화로는 이를 바로잡을 수 없고, 표현 간의 차이가 줄어들다가 결국 붕괴한다. 본 연구는 기존 학습 목적 함수를 유지하면서 필요할 때 인코더를 직접 제약하는 SADL(Supply And Demand Loss)을 제안한다. SADL은 프로젝터 출력이 요구하는 표현 차이와 인코더가 유지하여 프로젝터로 전달할 수 있는 차이를 비교하고, 공급이 수요에 못 미칠 때에만 인코더에 제약을 추가한다. SADL은 다양한 수요 정규화기(Demand Regularizer)와 함께 작동하며, 보조 네트워크, 추가 학습 가능 파라미터, 아키텍처 변경을 도입하지 않는다. 단일 과제 및 4개 과제 공동 학습 설정의 LeWorldModel(LeWM)과 INTACT 실험에서 SADL은 10개의 무작위 시드에 걸친 붕괴율을 50%에서 0%로 낮춘다. 한 에폭 학습 후 인코더의 유효 랭크는 SADL이 없는 해당 기준선의 3.4~6.4배이며, 잠재 예측 오차는 기준선의 1/20~1/303로 감소한다. 추가 튜닝 없이도 SADL은 손실 가중치가 여러 자릿수에 걸쳐 변해도 견고하게 유지되며, 여러 수요 정규화기와 함께 사용할 때 INTACT는 탐색 없는 제어의 평균 성공률 95%를 넘는다. 4개의 이미지 데이터셋에서도 SADL은 무작위 시드 전반에 걸쳐 정확도와 안정성을 일관되게 향상시킨다. 이러한 결과는 정규화기가 요구하는 표현 차이와 인코더가 공급할 수 있는 차이를 일치시키는 것이 제어와 이미지 분류에서 더 빠르고 안정적인 표현 학습으로 이어짐을 보여 준다.

원문 초록

In Joint-Embedding Predictive Architectures (JEPAs), a well-constrained projector output does not by itself prevent representation collapse. We find that, from initialization, the encoder representation is dominated by a component shared by different inputs. A batch-normalized projector removes this component, so regularization after the projector cannot correct it, and the differences between representations shrink until they collapse. We propose SADL (Supply And Demand Loss), which keeps the original training objective and constrains the encoder directly when needed. SADL compares the representation differences that the projector output demands with the differences the encoder can retain and pass on to the projector, and adds a constraint on the encoder only when supply falls short of demand. It works with different Demand Regularizers and introduces no auxiliary networks, additional trainable parameters, or architectural changes. In single-task and jointly trained four-task LeWorldModel (LeWM) and INTACT experiments, SADL lowers the collapse rate over ten random seeds from 50% to 0%. After one epoch of training, encoder effective rank is 3.4-6.4 times that of the corresponding baseline without SADL, and latent prediction error falls to 1/20-1/303 of it. Without additional tuning, SADL stays robust as its loss weight spans orders of magnitude, and with several Demand Regularizers INTACT exceeds 95% mean search-free control success. On four image datasets, SADL also consistently improves accuracy and stability across random seeds. These results show that matching the representation differences a regularizer demands with the differences the encoder can supply leads to faster and more stable representation learning in control and image classification.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21596v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.