arXiv:2511.08544 cs.LG

LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics

제출 2025-11-11

한국어 초록

AI의 세계와 그 동역학에 대한 조작 가능한 표현을 학습하는 것은 AI의 핵심입니다. Joint-Embedding Predictive Architectures (JEPAs)는 유망한 청사진을 제공하지만, 실용적인 지침과 이론의 부족으로 인해 임시방편적인 연구 개발이 이루어졌습니다. 우리는 JEPAs에 대한 포괄적인 이론을 제시하고, 이를 {\bf LeJEPA}라는 간결하고 확장 가능하며 이론적으로 기반이 있는 학습 목표로 구체화합니다. 첫째, 우리는 JEPAs의 임베딩이 다운스트림 예측 위험을 최소화하기 위해 따라야 할 최적의 분포로 등방성 가우시안을 식별합니다. 둘째, 우리는 임베딩이 그 이상적인 분포에 도달하도록 제약하는 새로운 목표인 {\bf Sketched Isotropic Gaussian Regularization} (SIGReg)을 도입합니다. JEPA 예측 손실과 SIGReg를 결합하면 여러 이론적 및 실용적 이점을 가진 LeJEPA가 생성됩니다: (i) 단일 트레이드오프 하이퍼파라미터, (ii) 선형 시간 및 메모리 복잡도, (iii) 하이퍼파라미터, 아키텍처(ResNets, ViTs, ConvNets) 및 도메인 전반에 걸친 안정성, (iv) 휴리스틱이 없는 방식, 예를 들어, 중단 그래디언트, 교사-학생, 하이퍼파라미터 스케줄러가 없음, (v) 약 50줄의 코드만으로 분산 학습 친화적인 구현이 가능합니다. 우리의 경험적 검증은 10개 이상의 데이터셋과 60개 이상의 아키텍처를 포함하며, 모두 다양한 규모와 도메인을 다룹니다. 예를 들어, imagenet-1k를 사용하여 사전 학습하고 고정된 백본으로 선형 평가를 수행했을 때, LeJEPA는 ViT-H/14로 79\%에 도달합니다. 우리는 LeJEPA가 제공하는 단순성과 이론 친화적인 생태계가 자가 감독 사전 학습을 AI 연구의 핵심 기둥으로 재정립할 수 있기를 바랍니다. (\href{https://github.com/rbalestr-lab/lejepa}{GitHub 저장소})

요약

AI의 발전에 있어 조작 가능한 표현을 학습하는 것은 필수적이며, 이를 위한 Joint-Embedding Predictive Architectures (JEPA)는 유망한 설계를 제공하지만, 기존의 연구는 실용적인 지침과 이론의 부족으로 인해 비효율적인 접근을 초래하였다. 이러한 문제를 해결하기 위해, LeJEPA라는 새로운 학습 목표가 제안되었다. LeJEPA는 경량화되고 확장 가능하며 이론적으로 기반이 있는 접근법으로, JEPA의 임베딩이 따라야 할 최적의 분포로 등방성 가우시안(isotropic Gaussian)을 식별하고, 이를 달성하기 위한 새로운 목표인 Sketched Isotropic Gaussian Regularization (SIGReg)을 도입하였다. LeJEPA는 JEPA의 예측 손실과 SIGReg를 결합하여 여러 이론적 및 실용적 이점을 제공한다. 이 접근법은 단일 트레이드오프 하이퍼파라미터를 사용하며, 선형 시간 및 메모리 복잡성을 갖추고 있어 다양한 하이퍼파라미터 및 아키텍처(ResNets, ViTs, ConvNets)에서 안정성을 보장한다. 또한, 휴리스틱 없이 구현이 가능하여 중단 그래디언트, 교사-학생 접근법, 하이퍼파라미터 스케줄러가 필요하지 않으며, 약 50줄의 코드로 분산 학습이 가능하다는 점에서 실용성을 높인다. 저자들은 10개 이상의 데이터셋과 60개 이상의 아키텍처를 통해 LeJEPA의 성능을 검증하였으며, 예를 들어 imagenet-1k를 이용한 사전 학습 후 고정된 백본으로 선형 평가를 수행했을 때, ViT-H/14에서 79%의 성능을 달성하였다. 이러한 결과는 LeJEPA가 자가 감독 학습의 새로운 가능성을 열 수 있는 기반이 될 것임을 시사하며, 이론 친화적인 생태계가 자가 감독 사전 학습을 AI 연구의 핵심 기둥으로 재정립할 수 있기를 기대한다. LeJEPA의 접근법은 기존의 연구와 차별화되며, AI 분야에서의 자가 감독 학습의 발전에 기여할 것으로 보인다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.