원문 초록
Image encoders trained with LeJEPA can deliver strong features for downstream tasks, but, like other image-level self-supervised methods, typically require large training datasets. Aligning representations at the level of objects rather than whole scenes promises greater data efficiency, but doing this in a completely self-supervised way, effectively jointly partitioning a scene and representing its objects, is unstable: the two are locked in a cyclic dependency, partitioning requires meaningful representations, while meaningful representations require consistent partitioning. We sidestep this instability by taking object masks as given during training, using cheap, off-the-shelf SAM proposals. We extend LeJEPA - whose distributional anti-collapse objective ports naturally from whole images to variable-sized sets of objects - to align object-centric representations rather than whole images. An additional instance-separating loss, which treats other objects in the same scene as negatives, further boosts downstream performance. Across two model scales and 10-100% of COCO, object-level LeJEPA outperforms image-level LeJEPA on tracking (DAVIS), classification (ImageNet-1k), segmentation (ADE20k), and re-identification (NAVI).
요약
LeJEPA를 객체 중심으로 확장한 Object-centric LeJEPA는 SAM이 제공하는 오프더셀프(off-the-shelf) 마스크를 학습 시 고정 입력으로 활용해 장면 분할과 표현 학습의 순환 의존성 문제를 우회한다. 의미론적 정렬 손실과 인스턴스 분리 손실을 결합한 결과, COCO의 10~100% 데이터 규모에서 이미지 수준 LeJEPA 대비 추적(DAVIS), 분류(ImageNet-1k), 분할(ADE20k), 재식별(NAVI) 등 다양한 다운스트림 태스크에서 우수한 성능을 달성했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02404v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.