arXiv:2304.12210

A Cookbook of Self-Supervised Learning

Randall Balestriero, Mark Ibrahim, Vlad Sobal, Ari Morcos, Shashank Shekhar, Tom Goldstein, Florian Bordes, Adrien Bardes, Gregoire Mialon, Yuandong Tian, Avi Schwarzschild, Andrew Gordon Wilson, Jonas Geiping, Quentin Garrido, Pierre Fernandez 외 4명

제출 2023-04-24

원문 초록

Self-supervised learning, dubbed the dark matter of intelligence, is a promising path to advance machine learning. Yet, much like cooking, training SSL methods is a delicate art with a high barrier to entry. While many components are familiar, successfully training a SSL method involves a dizzying set of choices from the pretext tasks to training hyper-parameters. Our goal is to lower the barrier to entry into SSL research by laying the foundations and latest SSL recipes in the style of a cookbook. We hope to empower the curious researcher to navigate the terrain of methods, understand the role of the various knobs, and gain the know-how required to explore how delicious SSL can be.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20743v1cs.RO공통 태그 Self-Supervised Learning, Navigate

장애물 회피를 위한 자기지도 생물 모방 로봇 궤적 계획

Self-Supervised Bio-Inspired Robotic Trajectory Planning with Obstacle Avoidance

궤적 계획(trajectory planning)은 로봇공학의 근본적인 문제로, 잠재적으로 복잡한 환경에서 충돌 없고 효율적인 궤적을 생성해야 한다. 샘플링 기반 플래너가 여전히 지배적인 접근법이지만, 특히 고차원 공간과 장애물이 풍부한 환경에서는 계산 비용이 크다. 모델 학습 기반 방법은 신경망 궤적 플래너에 대한 제한된 횟수의 순전파(forward pass)를 통해 효율적인 계획을 가능하게 하는 유망한 대안을 제공하지만, 탐험 또는 전문가 시연에 의존하기 때문에 낮은 샘플 효율성(sample efficiency)이나 제한된 일반화 문제를 흔히 겪는다. 본 후속 연구는 장애물이 포함된 환경에서 순방향 모델(forward model)과 역방향 모델(inverse model)을 내부 감독 메커니즘으로 활용하는 궤적 계획을 위한 신경-생물학적 영감(neuro-inspired) 자기지도 학습(self-supervised learning) 프레임워크를 검증한다. 실험 결과는 이 접근법의 실현 가능성을 보여주면서, 우리 플래너가 순방향 모델과 역방향 모델이 제공하는 학습 신호를 악용하는 경향을 드러낸다. 이 문제를 해결하기 위해 추가적인 학습 체계와 완화(mitigation) 전략을 제안하고 평가한다.

arXiv:2607.13472v2cs.RO공통 태그 Navigate

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.