촉각을 어디에서 생성할 것인가: 이미지 잠재 공간은 재질 인식을 보존하는가?
Where to Generate Touch: Do Image Latents Preserve Material Recognition?
한국어 초록
생성된 촉각은 로봇 학습을 기록된 접촉 너머로 확장할 수 있다. 촉각 생성기에는 잠재 공간이 필요하며, 본 연구는 실제 GelSight 접촉 데이터로 학습한 재질 분류기가 사전 학습된 이미지 모델의 인코딩-디코딩 재구성에서도 여전히 작동하는지를 시험하여 잠재 공간을 선택한다. ObjectFolder Real에서 분류기는 세 가지 16x 이산 토크나이저의 재구성에서 6.5~9.7점 하락하고, Stable Diffusion VAE(SD-VAE)의 재구성에서는 0.3점 하락한다. 16x 토크나이저는 Touch and Go와 DIGIT 물체 인식(YCB-Slide)에서도 다시 훨씬 큰 하락을 보인다. 새로운 라벨 없이 재구성 데이터로 분류기를 재학습하면 이산 토크나이저의 격차가 줄어든다. 또한 SD-VAE 재구성은 물체 정체성도 유지하여, 물체 매칭 정확도가 실제 촉각의 78.9%, MAGVIT-v2의 67.0%에 비해 76.7%이다. 따라서 SD-VAE 잠재 공간을 선택하고, 이 공간에서 학습한 사진-촉각 생성기를 제시한다. 코드는 채택 시 공개될 예정이다.
원문 초록
Generated touch could extend robot learning beyond recorded contacts. A tactile generator needs a latent space, and we choose one by testing whether a material classifier trained on real GelSight presses still works on encode-decode reconstructions from pretrained image models. On ObjectFolder Real, the classifier loses 6.5 to 9.7 points on reconstructions from three 16x discrete tokenizers and 0.3 points on those from the Stable Diffusion VAE (SD-VAE). The 16x tokenizers again lose far more on Touch and Go and on DIGIT object recognition (YCB-Slide). Retraining the classifier on reconstructions, with no new labels, narrows the discrete gap. SD-VAE reconstructions also keep object identity, with 76.7% object-matching accuracy against 78.9% for real touch and 67.0% for MAGVIT-v2. We therefore select SD-VAE latents and show a photo-to-touch generator trained in them. Code will be released upon acceptance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.15834v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.