PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12892v1cs.RO

UR-VC: 시간 유도 진행도 프록시를 위한 비지도 로봇 가치 보정

UR-VC: Unsupervised Robotic Value Correction for Time-Derived Progress Proxies

현대 로봇 학습 시스템은 중간 상태 평가, 정책 학습 안내, 과제 완료 감지에 점진적 진행도 또는 가치 신호에 점점 더 의존하므로, 이러한 신호의 품질이 핵심이 되었다. 이러한 조밀한(dense) 라벨은 대규모로 거의 제공되지 않기 때문에, 시연 내 정규화된 시간이 확장 가능한 대안으로 자주 사용되며, 이후 프레임일수록 더 높은 진행도로 취급된다. 그러나 이 시간 유도 라벨은 물리적 과제 진행도에 대한 잡음이 많은 프록시에 불과하다. 접촉이 많은 조작에서는 로봇이 진행한 뒤 미끄러짐, 파지 실패, 부분적 되돌림 등으로 진행을 잃을 수 있는데, 시간 유도 라벨은 계속 단조 증가한다. 우리는 시간 유도 진행도 라벨을 보정하는 오프라인·학습 불필요(training-free) 방법인 비지도 로봇 가치 보정(Unsupervised Robotic Value Correction, UR-VC)을 제안한다. UR-VC는 시연 데이터의 단순한 규칙성을 활용한다: 유사한 상태가 서로 다른 에피소드에서 서로 다른 타임스탬프로 자주 재등장한다. 단일 궤적의 타임스탬프를 신뢰하는 대신, UR-VC는 다른 에피소드에서 유사 상태를 검색하고 그들의 시간 유도 라벨을 집계하여 보정된 진행도 추정치를 얻는다. UR-VC는 수동 진행도 라벨, 보상 주석, 또는 추가 가치 모델이 필요하지 않다. 우리는 UR-VC를 실제 양손 천 평탄화 및 접기 데이터, 중간 진행도가 명확히 드러나는 장기 변형 가능 객체 조작 과제에서 평가했다. 보정된 라벨은 정규화된 시간이 표현할 수 없는 국소적 퇴행과 비균일 진행도를 포착하면서 전체 과제 추세는 유지한다. 또한 최근 이점 조건 정책 학습(advantage-conditioned policy learning)에 따라 보정된 신호로 VLA 학습용 이점 라벨을 구성했다. UR-VC는 동일한 데이터, 모델, 학습 설정 하에서 실제 로봇 과제 성공률에서 긍정적 추세를 보였다.