Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin Picking
원문 초록
In this paper, we propose an iterative self-training framework for sim-to-real 6D object pose estimation to facilitate cost-effective robotic grasping. Given a bin-picking scenario, we establish a photo-realistic simulator to synthesize abundant virtual data, and use this to train an initial pose estimation network. This network then takes the role of a teacher model, which generates pose predictions for unlabeled real data. With these predictions, we further design a comprehensive adaptive selection scheme to distinguish reliable results, and leverage them as pseudo labels to update a student model for pose estimation on real data. To continuously improve the quality of pseudo labels, we iterate the above steps by taking the trained student model as a new teacher and re-label real data using the refined teacher model. We evaluate our method on a public benchmark and our newly-released dataset, achieving an ADD(-S) improvement of 11.49% and 22.62% respectively. Our method is also able to improve robotic bin-picking success by 19.54%, demonstrating the potential of iterative sim-to-real solutions for robotic applications.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시각적 파지를 넘어서: 탐지에서 실행까지 복합 파지 벤치마킹
Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution
견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.
물체 자세 불확실성 처리를 위한 모듈형 빈 피킹 프레임워크
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
최근 정밀한 빈 피킹(bin-picking) 응용을 위한 견고한 로봇 시스템에 대한 관심이 높아지고 있다. 신뢰할 수 있는 성능을 달성하려면 이러한 시스템은 물체 자세(pose) 추정과 그래스핑(grasping) 과정 모두에서 발생하는 오차를 해결해야 한다. 다양한 접근법이 제안되었지만, 이들은 일반적으로 특정 과제만을 대상으로 하며 일반적인 해법을 제공하지 않는다. 본 논문에서는 두 오차 유형을 공동으로 처리하는 모듈형 프레임워크를 제시한다. 이 프레임워크는 자세 불확실성을 반영하기 위해 물체 자세 분포 추정을 포함하며, 이 불확실성은 단일한 정확한 자세를 결정할 수 없는 모호한 관측 상황에서 빈번히 발생한다. 불확실성을 더 줄이기 위해 상보적인 자세 분포를 계산하는 제2 시점(second-viewpoint) 모듈을 도입하며, 이후 이를 융합한다. 이러한 융합은 전체 불확실성을 감소시키고 시스템 효율을 향상시킨다. 또한 그래스핑 오차를 보상하기 위한 두 개의 독립 모듈이 포함된다. 모듈형 설계는 물리적 구성에 따라 구성 요소를 최적 성능을 위해 결합하거나 개별적으로 사용할 수 있게 한다. 제안 방법은 세 가지 서로 다른 물체를 사용한 실제 환경에서 평가되었으며, 오류 없이 수행되었고 모든 모듈이 효율 향상에 기여함을 보였다. 이러한 결과는 자세 분포와 그래스핑 자세 오차를 통합하는 것이 더 유연하고 신뢰할 수 있는 로봇 생산 시스템 개발을 위한 유망한 방향임을 시사한다. 우리가 아는 한, 이것은 교체 가능한 모듈을 사용하여 그래스핑과 물체 자세 불확실성을 공동으로 다루는 최초의 프레임워크이다. 추가 모듈을 통합할 여지가 충분하며, 이를 통해 성능과 유연성이 향상될 것으로 믿는다. 현재 프레임워크는 SO(2)에서의 자세 불확실성에 한정되어 있지만, SE(3)로 확장할 수 있으며, 이를 통해 시스템을 개선하는 추가 모듈을 활성화할 수 있다.
GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation
새로운 물체에 대한 강건한 로봇 파지(grasping)를 위해서는 사실적인 RGB-D 관측, 물리적으로 검증된 파지 품질 주석, 그리고 시뮬레이션과 실세계 간의 체계적인 연결을 동시에 제공하는 데이터셋이 필요하지만, 기존 데이터셋들은 이를 통합적으로 제공하지 못한다. GraspIT는 이 공백을 해소한다: NVIDIA Isaac Sim 내 테이블탑 장면들을 병렬 Franka Panda 인스턴스에서 4단계 물리적 슬립 테스트(slip-test)를 통해 주석 처리하여, 포스-클로저(force-closure)를 넘어서는 궤적 도달 가능성 검사와 연속적인 품질 점수를 생성한다. 약 230만 개의 후보 중 83%가 good($s \geq 0.50$)으로 통과하며, 포스-클로저는 통과했지만 슬립 테스트에서 실패한 17%는 등급화된 어려운 부정 샘플(hard negative)을 제공한다. Real↔Sim 루프는 이 레이블들을 100개의 실세계 장면에 역투영(back-project)한다. 이번 릴리스는 1,035개의 시뮬레이션 장면과 100개의 실세계 장면에 걸쳐 약 31만 6천 개의 주석된 RGBD 프레임 셋을 제공하며, 인스턴스 마스크, 6-DoF 포즈, 물리적 물체 속성, 그리고 점수가 부여된 6-DoF 파지 정보를 포함한다. 모든 도구는 오픈소스이며 Docker 컨테이너화되어 있다. Isaac Sim 내의 궤적 계획은 테이블탑 조작 정책 학습과 행동 복제(behavior cloning)를 위한 고해상도 시연의 스트리밍을 추가적으로 가능하게 한다.
EAGG: 기하학 인식 그래프 조건화를 통한 구현 정렬 파지 생성
EAGG: Embodiment-Aligned Grasp Generation via Geometry-Aware Graph Conditioning
엔드 이펙터 간 파지 생성은 평행 그리퍼부터 정교한 엔드 이펙터에 이르기까지 다양한 구현 및 객체에 걸쳐 일반화되는 통합 모델을 목표로 합니다. 기존 파지 생성기는 일반적으로 고정된 구현을 위해 설계되거나 정적 디스크립터를 사용하여 구현 정체성을 인코딩하며, 이는 위상(topology), 구동 결합(actuation coupling), 접촉 기하학이 크게 다를 경우 전이 성능을 저하시킵니다. 본 논문에서는 각 구현을 위상 인식 엔드 이펙터 그래프와 구현 고유의 저차원 엔드 이펙터 제어 공간으로 표현하는 구현 정렬 파지 생성기인 EAGG를 제안합니다. 동결된 엔드 이펙터 인지 백본은 현재 관절형 상태를 재사용 가능한 형태학적 사전(morphology prior) 역할을 하는 기하학 인식 토큰으로 변환하며, 반복적인 기하학 주입을 통해 샘플링 과정 전반에 걸쳐 이 토큰을 갱신하여 조건화가 변화하는 엔드 이펙터 기하학과 동기화된 상태를 유지합니다. MultiGripperGrasp 벤치마크에서 EAGG는 6개의 학습용 엔드 이펙터에 걸쳐 56.17%의 평균 성공률을 달성했으며, 파인튜닝 및 제로샷 엔드 이펙터로의 전이를 유지하면서 전문화된 학습 결과와 1.10%p 이내의 차이를 보였습니다. 또한 반복적인 기하학 주입을 통해 풀링된 중앙값 접촉 거리를 0.239cm에서 0.189cm로 추가로 감소시켰습니다. 이러한 결과는 엔드 이펙터 간 파지 생성이 구현 간의 차이를 억제하는 것보다 공유 생성기 내부에서 구현 구조를 정렬함으로써 강화됨을 보여줍니다. 코드는 https://github.com/wanhaoniu/EAGG에서 확인할 수 있습니다.
YOLOv5-6D: Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries
RGB-D 영상 및 3차 스플라인 호장 적분을 이용한 곡률 인지 온실 오이 3D 길이 추정
Curvature-aware 3D length estimation of greenhouse cucumbers using RGB-D imaging and cubic spline arc-length integration
상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.