3D Convolution on RGB-D Point Clouds for Accurate Model-free Object Pose Estimation
원문 초록
The conventional pose estimation of a 3D object usually requires the knowledge of the 3D model of the object. Even with the recent development in convolutional neural networks (CNNs), a 3D model is often necessary in the final estimation. In this paper, we propose a two-stage pipeline that takes in raw colored point cloud data and estimates an object's translation and rotation by running 3D convolutions on voxels. The pipeline is simple yet highly accurate: translation error is reduced to the voxel resolution (around 1 cm) and rotation error is around 5 degrees. The pipeline is also put to actual robotic grasping tests where it achieves above 90% success rate for test objects. Another innovation is that a motion capture system is used to automatically label the point cloud samples which makes it possible to rapidly collect a large amount of highly accurate real data for training the neural networks.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 수어 생성을 위한 확산 기반 운동학 및 동역학 모델
A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production
수어 생성(SLP)은 언어적 입력으로부터 연속적인 수어 동작을 생성하며 수어 아바타와 같은 접근성 기술을 구동한다. 확산 모델을 포함한 현재의 생성기는 관절 좌표를 구조 없는 벡터로 회귀하므로, 생성된 신체가 해부학이나 운동의 역학을 따르도록 보장하는 요소가 없다. 물리학은 기하학적 손실 항을 통해서만 SLP에 도입되었으며 그 이점이 이해도에 미치는 영향은 검증되지 않았고, 수어를 하는 신체의 동역학은 모델링되지 않았다. 본 논문은 두 수준에서 물리 정보를 활용하는 확산 모델 PIDiffSign을 제안한다. 운동학 측면에서는 순기구학 헤드가 뼈의 방향과 길이를 출력하고 이를 조합하여 해부학적으로 정확한 골격을 구성한다. 동역학 측면에서는 인체측정학적 매개변수를 갖는 상체 강체 모델이 두 가지 학습 사전분포를 뒷받침한다. 운동 제어의 두 법칙을 포함하는 물리적 타당성 평가 모음이 생성된 수어를 평가한다. 통제된 프로토콜에서 이 헤드는 PHOENIX14T와 CSL-Daily에서 역번역 단어 오류율을 약 5포인트 낮추는 반면 기하학적 페널티는 측정 가능한 효과가 없으며, 대조 실험은 이득이 뼈 길이 보존이 아니라 운동학적 사슬 표현에서 비롯됨을 추적한다. 동역학 사전분포는 PHOENIX14T에서 물리적이지 않은 대응 대조군보다 약 1포인트 추가 이득을 주지만 CSL-Daily에서는 그렇지 않다. 생성된 수어는 운동 제어 법칙을 실제 수어만큼 근접하게 따르지만 운동 에너지는 현저히 적다. 정확한 골격은 리깅된 아바타를 직접 구동할 수 있으며, 이 평가 모음은 향후 SLP 시스템을 위한 물리적 벤치마크를 제공한다.
시각적 파지를 넘어서: 탐지에서 실행까지 복합 파지 벤치마킹
Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution
견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.
물체 자세 불확실성 처리를 위한 모듈형 빈 피킹 프레임워크
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
최근 정밀한 빈 피킹(bin-picking) 응용을 위한 견고한 로봇 시스템에 대한 관심이 높아지고 있다. 신뢰할 수 있는 성능을 달성하려면 이러한 시스템은 물체 자세(pose) 추정과 그래스핑(grasping) 과정 모두에서 발생하는 오차를 해결해야 한다. 다양한 접근법이 제안되었지만, 이들은 일반적으로 특정 과제만을 대상으로 하며 일반적인 해법을 제공하지 않는다. 본 논문에서는 두 오차 유형을 공동으로 처리하는 모듈형 프레임워크를 제시한다. 이 프레임워크는 자세 불확실성을 반영하기 위해 물체 자세 분포 추정을 포함하며, 이 불확실성은 단일한 정확한 자세를 결정할 수 없는 모호한 관측 상황에서 빈번히 발생한다. 불확실성을 더 줄이기 위해 상보적인 자세 분포를 계산하는 제2 시점(second-viewpoint) 모듈을 도입하며, 이후 이를 융합한다. 이러한 융합은 전체 불확실성을 감소시키고 시스템 효율을 향상시킨다. 또한 그래스핑 오차를 보상하기 위한 두 개의 독립 모듈이 포함된다. 모듈형 설계는 물리적 구성에 따라 구성 요소를 최적 성능을 위해 결합하거나 개별적으로 사용할 수 있게 한다. 제안 방법은 세 가지 서로 다른 물체를 사용한 실제 환경에서 평가되었으며, 오류 없이 수행되었고 모든 모듈이 효율 향상에 기여함을 보였다. 이러한 결과는 자세 분포와 그래스핑 자세 오차를 통합하는 것이 더 유연하고 신뢰할 수 있는 로봇 생산 시스템 개발을 위한 유망한 방향임을 시사한다. 우리가 아는 한, 이것은 교체 가능한 모듈을 사용하여 그래스핑과 물체 자세 불확실성을 공동으로 다루는 최초의 프레임워크이다. 추가 모듈을 통합할 여지가 충분하며, 이를 통해 성능과 유연성이 향상될 것으로 믿는다. 현재 프레임워크는 SO(2)에서의 자세 불확실성에 한정되어 있지만, SE(3)로 확장할 수 있으며, 이를 통해 시스템을 개선하는 추가 모듈을 활성화할 수 있다.
GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation
새로운 물체에 대한 강건한 로봇 파지(grasping)를 위해서는 사실적인 RGB-D 관측, 물리적으로 검증된 파지 품질 주석, 그리고 시뮬레이션과 실세계 간의 체계적인 연결을 동시에 제공하는 데이터셋이 필요하지만, 기존 데이터셋들은 이를 통합적으로 제공하지 못한다. GraspIT는 이 공백을 해소한다: NVIDIA Isaac Sim 내 테이블탑 장면들을 병렬 Franka Panda 인스턴스에서 4단계 물리적 슬립 테스트(slip-test)를 통해 주석 처리하여, 포스-클로저(force-closure)를 넘어서는 궤적 도달 가능성 검사와 연속적인 품질 점수를 생성한다. 약 230만 개의 후보 중 83%가 good($s \geq 0.50$)으로 통과하며, 포스-클로저는 통과했지만 슬립 테스트에서 실패한 17%는 등급화된 어려운 부정 샘플(hard negative)을 제공한다. Real↔Sim 루프는 이 레이블들을 100개의 실세계 장면에 역투영(back-project)한다. 이번 릴리스는 1,035개의 시뮬레이션 장면과 100개의 실세계 장면에 걸쳐 약 31만 6천 개의 주석된 RGBD 프레임 셋을 제공하며, 인스턴스 마스크, 6-DoF 포즈, 물리적 물체 속성, 그리고 점수가 부여된 6-DoF 파지 정보를 포함한다. 모든 도구는 오픈소스이며 Docker 컨테이너화되어 있다. Isaac Sim 내의 궤적 계획은 테이블탑 조작 정책 학습과 행동 복제(behavior cloning)를 위한 고해상도 시연의 스트리밍을 추가적으로 가능하게 한다.
수어 모델의 음운 지각
Phonological Perception of Sign Language Models
수어(Sign Language)는 손 모양(handshape), 위치(location), 동작(movement)과 같은 어휘 하위 음운 매개변수를 조합하여 의미를 형성하는 합성 체계이다. 수어 인식(SLR, Sign Language Recognition)을 위한 심층 학습(deep learning) 모델이 번역 벤치마크에서 성능 향상을 이루었지만, 이러한 모델들이 추상적인 음운 특징을 구별하는지, 아니면 단순히 저수준 통계적 상관관계에 의존하는지는 여전히 불분명하다. 본 연구는 미국 수어(ASL)로 학습된 SLR 모델의 음운 지각을 평가하기 위해 최소 대립쌍(minimal pairs)을 활용한 음운 민감도 탐침(probing)과 인간 행동 데이터와의 표현 정렬(representational alignment) 평가를 수행한다. 실험 결과, SLR 모델은 창발적(emergent) 음운 민감도를 보이지만 명확한 아키텍처 간 트레이드오프가 존재함을 밝혔다: 포즈 기반 모델은 손 모양 대조에 민감한 반면, 픽셀 기반 모델은 위치 변화를 더 잘 포착한다. 또한 포즈 기반 모델은 인간의 지각적 유사도 판단과 상관관계를 보이는 잠재 표현을 학습한다(r~0.49). 이러한 결과는 SLR 모델이 창발적 음운론을 보이지만, 현재의 학습 패러다임이 아키텍처의 귀납적 편향(inductive bias)을 넘어 스케일링(scaling)하기에는 불충분함을 시사한다.
확산 기반 수어 생성을 위한 잠재 포즈 표현에서 VAE 설계의 영향
The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production
수어 생성(SLP)을 위한 잠재 확산 접근법은 수어 포즈 시퀀스의 인코딩을 학습하는 초기 단계에 의존하며, 이를 통해 결과적 잠재 공간에서 생성 모델링을 가능하게 한다. 이 단계에서 사용되는 오토인코더는 일반적으로 SLP에서 흔히 쓰이는 기하학적 지표를 통해 재구성 품질 측면에서 평가된다. 유용하긴 하지만, 이러한 지표는 하류 생성 모델의 학습과 성능에 영향을 줄 수 있는 잠재 공간 특성을 완전히 포착하지는 못한다. 본 연구에서는 수어 포즈 인코딩을 위한 변분 자동인코더(VAE)의 아키텍처 및 학습 목표 설계 선택이 잠재 공간 구조에 어떤 영향을 미치는지, 그리고 이러한 차이가 텍스트-수어 생성을 위한 잠재 확산 모델의 성능으로 어떻게 이어지는지 조사한다. Phoenix14T 데이터셋에 대한 실험에서, 역번역(back-translation) BLEU 점수로 측정한 생성 성능의 변동은 때로 VAE 재구성 정확도만으로는 설명하기 어렵고, 잠재 공간 특성의 차이로 더 잘 설명될 수 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.