MPF6D: Masked Pyramid Fusion 6D Pose Estimation
원문 초록
Object pose estimation has multiple important applications, such as robotic grasping and augmented reality. We present a new method to estimate the 6D pose of objects that improves upon the accuracy of current proposals and can still be used in real-time. Our method uses RGB-D data as input to segment objects and estimate their pose. It uses a neural network with multiple heads to identify the objects in the scene, generate the appropriate masks and estimate the values of the translation vectors and the quaternion that represents the objects' rotation. These heads leverage a pyramid architecture used during feature extraction and feature fusion. We conduct an empirical evaluation using the two most common datasets in the area, and compare against state-of-the-art approaches, illustrating the capabilities of MPF6D. Our method can be used in real-time with its low inference time and high accuracy.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
3D 수어 생성을 위한 확산 기반 운동학 및 동역학 모델
A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production
수어 생성(SLP)은 언어적 입력으로부터 연속적인 수어 동작을 생성하며 수어 아바타와 같은 접근성 기술을 구동한다. 확산 모델을 포함한 현재의 생성기는 관절 좌표를 구조 없는 벡터로 회귀하므로, 생성된 신체가 해부학이나 운동의 역학을 따르도록 보장하는 요소가 없다. 물리학은 기하학적 손실 항을 통해서만 SLP에 도입되었으며 그 이점이 이해도에 미치는 영향은 검증되지 않았고, 수어를 하는 신체의 동역학은 모델링되지 않았다. 본 논문은 두 수준에서 물리 정보를 활용하는 확산 모델 PIDiffSign을 제안한다. 운동학 측면에서는 순기구학 헤드가 뼈의 방향과 길이를 출력하고 이를 조합하여 해부학적으로 정확한 골격을 구성한다. 동역학 측면에서는 인체측정학적 매개변수를 갖는 상체 강체 모델이 두 가지 학습 사전분포를 뒷받침한다. 운동 제어의 두 법칙을 포함하는 물리적 타당성 평가 모음이 생성된 수어를 평가한다. 통제된 프로토콜에서 이 헤드는 PHOENIX14T와 CSL-Daily에서 역번역 단어 오류율을 약 5포인트 낮추는 반면 기하학적 페널티는 측정 가능한 효과가 없으며, 대조 실험은 이득이 뼈 길이 보존이 아니라 운동학적 사슬 표현에서 비롯됨을 추적한다. 동역학 사전분포는 PHOENIX14T에서 물리적이지 않은 대응 대조군보다 약 1포인트 추가 이득을 주지만 CSL-Daily에서는 그렇지 않다. 생성된 수어는 운동 제어 법칙을 실제 수어만큼 근접하게 따르지만 운동 에너지는 현저히 적다. 정확한 골격은 리깅된 아바타를 직접 구동할 수 있으며, 이 평가 모음은 향후 SLP 시스템을 위한 물리적 벤치마크를 제공한다.
시각적 파지를 넘어서: 탐지에서 실행까지 복합 파지 벤치마킹
Beyond Visual Grasping: Benchmarking Complex Grasping from Detection to Execution
견고한 로봇 파지(robotic grasping)는 복잡한 실세계 응용에서 여전히 근본적인 과제로 남아 있다. 대규모 모델의 최근 발전은 로봇 작업에서의 추론(reasoning)에 유망한 역량을 보여준다. 그러나 파지를 위한 기존 벤치마크는 주로 고립된 시각 기반 파지 자세(pose) 탐지에 초점을 맞춰, 실행 과정에서 다단계 추론과 의미적 이해가 필요한 파지 작업의 복잡성을 포착하지 못한다. 이 격차를 해소하기 위해, 장면 수준 추론과 의미적 제약을 모두 포함하는 도전적인 복합 행동 파지(grasping with complex action) 시나리오를 특징으로 하는 벤치마크 GCA-Bench를 제안한다. GCA-Bench는 동일한 설정 하에서 최근 대규모 파운데이션 모델(foundation models)의 평가를 가능하게 한다. 새 벤치마크의 효과를 보여주기 위해, 전통적인 파지 탐지 파이프라인부터 end-to-end 학습 방법까지 다양한 베이스라인을 구현한다. 실증 연구에서 복합 파지 시나리오에서 70% 미만의 성공률을 달성하여, 치명적인 한계를 강조한다. 또한 새로운 평가 지표를 제안하고, 치명적인 실패 모드(failure modes)를 분석하며, 더 견고하고 일반화 가능한(generalizable) 파지 전략 개발을 안내하는 통찰을 제공한다.
물체 자세 불확실성 처리를 위한 모듈형 빈 피킹 프레임워크
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
최근 정밀한 빈 피킹(bin-picking) 응용을 위한 견고한 로봇 시스템에 대한 관심이 높아지고 있다. 신뢰할 수 있는 성능을 달성하려면 이러한 시스템은 물체 자세(pose) 추정과 그래스핑(grasping) 과정 모두에서 발생하는 오차를 해결해야 한다. 다양한 접근법이 제안되었지만, 이들은 일반적으로 특정 과제만을 대상으로 하며 일반적인 해법을 제공하지 않는다. 본 논문에서는 두 오차 유형을 공동으로 처리하는 모듈형 프레임워크를 제시한다. 이 프레임워크는 자세 불확실성을 반영하기 위해 물체 자세 분포 추정을 포함하며, 이 불확실성은 단일한 정확한 자세를 결정할 수 없는 모호한 관측 상황에서 빈번히 발생한다. 불확실성을 더 줄이기 위해 상보적인 자세 분포를 계산하는 제2 시점(second-viewpoint) 모듈을 도입하며, 이후 이를 융합한다. 이러한 융합은 전체 불확실성을 감소시키고 시스템 효율을 향상시킨다. 또한 그래스핑 오차를 보상하기 위한 두 개의 독립 모듈이 포함된다. 모듈형 설계는 물리적 구성에 따라 구성 요소를 최적 성능을 위해 결합하거나 개별적으로 사용할 수 있게 한다. 제안 방법은 세 가지 서로 다른 물체를 사용한 실제 환경에서 평가되었으며, 오류 없이 수행되었고 모든 모듈이 효율 향상에 기여함을 보였다. 이러한 결과는 자세 분포와 그래스핑 자세 오차를 통합하는 것이 더 유연하고 신뢰할 수 있는 로봇 생산 시스템 개발을 위한 유망한 방향임을 시사한다. 우리가 아는 한, 이것은 교체 가능한 모듈을 사용하여 그래스핑과 물체 자세 불확실성을 공동으로 다루는 최초의 프레임워크이다. 추가 모듈을 통합할 여지가 충분하며, 이를 통해 성능과 유연성이 향상될 것으로 믿는다. 현재 프레임워크는 SO(2)에서의 자세 불확실성에 한정되어 있지만, SE(3)로 확장할 수 있으며, 이를 통해 시스템을 개선하는 추가 모듈을 활성화할 수 있다.
GAP-GDRNet: 합성 기하학적 지도를 활용한 우주선의 기하학 인식 단안 6D 자세 추정
GAP-GDRNet: Geometry-aware monocular 6D pose estimation for spacecraft using synthetic geometric supervision
단안 우주선 6D 자세 추정은 약한 텍스처, 얇은 구조물, 조명 변화, 폐색(occlusion) 환경에서 여전히 어렵다. 이 논문은 단일 대상 합성 우주선 벤치마크를 위해 GDR-Net 기반으로 구축된 기하학 인식 RGB 프레임워크인 GAP-GDRNet을 제안한다. 이 방법은 기하학 기반 회귀 파이프라인을 두 지점에서 강화한다. 첫째, AFR을 밀집 기하학적 예측 이전에 배치하여 전역 구조적 어텐션과 지역적 약한 텍스처 향상을 결합한다. 둘째, PGSA를 Patch-PnP에 삽입하여 최종 자세 회귀 전에 다운샘플링된 기하학적 영역들을 연관짓는다. 밀집 지도(supervision)는 마스크, 모델 좌표 맵, 카메라 내부 파라미터, 6D 자세 레이블을 제공하는 Blender 기반 렌더링 및 어노테이션 과정에서 획득한다. 자체 구축한 우주선 데이터셋에서 GAP-GDRNet은 회전 오차 1.96°, 이동 오차 0.0165 m, [email omitted] m 95.16%를 달성하며, 재현된 GDR-Net 기준선 대비 3.88 퍼센트 포인트 향상된 성능을 35.97 FPS로 구현한다. T-LESS 및 LM-O에 대한 테스트에서도 텍스처가 없거나 폐색된 비우주선 객체에 대해 재현된 기준선 대비 일관된 성능 향상을 보인다.
GraspIT: A Dataset Bridging the Sim-to-Real gap and back for Validated Grasping SE(3) Pose Generation
새로운 물체에 대한 강건한 로봇 파지(grasping)를 위해서는 사실적인 RGB-D 관측, 물리적으로 검증된 파지 품질 주석, 그리고 시뮬레이션과 실세계 간의 체계적인 연결을 동시에 제공하는 데이터셋이 필요하지만, 기존 데이터셋들은 이를 통합적으로 제공하지 못한다. GraspIT는 이 공백을 해소한다: NVIDIA Isaac Sim 내 테이블탑 장면들을 병렬 Franka Panda 인스턴스에서 4단계 물리적 슬립 테스트(slip-test)를 통해 주석 처리하여, 포스-클로저(force-closure)를 넘어서는 궤적 도달 가능성 검사와 연속적인 품질 점수를 생성한다. 약 230만 개의 후보 중 83%가 good($s \geq 0.50$)으로 통과하며, 포스-클로저는 통과했지만 슬립 테스트에서 실패한 17%는 등급화된 어려운 부정 샘플(hard negative)을 제공한다. Real↔Sim 루프는 이 레이블들을 100개의 실세계 장면에 역투영(back-project)한다. 이번 릴리스는 1,035개의 시뮬레이션 장면과 100개의 실세계 장면에 걸쳐 약 31만 6천 개의 주석된 RGBD 프레임 셋을 제공하며, 인스턴스 마스크, 6-DoF 포즈, 물리적 물체 속성, 그리고 점수가 부여된 6-DoF 파지 정보를 포함한다. 모든 도구는 오픈소스이며 Docker 컨테이너화되어 있다. Isaac Sim 내의 궤적 계획은 테이블탑 조작 정책 학습과 행동 복제(behavior cloning)를 위한 고해상도 시연의 스트리밍을 추가적으로 가능하게 한다.
수어 모델의 음운 지각
Phonological Perception of Sign Language Models
수어(Sign Language)는 손 모양(handshape), 위치(location), 동작(movement)과 같은 어휘 하위 음운 매개변수를 조합하여 의미를 형성하는 합성 체계이다. 수어 인식(SLR, Sign Language Recognition)을 위한 심층 학습(deep learning) 모델이 번역 벤치마크에서 성능 향상을 이루었지만, 이러한 모델들이 추상적인 음운 특징을 구별하는지, 아니면 단순히 저수준 통계적 상관관계에 의존하는지는 여전히 불분명하다. 본 연구는 미국 수어(ASL)로 학습된 SLR 모델의 음운 지각을 평가하기 위해 최소 대립쌍(minimal pairs)을 활용한 음운 민감도 탐침(probing)과 인간 행동 데이터와의 표현 정렬(representational alignment) 평가를 수행한다. 실험 결과, SLR 모델은 창발적(emergent) 음운 민감도를 보이지만 명확한 아키텍처 간 트레이드오프가 존재함을 밝혔다: 포즈 기반 모델은 손 모양 대조에 민감한 반면, 픽셀 기반 모델은 위치 변화를 더 잘 포착한다. 또한 포즈 기반 모델은 인간의 지각적 유사도 판단과 상관관계를 보이는 잠재 표현을 학습한다(r~0.49). 이러한 결과는 SLR 모델이 창발적 음운론을 보이지만, 현재의 학습 패러다임이 아키텍처의 귀납적 편향(inductive bias)을 넘어 스케일링(scaling)하기에는 불충분함을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.