arXiv:2610.03453v1 cs.RO

I2CD: 시뮬레이션 적용 가능한 충돌 지오메트리를 위한 직접 이미지-볼록 분해

I2CD: Direct Image-to-Convex Decomposition for Simulation-Ready Collision Geometry

Qian Wang, Liam Merz Hoffmeister, Brian Scassellati, Daniel Rakita

제출 2026-10-02

한국어 초록

물리 시뮬레이터와 모션 플래너는 볼록(convex) 충돌 지오메트리를 필요로 하지만, 이미지-3D 생성 모델은 조밀하고 흔히 논매니폴드(non-manifold)인 시각적 메시를 출력합니다. 현재 이 둘을 연결하려면 복구, 데시메이션(decimation), 근사 볼록 분해로 이어지는 느리고 취약한 '재구성 후 분해(reconstruct-then-decompose)' 파이프라인을 거쳐야 합니다. 본 연구에서는 단일 RGB 이미지로부터 직접 볼록 분해를 예측하는 I2CD를 제시합니다. I2CD는 새로운 이미지-3D 모델을 학습시키는 대신, 사전학습된 Hunyuan3D-2 이미지 조건부 디퓨전 트랜스포머와 형상 디코더를 동결하고 경량 크로스 어텐션 헤드(3,800만 파라미터, 10 GPU 시간 미만)만을 학습시킵니다. 이 헤드의 학습된 '볼록-슬롯(convex-slot)' 토큰은 $K$개 볼록 다포체(convex polytope)의 반평면(halfplane) 파라미터를 출력합니다. 그 결과물은 컴팩트하고 구조적으로 볼록하며, 어떠한 후처리도 없이 이미지당 약 $0.5$초 만에 물리 엔진에 로드됩니다. 별도로 보류된 $227$개의 OmniObject3D 및 Google Scanned Objects 인스턴스에서, I2CD는 8개의 '재구성 후 분해' 파이프라인 중에서 가장 높은 체적 IoU를 달성하는 동시에 엔드투엔드 속도는 $6$-$37\times$ 더 빨랐습니다. MuJoCo, PyBullet, Genesis, Isaac Sim을 아우르는 교차 시뮬레이터 연구에서, 모든 엔진은 전달받은 I2CD 지오메트리를 그대로 사용하는 반면, 원본 생성 메시는 어디서나 '로드'는 되지만 대부분 조용히 다른 충돌 형상으로 대체되거나 객체당 수 초에서 수 분의 전처리가 필요했습니다. 실제 물리 환경의 xArm7에서, I2CD는 20개 물체로 복잡한 장면에 대해 플래너에 즉시 사용 가능한 지오메트리를 가장 강력한 기준선(baseline)의 $328$초 대비 $11$초 만에 생성했으며, 집기 및 놓기(pick-and-place) 실행 성공률도 대등한 수준($100$회 시도 중 $85$회 대 $90$회)을 기록했습니다.

원문 초록

Physics simulators and motion planners require convex collision geometry, yet image-to-3D generative models output dense, frequently non-manifold visual meshes. Bridging the two today takes a slow, brittle reconstruct-then-decompose pipeline of repair, decimation, and approximate convex decomposition. We present I2CD, which predicts a convex decomposition directly from a single RGB image. Rather than train a new image-to-3D model, I2CD freezes the pretrained Hunyuan3D-2 image-conditioned diffusion transformer and shape decoder and trains only a lightweight cross-attention head (38M parameters, under ten GPU-hours) whose learned "convex-slot" tokens emit the halfplane parameters of $K$ convex polytopes. The output is compact, convex by construction, and loads into physics engines without any post-processing, in ${\sim}0.5$s per image. On $227$ held-out OmniObject3D and Google Scanned Objects instances, I2CD attains the highest volumetric IoU among eight reconstruct-then-decompose pipelines while running $6$-$37\times$ faster end-to-end. In a cross-simulator study in MuJoCo, PyBullet, Genesis, and Isaac Sim, every engine uses I2CD geometry as delivered, whereas raw generated meshes "load" everywhere but are silently replaced by a different collision shape in most cases or need seconds to minutes of per-object preprocessing. On a physical xArm7, I2CD produces planner-ready geometry for a $20$-object cluttered scene in $11$s versus $328$s for the strongest baseline, at comparable pick-and-place execution success ($85$ vs. $90$ of $100$ trials).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03453v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23103v1cs.RO공통 태그 3D Reconstruction, robotic manipulation

DiagGen: 로봇 시뮬레이션을 위한 시뮬레이션 기반 진단을 활용한 변형 가능 자산의 에이전틱 생성

DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation

시뮬레이션 준비가 완료된 변형 가능 자산(deformable asset)은 컴퓨터 시뮬레이션(in-silico) 기반 로봇 조작 작업에 필수적이지만, 기존 생성 프레임워크는 대개 생성 이후에 물리적 타당성을 평가하므로 객체의 시뮬레이션 반응을 상위 단계의 오류 수정을 위한 피드백으로 활용하지 못합니다. 본 논문에서는 단일 야생 환경(in-the-wild) 이미지를 '생성--시뮬레이션--진단--개선' 루프를 통해 시뮬레이션 준비가 완료된 변형 가능 자산으로 변환하는 에이전틱(agentic) 프레임워크인 DiagGen을 제안합니다. DiagGen은 부위 인식(part-aware) 지오메트리 및 재질 매개변수를 구축한 후, 비전-언어 모델(VLM) 기반 에이전트(agent)를 활용하여 의미적으로 유의미한 영역을 선택하고, 물리 시뮬레이터에서 이를 탐침(probe)하며, 재질 반응을 관찰하고, 근거 기반 수정 신호를 해당 생성 단계로 전달합니다. 40개의 자산을 대상으로 한 실험을 통해 진단 과정이 유용한 수정 신호를 제공하며 생성된 변형 가능 자산의 품질을 일정 수준 향상시킬 수 있음을 보여줍니다. 마지막으로, 시뮬레이션이 불가능할 수 있는 시각 파운데이션 모델 기반 생성 자산과 달리, DiagGen으로 생성된 변형체는 고충실도 물리 시뮬레이터에 직접 투입되어 접촉이 빈번한 집기 및 놓기(pick-and-place) 작업의 계획 및 시뮬레이션에 활용될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://diaggen.github.io/ 입니다.

arXiv:2607.14203v2cs.GR공통 태그 3D Reconstruction

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2609.13504v3cs.CV공통 태그 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.