arXiv:2608.05539v1 cs.CV

OmniMech: 3D 재구성을 위한 올인원 다중모달 기계 벤치마크

OmniMech: All-in-one Multimodal Mechanical Benchmark for 3D Reconstruction

Taiting Lu, Runze Liu, Ziwei Dong, Sisong Bei, Jingying Zeng, Mingjia Wang, Zhenghao Li, Kaiyuan Lin, Yi-Shan Wu, Yangshoudu Zheng, Hongxing Pan, Kai Zhang, Guoliang Shi, Ling Ma, Yifan Yang 외 6명

제출 2026-08-06

한국어 초록

최근 비전-언어 모델(VLM)은 이미지로부터 실행 가능한 CAD 프로그램을 생성할 수 있게 되었지만, 기존 방식들은 주로 대략적이고 범용적인 3D 객체를 대상으로 하며 산업 기계 설계에서 요구되는 세밀한 기하학적 형상과 밀리미터 단위의 공차를 거의 다루지 못합니다. 본 논문에서는 산업 제조 데이터로부터 실행 가능한 CAD 생성을 수행하는 VLM을 평가하기 위한 최초의 백만 단위 규모 벤치마크인 OmniMech를 소개합니다. OmniMech는 251,000개 이상의 치수 및 공차가 완벽하게 기입된 2D 직교 투상도면(orthographic drawing)과 함께, 이에 대응하는 네이티브 CAD 모델, 다중 시점 렌더링, 메시, STEP 및 B-rep 표현, 풍부한 의미론적 주석을 포함합니다. 이 벤치마크는 네 가지 태스크로 구성됩니다: (1) 공학 도면으로부터 파라메트릭 CAD 프로그램 합성; (2) 기하학적 및 구조적으로 일관된 재구성을 위한 도면-3D 추론; (3) 치수, 기호, 특징(feature) 지시선 및 제조 제약 조건에 기반한 주석 그라운딩 추론; (4) 시각화, 측정, CAD 실행 및 검증 도구를 활용하는 도구 증강 에이전트 추론. 실험 결과에 따르면 현재의 VLM 및 CAD 특화 모델들은 여전히 실행 가능한 프로그램 합성, 세밀한 3D 재구성, 신뢰할 수 있는 치수 및 공차 준수에 어려움을 겪고 있습니다. 향후 연구를 지원하기 위해 벤치마크 데이터, 평가 코드 및 도구 인터페이스를 공개할 예정입니다.

원문 초록

Recent vision-language models (VLMs) can generate executable CAD programs from images, but existing methods mainly target coarse, general-purpose 3D objects and rarely address the fine-grained geometry and millimeter-level tolerances required in industrial mechanical design. We introduce OmniMech, the first million-scale benchmark for evaluating VLMs on executable CAD generation from industrial manufacturing data. OmniMech contains more than 251,000 fully dimensioned and toleranced 2D orthographic drawings, paired with native CAD models, multi-view renderings, mesh, STEP and B-rep representations, and rich semantic annotations. The benchmark includes four tasks: (1) parametric CAD program synthesis from engineering drawings; (2) diagram-to-3D reasoning for geometrically and structurally consistent reconstruction; (3) annotation-grounded reasoning over dimensions, symbols, feature callouts, and manufacturing constraints; and (4) tool-augmented agentic reasoning using visualization, measurement, CAD execution, and verification tools. Experiments show that current VLMs and CAD-specialized models still struggle with executable program synthesis, fine-grained 3D reconstruction, and reliable enforcement of dimensions and tolerances. We will release the benchmark data, evaluation code, and tool interfaces to support future research.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.05539v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.