컴퓨터 사용 에이전트는 점점 더 현실적인 데스크톱 환경에서 평가되고 있지만, 기존 벤치마크는 출력이 지속 가능하고 구조화된 산출물인 전문 엔지니어링 워크플로를 충분히 다루지 못한다. 기계 컴퓨터 지원 설계(CAD)는 특히 까다로운 설정으로, 에이전트는 장기 상호작용 구간 동안 기하와 제약을 조작하면서 치수, 구성 구조, 하류 엔지니어링 상태가 유효하게 유지되는 네이티브 프로젝트를 만들어 내야 한다. 우리는 FreeCAD에서 장기 호라izon 컴퓨터 사용을 위한 벤치마크인 \textbf{CADWorld}를 제안한다. CADWorld는 스케치, 파트 모델링, 조립, CAM, FEM, 측정, 메시 처리, 기술 도면을 포함한 11개 기계-CAD 워크플로 카테고리에 걸친 200개 과제로 구성된다. 에이전트는 스크린샷과 GUI 동작을 통해 작동하며, 성공 여부는 저장된 FreeCAD 산출물과 보조 출력에 대한 과제별 실행 가능 검사로 판정되며, 기하적 속성, 파라메트릭 구조, 제약, 제조 상태, 시뮬레이션 결과를 포괄한다. 전체 벤치마크에 대해 현재 7개 에이전트를 평가한 결과, 최강 에이전트는 17.5% 성공률을 달성했고, 전문가 기준 통과율 87.0%와 대비된다. 약한 에이전트는 유효한 산출물을 만들기 전에 자주 실패하는 반면, 더 강한 에이전트는 구조적·기하적·구성 과정 요구사항에서 점점 더 실패한다. 따라서 CADWorld는 일반적인 GUI 역량과 지속 가능하고 검증 가능한 엔지니어링 워크플로의 신뢰할 수 있는 실행 사이의 격차를 드러낸다. 프로젝트는 https://cad-world.github.io 에서 접근할 수 있다.
Computer aided design (CAD) is ubiquitous: virtually any modern object was designed using editable CAD tools. However, with the shortage of available CAD datasets in its native editable and parametric format, boundary representation (B-Rep), it is ever more important to develop data-efficient methods for this domain. We present a new self-supervised pretraining task, Masked Topology Modeling (MTM), that leverages the face-adjacency graph, an induced structure unique to B-reps that the encoder can be asked to reconstruct. MTM masks a fraction of edges and trains a small head to predict each masked edge's convexity and curve type from the encoder's post-message-passing face features. We combine MTM with a MoCo-style momentum-queue contrastive learning over B-rep-aware augmentations, a BFS-connected face-region masked-reconstruction objective, and pretraining on the ABC dataset and our new procedurally generated dataset to show strong performance on a number of benchmarks.
CAD(Computer-Aided Design) 평면도에는 그래픽 프리미티브와 텍스트 주석이 함께 포함되어 있으며, 이는 지능형 설계 이해를 위한 상호 보완적인 기하학적·의미론적 단서를 제공한다. CAD 분석 작업 가운데 파노틱 심볼 스포팅은 산업 디지털화와 심층 학습 기반 자동화에 대한 수요 증가와 함께 점점 더 중요해지고 있다. 그러나 기존 방법의 대부분은 여전히 프리미티브 중심적이며, 비록 핵심적인 의미론적 가치를 지니고 있음에도 텍스트 주석을 충분히 활용하지 못한다. 텍스트를 인식하는 몇 안 되는 접근법조차 주석을 얕게만 다루는 경우가 많아, CAD 주석의 복잡한 구문과 계층적 의미론을 제대로 모델링하지 못하고, 이로 인해 의미 손실과 최적에 못 미치는 스포팅 성능이 발생한다. 이러한 한계를 해결하기 위해, 우리는 파노틱 심볼 스포팅을 위해 그래픽 프리미티브와 텍스트 주석을 공동으로 모델링하는 멀티모달 프레임워크 TextCAD를 제안한다. 구체적으로, 우리는 유형과 속성을 공동으로 모델링하여 주석 내 조합적 의미론을 명시적으로 인코딩하는 Type-Attribute Correlation Encoder(TACE)를 설계한다. 또한 Multi-level Semantic Filtering(MSF)과 프리미티브 다운샘플링을 포함한 Semantic Hierarchy Alignment 프레임워크를 도입하여, 서로 다른 의미 수준에서 주석 의미론과 그래픽 프리미티브를 적응적으로 정렬하고 정확한 교차 모달 의미 주입 및 융합을 가능하게 한다. 실제 건축 설계 데이터셋에서의 실험 결과, TextCAD는 심볼 스포팅 성능을 효과적으로 향상시키며 최첨단 결과를 달성함을 보여준다.
기존 컴퓨터 사용 에이전트가 전문 소프트웨어 조작에서 겪는 GUI 기반의 취약성과 API 기반의 제약을 해결하기 위해 COM-as-Action 패러다임을 제안하여 상호작용을 결정론적 프로그램 합성으로 재정의한다. ComCADBench 벤치마크와 ComActor 에이전트를 통해 제안된 방법이 장기 작업에서 강건한 최신 성능을 달성함을 입증했다.
산업 표준 B-rep 입력으로 completion, 오류 수정, CAD-QA 등 다양한 CAD 작업을 하나의 통합 멀티모달 LLM으로 수행하는 BrepCoder를 제안하며, CAD 모델링 시퀀스를 Python 유사 코드로 변환해 B-rep와 정렬한 뒤 역설계 사전학습과 다운스트림 확장의 2단계 학습으로 기하 특징과 설계 논리를 학습한다. B-rep를 구조적 코드로 해석함으로써 작업별 모델 대비 다양한 CAD 과제에서 우수한 일반화를 달성하고 범용 CAD 에이전트로서의 가능성을 보인다.
이미지나 3D 관측 데이터로부터 편집 가능한 CAD 프로그램을 복원하는 것은 AI 지원 설계의 핵심이지만, 기존 평가 방식이 데이터셋, 모달리티, 지표에 걸쳐 파편화되어 있어 진척 상황을 측정하기 어렵습니다. 우리는 멀티모달 CAD 프로그램 생성을 위한 통합 벤치마크인 CADBench를 소개합니다. CADBench는 DeepCAD, Fusion 360, ABC, MCB, Objaverse에서 파생된 6개의 벤치마크 계열, 깨끗한 메쉬, 노이즈가 있는 메쉬, 단일 뷰 렌더링, 사실적 렌더링, 다중 뷰 렌더링을 포함한 5가지 입력 모달리티, 그리고 기하학적 충실도, 실행 가능성, 프로그램 간결성을 포괄하는 6가지 지표에 걸친 18,000개의 평가 샘플을 포함합니다. STEP 기반 계열은 B-rep 면 수에 따라 계층화되었으며, 복잡성과 객체 변이에 걸친 통제된 분석을 지원하도록 모든 계열은 다양성 샘플링되었습니다. 우리는 140만 개 이상의 CAD 프로그램을 생성하며 11개의 CAD 전문 및 범용 비전-언어 시스템을 벤치마킹했습니다. 이상적인 입력 조건에서 전문 메쉬-대-CAD 모델은 코드 생성 비전-언어 모델(VLM)을 현저히 능가하며, 후자는 신뢰할 수 있는 CAD 프로그램 복원에는 여전히 미치지 못합니다. CADBench는 또한 기하학적 복잡도가 증가함에 따라 재구성 품질이 저하되고, CAD 전문 모델은 모달리티 변화에 취약할 수 있으며, 지표에 따라 모델 순위가 변화하는 세 가지 반복되는 실패 유형을 보여줍니다. 이러한 결과들은 CADBench를 편집 가능한 3D 재구성 및 멀티모달 CAD 이해의 진척 상황을 측정하기 위한 진단용 테스트베드로 자리매김합니다. 이 벤치마크는 https://github.com/anniedoris/CADBench에서 공개적으로 제공됩니다.
파라메트릭 컴퓨터 지원 설계(CAD)는 최종 형상과 부품을 편집할 수 있는 방법을 결정하는 순서가 지정된 구축 이력을 모두 기록합니다. 따라서 편집 가능한 CAD 연구를 위한 데이터셋은 검증된 형상과 함께 모델링 연산, 파라미터, 특징 의존성을 제공해야 합니다. 우리는 Qt/C++ OpenCASCADE 기반 CAD 시스템인 Flluma 내의 실행 가능한 파이썬 프로그램에 의해 모델이 생성되는 코드 기반 멀티모달 CAD 데이터셋인 FllumaOne을 소개합니다. 각 샘플은 프로그램을 구조화된 특징 트리, 학습 지향 중간 표현, STEP 형상, 표면 점군, 자연어 설명, 메타데이터 및 8개의 표준 가시 엣지 렌더링과 정렬합니다. 주요 릴리스인 FllumaOne-100K는 4개의 템플릿 수준 복잡도 범위에 걸쳐 100,000개의 승인된 샘플을 포함합니다. 프로그램은 커널 형상, 솔리드 유효성 및 내보내기 검사 후에만 실행되고 보존됩니다. 릴리스 보고서는 또한 모달리티 완전성과 분할 수준 중복 테스트를 기록합니다. 80,000개의 샘플로 학습된 Qwen2.5-Coder-1.5B LoRA 기준선은 홀드아웃된 10,000개 샘플 테스트 분할에서 99.98%의 파이썬 구문 유효성, 99.97%의 Flluma 빌드 성공률, 99.14%의 STEP 내보내기 유효성을 달성했습니다. 표면 점군으로 변환된 9,909개의 예측에 대해 평균 정규화 샤피어 거리는 0.002124입니다. 이 데이터셋은 조건부 CAD 재구성, 실행 가능한 프로그램 합성, 특징 트리 예측, B-Rep 분석, 검색, 설계 완성 및 편집 가능한 리버스 엔지니어링을 지원합니다.
경계 표현(B-rep)은 컴퓨터 지원 설계(CAD)의 업계 표준입니다. 심층 학습이 B-rep 모델 처리에 잠재력을 보이지만, 기존 방법들은 표현 격차라는 문제를 겪습니다. 연속적 접근법은 해석적 정밀도를 제공하지만 시각적으로는 추상적인 반면, 이산적 방법은 기하학적 정밀도를 희생하여 직관적 명확성을 제공합니다. 이러한 격차를 해소하기 위해, 우리는 추상적인 경계 표현을 직관적인 형상 표현과 정렬하도록 설계된 새로운 자기지도 사전학습 방법인 Brep2Shape를 소개합니다. 우리의 방법은 모델이 매개변수화된 베지어 제어점으로부터 조밀한 공간 점을 예측하도록 학습하는 기하학 인식 작업을 사용하여, 네트워크가 추상 계수에서 파생된 물리적 다양체를 더 잘 이해할 수 있게 합니다. 이러한 정렬을 강화하기 위해, 우리는 고유한 기하학적 속성을 포착하기 위해 곡면과 곡선 토큰을 독립적으로 인코딩하는 병렬 스트림을 갖춘 듀얼 트랜스포머 백본을 제안합니다. 또한, 위상 어텐션을 통합하여 곡면과 곡선 사이의 상호 의존성을 모델링함으로써 위상 일관성을 유지합니다. 실험 결과 Brep2Shape가 상당한 확장성을 제공하며, 다양한 다운스트림 작업에서 최첨단 정확도와 더 빠른 수렴을 달성함을 보여줍니다. 코드는 이 저장소에서 확인할 수 있습니다: https://github.com/thuml/Brep2Shape.
기존의 단발성 생성 방식이 실제 제조 환경과 맞지 않는 문제를 해결하기 위해, 실행 가능한 CAD 샌드박스와의 다중 턴 상호작용을 통해 닫힌 루프 생성 및 편집을 수행하는 멀티모달 에이전트 프레임워크인 IterCAD를 소개한다. 점진적 지도 학습(SFT)과 기하학적 인식 강화학습을 통해 최적화된 이 방법은 코드 실행 가능성과 기하학적 정밀도 측면에서 기존 접근법을 상회하는 성능을 달성한다.