arXiv:2610.11954v1 cs.CV

가능한 곳을 보라: 차폐 상황에서의 CAD 복원을 위한 능동적 시점 선택

Look Where You Can: Active View Selection for CAD Reconstruction under Occlusion

Kartik Bali, Mahish Guru, Yiderigun Borjigin, Alexandra Starostina, Christian J. Cyron, Roland Aydin

제출 2026-10-08

한국어 초록

기존 CAD 복원 방법들은 현실에서 거의 주어지지 않는 호사, 즉 원하는 모든 각도에서 객체를 촬영할 수 있는 제한 없는 시각적 접근을 가정합니다. 그러나 실제 객체는 장면에 내장되어 벽에 고정되거나 구석에 끼어 있거나 바닥에 놓여 있어, 장면으로 인해 시점 구(view sphere)의 상당 부분이 도달 불가능해지고 남은 시점들의 정보량도 균등하지 않습니다. 본 연구에서는 시점 실현 가능성(view feasibility)을 핵심 제약 조건으로 다루는 파라메트릭 CAD 복원 프레임워크인 SightCAD를 소개합니다. 본 논문에서는 이산적인 시점 구에 물리적으로 유도된 가시성 제약 조건이 적용된 실제와 유사한 실내 장면에 배치된 표준 CAD 벤치마크 객체들을 고려합니다. 학습된 시점 선택기는 실행 가능한 CadQuery 코드를 생성하는 비전-언어 모델(VLM)을 위해 실현 가능한 $K$개의 시점을 선택해야 하며, 이는 실행된 솔리드의 기하학적 충실도로 점수가 매겨집니다. 보상은 이산적 시점 선택, 자기회귀적 생성, CAD 커널 실행을 거친 후에만 주어지기 때문에, 시점 선택기와 CAD 생성 VLM이 이 보상에 대해 함께 학습되는 결합 학습(joint training) 패러다임을 제안합니다. 학습된 선택 정책은 무작위, 균일, 커버리지 탐욕적 대안들과 확연히 다르며, $K\in\{1,\dots,5\}$ 예산 범위에서 표면적 극대화(SA-max)보다 IoU(Intersection-over-Union) 기준 최대 $6.4$ 포인트 앞서는 성능을 보입니다. 전체 시스템은 장면에 내장되어 차폐된 DeepCAD 및 Fusion360 객체의 다중 뷰 렌더링에서 강력한 외부 기준선 모델들을 능가할 뿐만 아니라(최고 기준선 대비 각각 $+21$, $+17$ 유효 mIoU 포인트), 산업용 T-LESS 벤치마크의 테스트 시점 도메인 정규화된 실제 이미지와 MP6D 산업용 금속 부품 벤치마크의 합성 및 실제 이미지 모두에서 우수한 성능을 보이며, 비교된 어떤 방법보다도 가장 높은 실행 가능 프로그램 비율을 달성했습니다(유효하지 않은 코드 비율 ${\leq}1.5\%$).

원문 초록

CAD reconstruction methods assume a luxury reality rarely grants: unrestricted visual access to the object, photographed from any desired angle. Real objects, however, are scene-embedded, bolted against walls, wedged into corners, resting on floors, where the scene renders much of the view sphere unreachable and the remaining views unequally informative. We introduce \textbf{SightCAD}, a framework for parametric CAD reconstruction that treats view feasibility as a first-class constraint. In this work we consider objects from standard CAD benchmarks embedded in realistic indoor scenes with physically derived visibility constraints over a discrete view sphere. A learned view selector must choose $K$ feasible views for a vision--language model (VLM) that generates executable CadQuery code, scored by geometric fidelity of the executed solid. Because reward arrives only after discrete view selection, autoregressive generation, and CAD-kernel execution, we propose a joint training paradigm in which the view selector and the CAD-generation VLM are trained together against this reward. The learned selection policy departs sharply from random, uniform, and coverage-greedy alternatives, outperforming surface-area maximization (SA-max) by up to $6.4$ Intersection-over-Union (IoU) points across budgets $K\in\{1,\dots,5\}$. The full system surpasses strong external baselines on scene-embedded, occluded multi-view renders of DeepCAD and Fusion360 objects ($+21$ and $+17$ effective-mIoU points over the best baseline, respectively), as well as on test-time domain-canonicalized real images from the industrial T-LESS benchmark and on both synthetic and real images from the MP6D industrial metal-parts benchmark, while producing the highest rate of executable programs of any method compared (invalid-code rate ${\leq}1.5\%$).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11954v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.