가능한 곳을 보라: 차폐 상황에서의 CAD 복원을 위한 능동적 시점 선택
Look Where You Can: Active View Selection for CAD Reconstruction under Occlusion
한국어 초록
기존 CAD 복원 방법들은 현실에서 거의 주어지지 않는 호사, 즉 원하는 모든 각도에서 객체를 촬영할 수 있는 제한 없는 시각적 접근을 가정합니다. 그러나 실제 객체는 장면에 내장되어 벽에 고정되거나 구석에 끼어 있거나 바닥에 놓여 있어, 장면으로 인해 시점 구(view sphere)의 상당 부분이 도달 불가능해지고 남은 시점들의 정보량도 균등하지 않습니다. 본 연구에서는 시점 실현 가능성(view feasibility)을 핵심 제약 조건으로 다루는 파라메트릭 CAD 복원 프레임워크인 SightCAD를 소개합니다. 본 논문에서는 이산적인 시점 구에 물리적으로 유도된 가시성 제약 조건이 적용된 실제와 유사한 실내 장면에 배치된 표준 CAD 벤치마크 객체들을 고려합니다. 학습된 시점 선택기는 실행 가능한 CadQuery 코드를 생성하는 비전-언어 모델(VLM)을 위해 실현 가능한 $K$개의 시점을 선택해야 하며, 이는 실행된 솔리드의 기하학적 충실도로 점수가 매겨집니다. 보상은 이산적 시점 선택, 자기회귀적 생성, CAD 커널 실행을 거친 후에만 주어지기 때문에, 시점 선택기와 CAD 생성 VLM이 이 보상에 대해 함께 학습되는 결합 학습(joint training) 패러다임을 제안합니다. 학습된 선택 정책은 무작위, 균일, 커버리지 탐욕적 대안들과 확연히 다르며, $K\in\{1,\dots,5\}$ 예산 범위에서 표면적 극대화(SA-max)보다 IoU(Intersection-over-Union) 기준 최대 $6.4$ 포인트 앞서는 성능을 보입니다. 전체 시스템은 장면에 내장되어 차폐된 DeepCAD 및 Fusion360 객체의 다중 뷰 렌더링에서 강력한 외부 기준선 모델들을 능가할 뿐만 아니라(최고 기준선 대비 각각 $+21$, $+17$ 유효 mIoU 포인트), 산업용 T-LESS 벤치마크의 테스트 시점 도메인 정규화된 실제 이미지와 MP6D 산업용 금속 부품 벤치마크의 합성 및 실제 이미지 모두에서 우수한 성능을 보이며, 비교된 어떤 방법보다도 가장 높은 실행 가능 프로그램 비율을 달성했습니다(유효하지 않은 코드 비율 ${\leq}1.5\%$).
원문 초록
CAD reconstruction methods assume a luxury reality rarely grants: unrestricted visual access to the object, photographed from any desired angle. Real objects, however, are scene-embedded, bolted against walls, wedged into corners, resting on floors, where the scene renders much of the view sphere unreachable and the remaining views unequally informative. We introduce \textbf{SightCAD}, a framework for parametric CAD reconstruction that treats view feasibility as a first-class constraint. In this work we consider objects from standard CAD benchmarks embedded in realistic indoor scenes with physically derived visibility constraints over a discrete view sphere. A learned view selector must choose $K$ feasible views for a vision--language model (VLM) that generates executable CadQuery code, scored by geometric fidelity of the executed solid. Because reward arrives only after discrete view selection, autoregressive generation, and CAD-kernel execution, we propose a joint training paradigm in which the view selector and the CAD-generation VLM are trained together against this reward. The learned selection policy departs sharply from random, uniform, and coverage-greedy alternatives, outperforming surface-area maximization (SA-max) by up to $6.4$ Intersection-over-Union (IoU) points across budgets $K\in\{1,\dots,5\}$. The full system surpasses strong external baselines on scene-embedded, occluded multi-view renders of DeepCAD and Fusion360 objects ($+21$ and $+17$ effective-mIoU points over the best baseline, respectively), as well as on test-time domain-canonicalized real images from the industrial T-LESS benchmark and on both synthetic and real images from the MP6D industrial metal-parts benchmark, while producing the highest rate of executable programs of any method compared (invalid-code rate ${\leq}1.5\%$).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.