기존 CAD 복원 방법들은 현실에서 거의 주어지지 않는 호사, 즉 원하는 모든 각도에서 객체를 촬영할 수 있는 제한 없는 시각적 접근을 가정합니다. 그러나 실제 객체는 장면에 내장되어 벽에 고정되거나 구석에 끼어 있거나 바닥에 놓여 있어, 장면으로 인해 시점 구(view sphere)의 상당 부분이 도달 불가능해지고 남은 시점들의 정보량도 균등하지 않습니다. 본 연구에서는 시점 실현 가능성(view feasibility)을 핵심 제약 조건으로 다루는 파라메트릭 CAD 복원 프레임워크인 SightCAD를 소개합니다. 본 논문에서는 이산적인 시점 구에 물리적으로 유도된 가시성 제약 조건이 적용된 실제와 유사한 실내 장면에 배치된 표준 CAD 벤치마크 객체들을 고려합니다. 학습된 시점 선택기는 실행 가능한 CadQuery 코드를 생성하는 비전-언어 모델(VLM)을 위해 실현 가능한 $K$개의 시점을 선택해야 하며, 이는 실행된 솔리드의 기하학적 충실도로 점수가 매겨집니다. 보상은 이산적 시점 선택, 자기회귀적 생성, CAD 커널 실행을 거친 후에만 주어지기 때문에, 시점 선택기와 CAD 생성 VLM이 이 보상에 대해 함께 학습되는 결합 학습(joint training) 패러다임을 제안합니다. 학습된 선택 정책은 무작위, 균일, 커버리지 탐욕적 대안들과 확연히 다르며, $K\in\{1,\dots,5\}$ 예산 범위에서 표면적 극대화(SA-max)보다 IoU(Intersection-over-Union) 기준 최대 $6.4$ 포인트 앞서는 성능을 보입니다. 전체 시스템은 장면에 내장되어 차폐된 DeepCAD 및 Fusion360 객체의 다중 뷰 렌더링에서 강력한 외부 기준선 모델들을 능가할 뿐만 아니라(최고 기준선 대비 각각 $+21$, $+17$ 유효 mIoU 포인트), 산업용 T-LESS 벤치마크의 테스트 시점 도메인 정규화된 실제 이미지와 MP6D 산업용 금속 부품 벤치마크의 합성 및 실제 이미지 모두에서 우수한 성능을 보이며, 비교된 어떤 방법보다도 가장 높은 실행 가능 프로그램 비율을 달성했습니다(유효하지 않은 코드 비율 ${\leq}1.5\%$).
대규모 언어 모델(LLM)은 분자 속성 벤치마크에서 점점 더 많이 평가되지만, 정확도만으로는 속성을 예측하는 모델과 공표된 수치를 검색(retrieval)하는 모델을 구분할 수 없다. 우리는 22개의 프론티어 모델을 12개 회귀 벤치마크에 대해 문자 그대로 검색(verbatim retrieval) 관점에서 감사했으며, 이 현상이 널리 퍼져 있으나 상대적으로 벤치마크별로 특정적임을 확인했다. 다섯 개 데이터셋에서는 LLM의 50% 이상이 문자 그대로 검색을 보였고, 나머지 데이터셋에서는 고립된 셀에만 나타났다. 실험을 두 가지 추론(reasoning) 수준에서 수행한 결과, 추론이 검색을 바꾼다는 것을 확인했다. 동일한 분자와 동일한 프롬프트로 같은 실험을 수행했을 때, 더 높은 추론 수준에서 최저 수준보다 89% 더 자주 플래그되었다. 마지막으로, 가장 오염이 심한 사례에서 검색을 차단하는 방법을 시험했으며, 일부 경우 최강 모델은 변환된 SMILES 문자열과 원본 레이블의 조합을 여전히 인식함을 확인했다. 또한 검색을 억제하면 서로 다른 모델의 예측 오차가 상대적 의미에서 더 가까워지는 반면, 문자 그대로 검색 사용의 차이는 모델들을 더 멀어지게 한다. 이는 LLM의 일반적 예측 능력이 암기된 값의 양만으로 결정되지 않음을 시사한다. 본 연구는 LLM을 이용한 분자 회귀 벤치마크에서 문자 그대로 검색의 규모와 깊이에 대한 개관을 제공한다.
Identifying and grounding precise geometric entities, such as edges, planar regions, and curved surfaces within 3D objects, is foundational to computer-aided design (CAD), robotic manipulation, and scientific simulation. Although modern Vision Language Models (VLMs) have advanced referring segmentation (RIS) in the image domain, extending such language-driven localization to structured 3D geometry is substantially harder. The 3D object appearance is highly sensitive to viewpoints; a single perspective may render a target entity clearly observable, while another may suffer from severe occlusion or foreshortening. In this work, we attempt to solve these challenges with MV-GEL (Multi-View Geometric Entity Localization), a framework for localizing fine-grained geometric entities on polygon meshes from natural language queries. Our key insight is that reliable CAD entity (i.e., faces, edges or solids) localization depends on selecting views that make the queried entity maximally interpretable. We introduce GELviews, a prompt-conditioned ranking module that prioritizes viewpoints based on language prompted observability of geometric CAD entities. Selected views are processed by a VLM-based reasoning segmentation backbone, and predicted masks are lifted to the corresponding meshes via geometry-aware ray casting. Our framework is completely CAD agnostic and relies only on 3D meshes. Experiments show up to a 1.7X improvement in face-level IoU and over 4.5X gains in edge-level F1 compared to vanilla baselines, substantially outperforming CLIP-based and random view sampling, particularly for thin and view-sensitive structures. The dataset, code and trained checkpoints are available at https://github.com/kbali1297/MV-GEL.
적응형 체적 유한 요소 메싱(adaptive volumetric finite element meshing)은 컴퓨터 지원 공학 및 해석에서 핵심적인 단계로, 주어진 문제의 계산 비용을 결정한다. 전통적으로 이 과정은 반복적인 PDE 솔버나 대규모 시뮬레이션 데이터로 학습된 고도로 지도된 데이터 기반 대리 모델을 필요로 한다. 멀티모달 대규모 언어 모델(MLLM)이 2D 시각 과제에서 뛰어난 성능을 보이지만, 기하학적 이해와 물리학에 기반하여 영역을 의미적으로 그라운딩하는 제로샷 능력은 여전히 열린 질문으로 남아 있다. 본 연구는 중요한 질문을 탐구한다: 기성 MLLM의 고수준 시맨틱 이해가 유한 요소 메시 정제를 위한 실용적인 제로샷 기하학적 프록시로 활용될 수 있는가? 이를 조사하기 위해, 물리 기반 텍스트 프롬프트를 바탕으로 응력이 집중되는 영역을 시각적으로 국소화하는 데 MLLM을 활용하는 프레임워크인 GReFEM(Geometric Reasoning Enhanced Multimodal LLMs for Finite Element Meshing)을 제안한다. 2D MLLM 사전학습과 3D 기하 구조 사이의 간극을 메우기 위해, 핵심 기하학적 특징의 관측 가능성을 극대화하는 뷰 선택 모듈인 orthoViews를 도입한다. 우리는 다양한 CAD 기하 구조, 하중 조건, 최신 MLLM에 걸쳐 심층적인 실증 평가를 수행하였으며, 엄격하게 일치된 정제 예산 하에서 조정된 기하학적 휴리스틱과 비교하였다. 실험 결과, MLLM은 복잡한 공간-물리적 지시를 정확히 따르는 견고한 제로샷 능력을 보여주며, 맹목적 휴리스틱보다 높은 정밀도로 응력 관련 특징을 분리하는 것으로 나타났다. 물리적 그라운딩에서 MLLM의 성공 사례와 현재 한계를 모두 분석함으로써, 본 연구는 자동화된 시뮬레이션 워크플로우에서 시맨틱 어시스턴트로서의 파운데이션 모델의 최전선을 정의한다.