GReFEM: 물리 기반 3D 메시 정제를 위한 제로샷 시맨틱 어시스턴트로서의 멀티모달 LLM
GReFEM: Multimodal LLMs as Zero-Shot Semantic Assistants for Physics-Guided 3D Mesh Refinement
한국어 초록
적응형 체적 유한 요소 메싱(adaptive volumetric finite element meshing)은 컴퓨터 지원 공학 및 해석에서 핵심적인 단계로, 주어진 문제의 계산 비용을 결정한다. 전통적으로 이 과정은 반복적인 PDE 솔버나 대규모 시뮬레이션 데이터로 학습된 고도로 지도된 데이터 기반 대리 모델을 필요로 한다. 멀티모달 대규모 언어 모델(MLLM)이 2D 시각 과제에서 뛰어난 성능을 보이지만, 기하학적 이해와 물리학에 기반하여 영역을 의미적으로 그라운딩하는 제로샷 능력은 여전히 열린 질문으로 남아 있다. 본 연구는 중요한 질문을 탐구한다: 기성 MLLM의 고수준 시맨틱 이해가 유한 요소 메시 정제를 위한 실용적인 제로샷 기하학적 프록시로 활용될 수 있는가? 이를 조사하기 위해, 물리 기반 텍스트 프롬프트를 바탕으로 응력이 집중되는 영역을 시각적으로 국소화하는 데 MLLM을 활용하는 프레임워크인 GReFEM(Geometric Reasoning Enhanced Multimodal LLMs for Finite Element Meshing)을 제안한다. 2D MLLM 사전학습과 3D 기하 구조 사이의 간극을 메우기 위해, 핵심 기하학적 특징의 관측 가능성을 극대화하는 뷰 선택 모듈인 orthoViews를 도입한다. 우리는 다양한 CAD 기하 구조, 하중 조건, 최신 MLLM에 걸쳐 심층적인 실증 평가를 수행하였으며, 엄격하게 일치된 정제 예산 하에서 조정된 기하학적 휴리스틱과 비교하였다. 실험 결과, MLLM은 복잡한 공간-물리적 지시를 정확히 따르는 견고한 제로샷 능력을 보여주며, 맹목적 휴리스틱보다 높은 정밀도로 응력 관련 특징을 분리하는 것으로 나타났다. 물리적 그라운딩에서 MLLM의 성공 사례와 현재 한계를 모두 분석함으로써, 본 연구는 자동화된 시뮬레이션 워크플로우에서 시맨틱 어시스턴트로서의 파운데이션 모델의 최전선을 정의한다.
원문 초록
Adaptive volumetric finite element meshing is a critical step in computer-aided engineering and analysis that dictates the computational budget of a given problem. It traditionally requires iterative PDE solvers or heavily supervised, data-driven surrogates trained on large-scale simulation data. While Multimodal Large Language Models (MLLMs) excel in 2D visual tasks, their zero-shot capability to semantically ground regions based on geometric understanding and physics remains an open question. Overall, this study explores a significant question: can the high-level semantic understanding of off-the-shelf MLLMs serve as a viable, zero-shot geometric proxy for finite element mesh refinement? To investigate this, we introduce GReFEM (Geometric Reasoning Enhanced Multimodal LLMs for Finite Element Meshing), a framework that utilizes MLLMs to visually localize stress-critical regions based on physics-guided textual prompts. To bridge the gap between 2D MLLM pre-training and 3D geometries, we introduce orthoViews, a view-selection module that maximizes the observability of key geometric features. We conduct an in-depth empirical evaluation across diverse CAD geometries, loading cases, and SOTA MLLMs, comparing them against a tuned geometric heuristic under a strict, matched refinement budget. Our findings reveal that MLLMs demonstrate robust zero-shot capacity to accurately follow complex spatial-physical instructions, isolating stress-relevant features with higher precision than blind heuristics. By mapping both the successes and current limitations of MLLMs in physical grounding, this study defines the frontier of foundation models as semantic assistants in automated simulation workflows.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.08798v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PopGen: 제로샷 조정을 위한 의미론적으로 다양한 개체군 생성
PopGen: Generating Semantically Diverse Populations for Zero-Shot Coordination
다중 에이전트 강화학습(multi-agent reinforcement learning)에서 학습(training) 중 협력자에게 다양한 전략을 가진 파트너를 노출하는 것은 테스트 시 더 나은 협업을 달성하기 위한 핵심 요소입니다. 그러나 기존 방법들은 일반적으로 다양성을 측정하기 위해 궤적 수준(trajectory-level)의 대리 지표에 의존하므로, 동일한 전략에서 나온 서로 다른 두 궤적을 다양하다고 잘못 분류할 수 있습니다. 대신 본 연구의 핵심 통찰은 인간이 고수준의 전략을 인식할 수 있는 것과 유사하게, 환경(environment) 내에서 행동적으로 뚜렷이 구별되는 에이전트(agent)를 서술하는 대규모 언어 모델(LLM)의 능력을 활용하는 것입니다. 이를 위해 본 연구에서는 LLM을 사용하여 처음부터 의미론적으로 다양한 에이전트를 합성하는 프레임워크인 PopGen을 소개합니다. PopGen은 먼저 에이전트 행동에 대한 다양한 텍스트 서술 세트를 생성한 다음, 각 행동을 환경 내에서 실행할 수 있는 코드 정책(code policy)으로 변환합니다. 본 연구는 PopGen 개체군을 대상으로 학습된 협력자가 처음 보는 파트너와도 견고한 제로샷(zero-shot) 협력을 달성하며, 네 가지 협업 환경 전반에서 개체군 기반 학습(population-play) 베이스라인들을 능가함을 보입니다. 나아가 의미론적 다양성이 PopGen 개체군 크기에 따라 확장되어 협력자의 최악의 경우(worst-case) 성능을 향상시킴을 보이고, 다양성을 극대화하면서도 개체군 품질을 유지하는 설계 선택 사항들을 식별합니다. 연구 코드는 https://github.com/labicon/PopGen 에서 확인할 수 있습니다.
LLM을 활용한 제로샷 교차 문제 일반화를 위한 다중 작업 진화
Multi-Task Evolution for Zero-Shot Cross-Problem Generalization using LLMs
다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.
SBF-SEM에서 3D 수상돌기 인스턴스 분할을 위한 완전 자동화 파이프라인
A Fully Automatic Pipeline for 3D Dendrite Instance Segmentation in SBF-SEM
연속 블록면 주사전자현미경(SBF-SEM)에서 개별 수상돌기(dendrite)의 정확한 3차원(3D) 재구성은 뇌의 구조적 가소성을 정량화하는 데 필수적이지만, 대규모 수작업 어노테이션은 실현하기 어렵습니다. 본 논문에서는 다운샘플링된 슬라이스에 대한 YOLOv6 유도 기반 Segment Anything Model(SAM) 프롬프팅, 반복적 2차원 마스크 정제, 랜덤 포레스트(random forest) 기반 3D 인스턴스 연결, 그리고 원본 해상도에서 nnU-Net을 활용한 인스턴스 인지 고해상도 정제를 하나의 시스템으로 통합하여 추론 시 수동 프롬프팅이 전혀 필요하지 않은 3D 수상돌기 인스턴스 분할(instance segmentation) 완전 자동화 파이프라인을 제시합니다. 대조군 쥐와 필로카르핀 유도 간질 모델 쥐의 해마 CA1 SBF-SEM 데이터셋에 적용한 결과, 본 파이프라인은 높은 의미론적 정확도(Dice 0.93 및 0.91)와 대조군 조직에서의 우수한 인스턴스 수준 성능으로 일관되고 잘 분리된 수상돌기를 재구성하는 한편, 더 까다로운 간질 조직 분석을 통해 밀집 영역에서의 인스턴스 인식이 주요 잔여 한계점임을 밝혀냈습니다. 고해상도 정제 단계는 얇은 수상돌기 돌출부를 복원하여 후속 가시(spine) 수준 분석의 기반을 제공합니다. 코드는 https://github.com/ZE-WEN/dendrite-3d-instance-seg 에서 확인할 수 있습니다.
포인트 클라우드로부터 포장 재배 옥수수의 엔드투엔드 절차적 모델링을 위한 비전-언어 모델(VLM) 기반 파이프라인
A Vision-Language Model (VLM)-based Pipeline for End-to-End Procedural Modeling of Field-Grown Maize from Point Clouds
포장에서 재배된 작물의 편집 가능한 3D 모델은 대량 표현형 분석(high-throughput phenotyping) 및 인실리코(in silico) 육종 시험을 지원하지만, 스캔된 포인트 클라우드로부터 이를 구축하려면 기관 수준의 세그멘테이션(segmentation) 및 피팅(fitting)이 필요합니다. 절차적 생성기(procedural generator)는 기관 수준의 매개변수 집합을 분석에 적합한 3D 모델로 변환할 수 있으나, 해당 매개변수 집합을 얻기 위해서는 식물 개체당 수 시간의 수작업 튜닝이 필요하거나 종 특이적 라벨로 학습된 세그멘테이션 모델이 필요합니다. 본 연구에서는 수작업 튜닝이나 종 특이적 학습 데이터 없이도 원시 3D 포인트 클라우드로부터 절차적 옥수수 모델을 재구성하는 자동화된 파이프라인을 제시합니다. 멀티모달 비전-언어 모델(VLM)이 렌더링된 정사영 뷰(orthographic views)에서 잎의 중심선(midline)에 주석을 답니다. 결정론적 기하학 알고리즘은 이 주석을 포인트 클라우드로 역투영하고, 뷰 간 합의(cross-view consensus)를 통해 3D 잎으로 병합하며, 방향 가중 표면 그래프 상에서 중심선을 완전한 엽신(blade)으로 확장합니다. 측정된 기관 매개변수는 비균일 유리 B-스플라인(NURBS) 기반 절차적 모델 생성기를 위한 식물 기술자(plant descriptor)를 구성합니다. 이후 각 잎 표면은 미분 가능한 NURBS 피팅을 통해 해당 스캔 포인트를 기준으로 정교화됩니다. 이 파이프라인은 MaizeField3D 데이터셋의 유전형이 다양한 100개 포장 재배 옥수수 식물체에서 중앙값 5.4 mm의 식물 전체 챔퍼 거리(Chamfer distance)를 달성했습니다. 재구성된 모델은 수동 주석 기반의 기존 반자동 파이프라인보다 스캔 데이터에 더 근접했습니다. 파이프라인은 해당 라벨을 입력으로 사용하지 않고도 0.5 이상의 IoU(intersection-over-union)에서 1,023개 중 1,017개(99.4%)의 큐레이션된 참조 잎을 복원했습니다. 이러한 결과는 하류 기하학 단계에서 보정할 수 있을 때 VLM 주석이 유용한 기관 수준의 측정값이 될 수 있음을 보여줍니다. 이를 통해 현대적인 표현형 분석 실험 규모에서 편집 가능한 3D 식물 자산의 자동 생성이 실현 가능해집니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.