PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03468v1cs.CV

포인트 클라우드로부터 포장 재배 옥수수의 엔드투엔드 절차적 모델링을 위한 비전-언어 모델(VLM) 기반 파이프라인

A Vision-Language Model (VLM)-based Pipeline for End-to-End Procedural Modeling of Field-Grown Maize from Point Clouds

포장에서 재배된 작물의 편집 가능한 3D 모델은 대량 표현형 분석(high-throughput phenotyping) 및 인실리코(in silico) 육종 시험을 지원하지만, 스캔된 포인트 클라우드로부터 이를 구축하려면 기관 수준의 세그멘테이션(segmentation) 및 피팅(fitting)이 필요합니다. 절차적 생성기(procedural generator)는 기관 수준의 매개변수 집합을 분석에 적합한 3D 모델로 변환할 수 있으나, 해당 매개변수 집합을 얻기 위해서는 식물 개체당 수 시간의 수작업 튜닝이 필요하거나 종 특이적 라벨로 학습된 세그멘테이션 모델이 필요합니다. 본 연구에서는 수작업 튜닝이나 종 특이적 학습 데이터 없이도 원시 3D 포인트 클라우드로부터 절차적 옥수수 모델을 재구성하는 자동화된 파이프라인을 제시합니다. 멀티모달 비전-언어 모델(VLM)이 렌더링된 정사영 뷰(orthographic views)에서 잎의 중심선(midline)에 주석을 답니다. 결정론적 기하학 알고리즘은 이 주석을 포인트 클라우드로 역투영하고, 뷰 간 합의(cross-view consensus)를 통해 3D 잎으로 병합하며, 방향 가중 표면 그래프 상에서 중심선을 완전한 엽신(blade)으로 확장합니다. 측정된 기관 매개변수는 비균일 유리 B-스플라인(NURBS) 기반 절차적 모델 생성기를 위한 식물 기술자(plant descriptor)를 구성합니다. 이후 각 잎 표면은 미분 가능한 NURBS 피팅을 통해 해당 스캔 포인트를 기준으로 정교화됩니다. 이 파이프라인은 MaizeField3D 데이터셋의 유전형이 다양한 100개 포장 재배 옥수수 식물체에서 중앙값 5.4 mm의 식물 전체 챔퍼 거리(Chamfer distance)를 달성했습니다. 재구성된 모델은 수동 주석 기반의 기존 반자동 파이프라인보다 스캔 데이터에 더 근접했습니다. 파이프라인은 해당 라벨을 입력으로 사용하지 않고도 0.5 이상의 IoU(intersection-over-union)에서 1,023개 중 1,017개(99.4%)의 큐레이션된 참조 잎을 복원했습니다. 이러한 결과는 하류 기하학 단계에서 보정할 수 있을 때 VLM 주석이 유용한 기관 수준의 측정값이 될 수 있음을 보여줍니다. 이를 통해 현대적인 표현형 분석 실험 규모에서 편집 가능한 3D 식물 자산의 자동 생성이 실현 가능해집니다.

arXiv:2609.23386v1cs.CV

ProxyBuild: 메시 앵커 기반 절차적 프록시를 활용한 텍스트 기반 구조화된 3D 건물 생성

ProxyBuild: Text-Guided Structured 3D Building Generation with Mesh-Anchored Procedural Proxies

텍스트 기반 3D 건물 생성은 엄청난 응용 잠재력을 지니고 있지만, 기존 생성 모델들은 일반적으로 분리할 수 없는 단일 메시(mesh)나 상호작용이 불가능한 렌더링된 표현을 출력합니다. 절차적 모델링(procedural modeling)은 계층 구조를 갖춘 편집 가능한 건물을 생성할 수 있으나 규칙 작성이 번거로우며, 대규모 언어 모델(LLM)의 도움을 받더라도 기하학적 제약 조건 하에서 절차적 규칙을 효과적으로 풀어내는 것은 여전히 어렵습니다. 본 논문에서는 구조화된 건물 생성을 위한 새로운 하이브리드 프레임워크인 ProxyBuild를 제안합니다. 우리는 건물 구성요소를 기하학적 셸(geometric shell)에 단단히 고정하는 새로운 중간 표현인 메시 앵커 기반 절차적 프록시(Mesh-Anchored Procedural Proxy, MAPP)를 도입하여, 생성 작업을 프록시 예측과 프록시-에셋 인스턴스화의 두 단계로 분리합니다. 먼저, MAPP 주석이 포함된 건물 데이터셋을 구축하여 우리가 설계한 면-엣지 이분 그래프(face-edge bigraph) 인코더를 학습시킵니다. 이 인코더는 이종 메시 그래프 상에서 위상 요소들의 특징 상호작용을 명시적으로 모델링함으로써 면과 엣지의 시맨틱 역할을 정확하게 추론합니다. 이후 LLM이 파싱한 텍스트 스타일과 속성 매개변수를 조건으로 하여, 엄격한 제약 조건을 갖춘 공간 배치 로직을 통합함으로써 높은 정밀도의 에셋 검색 및 조립을 완수합니다. 광범위한 실험을 통해 ProxyBuild는 과도한 평활화(over-smoothing), 구성요소 간 충돌, 구조적 손상과 같은 건물 생성의 일반적인 문제들을 크게 완화할 뿐만 아니라, 다양한 출처의 시맨틱 없는 셸을 정확하게 파싱함을 보여줍니다. 다양한 지표에서 기존 베이스라인들을 능가하는 우리의 방법은 텍스트로부터 구조가 명확하고 세부 묘사가 풍부하며 사후 편집이 가능한 3D 건물을 견고하게 생성할 수 있어, 가상현실(VR) 및 디지털 트윈과 같은 다운스트림 애플리케이션을 위한 신뢰성 있고 상호작용 가능한 콘텐츠 기반을 제공합니다.