PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01148v2cs.CV

OptimusMesh: 희소 잠재 피벗을 통한 포인트 클라우드 기반 컴팩트 자기회귀 메시 생성

OptimusMesh: Compact Autoregressive Mesh Generation from Point Clouds via Sparse Latent Pivots

포인트 클라우드(point cloud)로부터 컴팩트하고 기하학적으로 충실한 3D 메시(mesh)를 직접 생성하는 것은 여전히 근본적인 과제입니다. 포인트 클라우드는 순서가 없고 희소한 반면, 메시는 불규칙한 구조와 다양한 위상(topology)을 나타냅니다. 그 결과 기존의 많은 접근법은 암시적 표현(implicit representation)에 의존한 후 표면 추출이나 재구성을 수행합니다. 이러한 파이프라인은 효과적이지만 과도하게 조밀하거나 지나치게 매끄러운 메시를 생성할 수 있어, 연산 비용이 많이 드는 후처리 및 단순화 작업을 요구하는 경우가 많습니다. 본 논문에서는 희소 잠재 피벗(sparse latent pivot) 조건화를 활용하여 포인트 클라우드로부터 컴팩트한 삼각형 메시를 직접 생성하는 프레임워크인 OptimusMesh를 제시합니다. 핵심 아이디어는 2,048개의 방향성을 갖는 입력 포인트를 단 16개의 희소 잠재 피벗으로 압축하여, 기하학적 조건화 집합을 128배 줄이는 것입니다. 이러한 피벗은 먼저 메시 정점(vertex)을 생성한 다음 생성된 정점과 동일한 피벗을 조건으로 삼각형 면(face)을 예측하는 2단계 자기회귀(autoregressive) 프레임워크 전반에서 공유되는 컴팩트한 구조적 표현을 제공합니다. 257개의 디코더 조건화 토큰을 사용하는 최근의 포인트 클라우드 조건부 자기회귀 평가 대상 방법들과 비교했을 때, OptimusMesh는 단 16개만을 사용하여 조건화 시퀀스 길이를 16.1배 단축합니다. 실험 결과에 따르면 OptimusMesh는 비교 대상인 최근 자기회귀 방법들 중 가장 컴팩트한 출력을 생성하며, 경쟁력 있는 기하학적 충실도와 분포 품질을 유지하면서도 25.7%~94.1% 더 적은 면을 사용합니다.

arXiv:2607.22738v1cs.GR

Nova3D: 프로그래밍 가능한 3D 에셋의 코드 네이티브 생성

Nova3D: Code-Native Generation of Programmable 3D Assets

현재 3D 생성 모델은 대부분 최종 표면, 즉 시각적으로는 뛰어나지만 대체로 불투명한 메시를 산출한다. 상호작용형 3D 세계는 표면만으로는 부족하다. 이름이 있는 부품, 조립 계층 구조, 측정 가능한 제약, 국소 편집 핸들, 그리고 관절화를 위한 조인트가 필요하다. 우리는 3D 에셋을 실행 가능한 Blender 소스 코드로 생성하는 시스템 Nova3D를 제안한다. 컴파일된 메시인 바이너리 glTF(GLB)는 에셋이 아니라 산출물(artifact)로 취급된다. 출력이 프로그램이기 때문에, 의미론적 핸들은 세그멘테이션(segmentation)이나 리깅(rigging)으로 사후에 복구되는 것이 아니라 생성 시점에 존재한다. 우리는 텍스트 및 이미지 입력을 갖춘 6개 도메인과 3단계 난이도에 걸친 54개 항목으로 구성된 고정(frozen)된 사양 기반(spec-grounded) 벤치마크 Nova3D-Bench에서, 4개 계열(메시 네이티브, 부품 구조화, 코드 네이티브, CAD)의 11개 기준선과 동일 LLM 어블레이션을 대상으로 평가한다. Nova3D는 54/54 항목에 대해 실행 가능한 프로그램과 유효한 산출물을 생성한다. 모든 에셋은 부모-자식 조립 트리로 구성된 이름 있는 부품을 노출하며, 메시 네이티브, CAD, 또는 세그멘테이션 기준선은 어느 것도 노출하지 않는다. 프롬프트에 명시된 수치 및 개수 제약 52개 중 51개를 만족하며(최고 기준선: 11/52), 블라인드 국소 편집 18개 중 14개를 통과하고 국소성은 18/18에서 유지되며, 12개 에셋에 걸쳐 59개 조인트를 98.3% 기하학적 유효성으로 관절화하는 반면, 모든 기준선은 네이티브 조인트를 0개 노출한다. 기하학적 품질은 경쟁력이 있다. 쌍대비 형상 품질 토너먼트에서 구조화된 도메인에서 우승하며, 가장 강력한 메시 네이티브 모델에만 뒤지는 2위이고, 베이크된 PBR 시스템에는 텍스처 사실성을 양보한다. 핵심 결과는 표현(representation)에 관한 것이다. 코드 네이티브 생성은 생성된 3D 객체를 불투명한 표면에서 하류 시스템이 검사, 측정, 편집, 애니메이션할 수 있는 프로그래밍 가능한 에셋으로 전환한다.

arXiv:2607.13563v1cs.CV

Nexus: Diffusion 기반 네이티브 메시 생성

Nexus: Native Mesh Generation with Diffusion

고품질 삼각형 메시 생성은 영화, 게임, 인터랙티브 3D 애플리케이션에 필수적이다. 주류 방법은 메시 직렬화와 자기회귀(autoregressive) 과정에 의존하며, 이는 효과적인 추론에 어려움을 겪고 오류 누적에 민감하다. 본 논문에서는 정점과 토폴로지(topology) 생성을 분리하여 전체적 메시 생성을 달성하는 확산(diffusion) 방법 Nexus를 제안한다. 먼저, 메시 정점을 octree로 구성된 희소 복셀(sparse voxel)로 간주하고, 확산 모델을 채택하여 coarse-to-fine 방식으로 정점을 생성한다. 둘째, 토폴로지 모델링을 위해 Spacetime Distance의 확장인 Spacetime Interval을 제안하여, 임의의 엣지(edge)와 면(face) 토폴로지를 연속적인 per-vertex 임베딩(embedding)으로 인코딩한다. 이를 통해 복잡한 토폴로지의 전역적이고 효율적인 복원이 가능하다. 그런 다음 생성된 정점 위에서 연속 임베딩을 생성하기 위해 확산 모델을 사용한다. Objaverse 및 Toys4K 데이터셋과 실세계(in-the-wild) 이미지에 대한 광범위한 실험을 통해, 본 방법이 최신(state-of-the-art) 자기회귀 및 2단계(two-stage) 베이스라인을 능가하며 순차적 메시 모델링의 고유 한계를 효과적으로 우회함을 보여준다. 3D 전문가를 대상으로 한 블라인드 사용자 연구는 우리 결과에 대한 강한 지각적 선호를 확인했다.

arXiv:2607.02564v1cs.CV

원시 분할에서 시뮬레이션 준비 심장 메시까지: 해부학적 재건 및 가상 코호트 생성을 위한 자동화 프레임워크

From Raw Segmentations to Simulation-Ready Cardiac Meshes: An Automated Framework for Anatomical Reconstruction and Virtual Cohort Generation

인간 심장의 계산 모델은 전기-기계적 및 유체역학적 심장 기능을 연구하고 인실리코(in silico) 임상시험과 같은 응용 분야를 지원하는 데 널리 활용된다. 그러나 대부분의 연구는 단일 또는 환자별 해부학적 구조에 국한되어, 불확실성 정량화에 필요한 집단 수준의 변동성을 포함하는 데 한계가 있다. 핵심 과제는 아티팩트, 메시 결함 또는 불연속 도메인을 포함할 수 있는 의료 영상 분할 결과를 다중물리 시뮬레이션에 적합한 위상적으로 일관된 기하학적 구조로 변환하는 것이다. 본 연구에서는 CT 기반 분할 결과를 해부학적 및 위상적 일관성을 유지하면서 수 분 내에 시뮬레이션 준비 심장 메시로 변환하는 반자동 파이프라인을 제시한다. 현대적인 심층 학습 분할 방법을 기반으로, 이 프레임워크는 아티팩트를 정규화하고 메시 품질 제약 조건을 적용하기 위한 템플릿 기반 등록 단계를 통합한다. Chamfer 거리 모핑 전략은 위상을 보존하면서 고품질 템플릿을 각 분할된 심장에 맞게 변형하여 개별 챔버에 정합시킨다. 결과 메시는 수밀(watertight)하고 등위상(isotopological)이며, 일관된 점 대 점 대응 관계를 갖는다. 이 파이프라인은 모든 심장 챔버와 근위 혈관 세그먼트를 포함한 58개의 정상 심장 CT 스캔에서 검증되었다. 결과 메시는 통합된 형상 공간으로 표현될 수 있어 심장 및 주요 혈관의 통계적 형상 모델 구축을 가능하게 한다. 주성분 분석(PCA)은 저차원 잠재 공간이 집단 변동성을 효율적으로 포착함을 보여 주며, 가우시안 혼합 모델링(Gaussian Mixture Modeling)은 합성 해부학적 구조 생성을 가능하게 한다. 전반적으로, 오픈소스로 공개된 제안 프레임워크는 원시 분할 결과에서 시뮬레이션 준비 심장 기하학적 구조까지의 경로를 제공하여 대규모 인실리코 연구를 위한 해부학적으로 일관된 가상 코호트 생성을 지원한다.

arXiv:2503.01425v4cs.GR

MeshPad: 대화형 스케치 조건부 아티스트 스타일 메시 생성 및 편집

MeshPad: Interactive Sketch-Conditioned Artist-Reminiscent Mesh Generation and Editing

우리는 스케치 입력으로부터 3D 메시를 생성하는 생성적 접근법인 MeshPad를 소개합니다. 아티스트 스타일의 삼각형 메시 생성에 대한 최근 발전을 기반으로, 본 접근법은 대화형 메시 생성의 필요성을 해결합니다. 이를 위해 우리는 편집을 메시 영역의 '삭제'와 이어지는 새로운 메시 형상의 '추가'로 분해하여 일관된 편집을 가능하게 하는 데 초점을 맞춥니다. 두 작업 모두 스케치 이미지에 대한 간단한 사용자 편집을 통해 호출되며, 이는 반복적인 콘텐츠 생성 프로세스를 용이하게 하고 복잡한 3D 메시의 구성을 가능하게 합니다. 본 접근법은 삼각형 시퀀스 기반 메시 표현을 기반으로 하며, 메시 삼각형 추가 및 삭제를 위해 대규모 트랜스포머 모델을 활용합니다. 대화형으로 편집을 수행하기 위해, 우리는 추가적 메시 생성기 위에 정점 정렬 투기적 예측 전략을 도입합니다. 이 투기기는 정점에 해당하는 여러 출력 토큰을 예측하여, 추론의 계산 비용을 크게 줄이고 편집 프로세스를 가속화하며, 각 편집 단계를 단 몇 초 만에 실행할 수 있게 합니다. 포괄적인 실험을 통해 MeshPad가 최첨단 스케치 조건부 메시 생성 방법보다 우수함을 입증했으며, 챔퍼 거리(Chamfer distance)에서 22% 이상의 메시 품질 향상을 달성하고 지각적 평가에서 90%의 참가자에게 선호되었습니다.

arXiv:2506.24121v3cs.CV

TextMesh4D: 제로샷 텍스트-투-4D 메쉬 생성

TextMesh4D: Zero-shot Text-to-4D Mesh Generation

대규모의 고품질 동적 3D(4D) 자산은 물리 기반 표현을 학습하는 데 필수적이지만, 대규모로 캡처하고 어노테이션하는 데 비용이 많이 듭니다. 이는 지도 4D 학습의 실현 가능성을 제한하며, 사전학습된 디퓨전 사전(priors)을 활용한 제로샷 텍스트-투-4D 생성의 동기가 됩니다. 복잡한 동역학을 모델링하기 위해 기존 방법들은 일반적으로 변형 능력 때문에 암시적 3D 표현(예: NeRF 또는 3DGS)을 채택합니다. 그러나 그 암시적 특성은 표면 토폴로지에 대한 제어를 제한적으로 제공하며, 이는 고충실도 기하학을 방해하고 시간적으로 일관된 표면 재구성을 어렵게 만듭니다. 이러한 제한 사항을 해결하기 위해 우리는 제로샷 텍스트-투-4D 메쉬 생성을 탐구합니다. 그러나 디퓨전 기반 가이던스를 토폴로지 제약 메쉬와 결합할 때 구조적 불일치가 발생합니다. 가이던스는 노이즈가 많고 공간적으로 불일치하는 반면, 메쉬는 심각한 토폴로지 제약을 부과하여 직접적인 정점 수준 변형을 불안정하게 만듭니다. 본 논문에서 우리는 TextMesh4D를 소개합니다. 이는 위의 과제를 두 가지 상호 보완적인 수준에서 해결함으로써 동적 메쉬를 직접 생성하는 최초의 텍스트-투-4D 제로샷 프레임워크입니다. 기하학적으로 우리는 야코비안 변형 필드(JDF)를 통해 변형 모델링을 정점에서 면으로 변경하여, 적분 가능성을 강제하는 통합 공식을 통해 토폴로지 인식 표면 재구성을 가능하게 합니다. 의미론적으로 우리는 국소적 변형 타당성과 전역적 형상 일관성을 공동으로 제약하여 시간에 따른 정체성을 보존하는 국소-전역 의미론적 정규화기(LGSR)를 제안합니다. 광범위한 실험을 통해 단일 24GB GPU에서 효율적으로 작동하면서도 최첨단의 시간적 일관성, 구조적 충실도 및 시각적 품질을 입증했습니다.