PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13947v1cs.CV

물리적으로 근거한 관절형 3D 에셋을 향하여: 멀티 에이전트 파이프라인과 벤치마크

Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark

본 논문에서는 물리적으로 근거한 관절형 3D 에셋 생성을 연구하며, 목표를 객체가 어떻게 보이는지를 재현하는 것에서 객체가 어떻게 움직이고 기능하는지를 포착하는 것으로 전환한다. 절차적(procedural) 생성 및 에이전트 기반(agentic) 생성에 관한 문헌에서 영감을 받아, 우리는 Artisan을 제시한다. Artisan은 최신 기법인 Articraft를 확장하여 물리 시뮬레이션 피드백을 포함하는 멀티 에이전트 파이프라인을 도입함으로써, 기하학(geometry), 외형(appearance), 그리고 물리적으로 타당한 관절 운동을 넘어서는 충돌 없는 움직임, 중력 하에서의 안정성, 정확한 질량 및 재질 속성과 같은 포괄적인 속성들을 가능하게 하는 시스템이다. 더 나아가, 우리는 공간적 충실도(spatial fidelity), 물리적 타당성(physical plausibility), 다운스트림 과업 성능, 전반적인 품질이라는 네 가지 핵심 측면을 포괄하는 통합 벤치마크를 구축한다. 이 벤치마크는 ArtVIP와 LightWheel에서 가져온 100개의 참조 에셋, 50개의 안정성 프롬프트, 그리고 참조 질량을 가진 50개의 ABO 객체를 포함하며, 다양한 지표를 평가하는 프로토콜을 갖추고 있다. 10개 이상의 대표적인 모델에 대한 광범위한 평가를 통해, Artisan은 경쟁력 있는 공간적 충실도를 달성하면서 평가된 방법들 중 가장 낮은 충돌률과 가장 높은 안정성 비율을 달성한다. 종합적으로, 우리의 시스템과 벤치마크는 3D 생성을 물리적으로 타당하고 기능적으로 사용 가능한 에셋을 향해 발전시키기 위한 통찰을 제시한다.

arXiv:2512.17302v2cs.CV

MatLat: PBR 텍스처 생성을 위한 머티리얼 잠재 공간

MatLat: Material Latent Space for PBR Texture Generation

본 논문에서는 주어진 3D 메시에 고품질 PBR 텍스처를 생성하기 위한 생성 프레임워크를 제안합니다. 대규모 PBR 텍스처 데이터셋이 부족한 상황에서, 본 접근법은 타깃 미세조정(fine-tuning)을 통해 머티리얼 잠재 공간인 MatLat을 학습하는 동시에, 사전학습된 잠재 이미지 생성 모델의 임베딩(embedding) 공간과 확산 사전확률(diffusion prior)을 효과적으로 활용하는 데 초점을 맞춥니다. 임베딩 네트워크를 고정하여 추가 PBR 채널 인코딩 시 분포 변화(distribution shift)를 초래하고 후속 확산 학습(training)을 저해하는 기존 방식과 달리, 본 연구에서는 최소한의 잠재 분포 편차만으로 새로운 머티리얼 채널이 통합될 수 있도록 사전학습된 VAE를 미세조정합니다. 나아가 잠재-이미지 간 매핑이 국소성(locality)을 보존하지 않는 한, 대응점 인식 어텐션(correspondence-aware attention)만으로는 뷰 간 일관성을 확보하기에 불충분함을 보입니다. 이러한 국소성을 강제하기 위해, 잠재 패치를 크롭하여 디코딩한 뒤 대응하는 이미지 영역과 정렬함으로써 강력한 픽셀-잠재 공간 대응을 유지하는 정규화(regularization) 기법을 VAE 미세조정에 도입합니다. 제거 연구(ablation study) 및 기존 베이스라인과의 비교를 통해 제안하는 프레임워크가 PBR 텍스처의 충실도를 향상시키며, 각 구성 요소가 최고 수준의 성능(SOTA)을 달성하는 데 필수적임을 입증합니다.