arXiv:2606.20131v3 cs.CV

TriFlow: 최근접 정점 벡터 필드를 통한 아티스트 수준 3D 메쉬 토폴로지 생성

TriFlow: Generating Artist-Like 3D Mesh Topology via Nearest-Vertex Vector Fields

Haoxuan Li, Ziya Erkoç, Daniele Sirigatti, Vladislav Rosov, Lei Li, Angela Dai, Matthias Nießner

제출 2026-06-18

한국어 초록

TriFlow를 제시한다. 이는 부호 거리 필드(signed distance field)와 같은 입력 기하 조건으로부터 아티스트 수준의 삼각형 토폴로지를 갖는 간결한 3D 메쉬를 직접 생성하는 새로운 생성적 접근법이다. 핵심 통찰은 메쉬 토폴로지를 표면 위에 정의된 최근접 정점 벡터 필드(nearest-vertex vector field, NVF)로 표현하는 것으로, 각 점은 국소 무게중심(barycentric) 좌표계에서 가장 가까운 삼각형 정점과의 연관을 인코딩한다. 입력 기하에 조건화된 토폴로지 생성을 가능하게 하기 위해 이 필드를 합성하도록 잠재 flow-matching 모델을 학습한다. 일관된 메쉬를 추출하기 위해 생성된 NVF로 표면 영역을 클러스터링하고, 토폴로지 인식 최적화가 적용된 제약 이차 오차 메트릭(quadric error metric, QEM) 메쉬 단순화를 유도한다. 이를 통해 출력 메쉬는 입력 기하와 밀접히 일치하면서 구조화된 아티스트 수준의 연결성을 갖는다. 실험 결과 TriFlow는 최신 학습 기반 접근법 대비 더 강한 일반화와 현저히 향상된 토폴로지 품질을 달성하며, Chamfer Distance는 90% 낮고 8배 속도 향상을 보인다.

원문 초록

We present TriFlow, a new generative approach for producing compact 3D meshes with artist-like triangle topology directly from input geometry conditions such as signed distance fields. Our key insight is to represent mesh topology as a nearest-vertex vector field (NVF) defined over the surface, where each point encodes its association to the nearest triangle vertex in the local barycentric frame. We train a latent flow-matching model to synthesize this field, enabling topology generation conditioned on the input geometry. To extract a coherent mesh, we cluster surface regions using the generated NVF and guide a constrained quadric error metric (QEM) mesh simplification with topology-aware optimization. This yields output meshes that closely match the input geometry while exhibiting structured, artist-like connectivity. Experiments demonstrate that TriFlow achieves stronger generalization and significantly improved topology quality compared to state-of-the-art learning-based approaches, alongside 90% lower Chamfer Distance and an 8x speedup.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20131v3제출 시각 미확인
  2. arXiv:2606.20131v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03476v1cs.RO공통 태그 Clustering, flow matching

MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선

MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation

장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.

arXiv:2610.02755v1cs.CV공통 태그 Clustering, 3D Reconstruction

FiberGeoText: 천부 백질의 집단 수준 체계화를 위한 비전-언어 모델

FiberGeoText: A Vision-Language Model for Population- Level Organization of Superficial White Matter

생애 전반에 걸친 인지 및 뇌 질환에 중요한 뇌 영역인 천부 백질(SWM, superficial white matter)에는 풍부한 단거리 연합 섬유가 포함되어 있으나, 짧은 궤적과 변동성이 큰 대뇌 피질 주름으로 인해 개체 간 대응이 어려워 그 구조가 완전히 규명되지 않았습니다. 해부학적으로 상응하는 연결은 개체 간에 공간적 위치가 다를 수 있으므로 기하학적 근접성만으로는 적절히 정의되지 않을 수 있습니다. 본 연구에서는 초고해상도 확산 MRI로부터 재구성된 단거리 천부 백질(SWM) 신경로(streamline)를 집단 수준의 클러스터로 체계화하기 위한 비전-언어(vision-language) 모델(VLM)인 FiberGeoText(FGT)를 소개합니다. FGT는 각 신경로의 세 가지 상호보완적 특성인 3차원 궤적, 피질 해부학적 컨텍스트, 형태를 공동으로 표현합니다. 여러 구획화(parcellation) 체계의 피질 종단점 정보는 텍스트로 표현되고 사전학습된 대규모 언어 모델(LLM)을 사용하여 인코딩되므로, 이종의 해부학적 기술이 공통의 연속적 표현에 기여할 수 있습니다. 밀리미터 미만인 0.76mm 확산 MRI 데이터를 통해 FGT를 평가했습니다. 최신(SOTA) 방법들과 비교했을 때, FGT는 훨씬 더 높은 피질 구획 일관성, 클러스터 내 형태 일관성, 클러스터 크기 일관성, 피험자 간 대응성을 달성했습니다. 또한 학습된 모델은 학습된 5,000개 클러스터 중 평균 96.7%를 복구하며 미확인 피험자에 대해서도 우수한 일반화 성능을 보였고, 학습 데이터와 테스트 데이터 간의 클러스터 구조 일관성도 높았습니다. 이러한 결과는 VLM 모델을 통해 멀티모달 딥 임베딩(embedding)을 학습함으로써 기하학적, 해부학적, 형태 정보를 통합하는 것이 개체 간 해부학적 변동성에도 불구하고 집단 수준에서 일관된 SWM 구조를 강건하게 학습할 수 있음을 입증합니다.

arXiv:2610.01233v1cs.CV공통 태그 flow matching, 3d mesh generation

동적 귀환 최적화를 통한 3D 메시 생성을 위한 플로우 매칭 강화

Flow Matching Reinforcement for 3D Mesh Generation via Dynamic Homing Optimization

플로우 매칭(Flow matching)은 3D 생성의 핵심이지만, 실제 적용되는 강화학습(RL) 방식은 대부분 2D 시각적 생성에서 차용된 것입니다. 대표적인 DPO, GRPO, NFT 스타일의 목적 함수는 네거티브 궤적(negative trajectory)에 적용될 때, 선호되는 샘플을 향한 목표 속도장을 명시적으로 지정하지 않고 예측된 속도를 해당 방향에서 멀어지도록 유도하는 데 그칩니다. 사전학습된 모델의 역량, 롤아웃 다양성, 복잡한 보상 분포의 제약을 받는 3D 생성에서는 이러한 강화학습 기법을 직접 적용할 경우 기하학적 품질 향상이 제한적입니다. 본 연구에서는 네거티브 궤적 최적화를 포지티브 샘플 유인 기반의 동적 귀환(dynamic homing) 문제로 재구성하는 순방향 프로세스 강화학습 방법인 **동적 귀환 최적화(Dynamic Homing Optimization, DHO)**를 소개합니다. 구체적으로, 최소 비용 인력 매칭(Minimum-Cost Attractive Matching, MAM)은 각 네거티브 샘플에 고유한 포지티브 대상을 할당하며, 시간 인지 동적 보정(Time-Aware Dynamic Correction, TDC)은 남은 시간을 고려한 보정 속도를 활용해 해당 궤적을 목표 방향으로 재지향합니다. 비동기 온라인 DHO를 기반으로, 이미지-3D 기하 생성 프레임워크인 **Flow3D-Pro**를 개발했습니다. 실험 결과, DHO는 3D 생성에서 대표적인 DPO, GRPO, NFT 스타일 목적 함수보다 우수한 성능을 보였으며, Flow3D-Pro는 기존 메시 생성 방법들보다 더 높은 품질의 3D 형상을 생성함을 입증했습니다.

arXiv:2607.22731v1cs.CV공통 태그 Clustering, 3D Reconstruction

실내 환경을 위한 보정 불필요 3D 다중 카메라 사람 추적

Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment

다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.

arXiv:2607.23840v1cs.CV공통 태그 3D Reconstruction, flow matching

STEER: 조향 가능한 대화형 헤드 아바타

STEER: Steerable Dyadic Head Avatars

얼굴 움직임과 표정은 대면 의사소통의 핵심으로, 발화와 함께 발언권 교환, 주의, 동의, 참여를 전달한다. 음성 기반 얼굴 애니메이션은 입술 동기화와 오디오 조건부 모션 생성에서 큰 진전을 이루었지만, 대부분의 방법은 대화 행동을 오디오의 창발적(emergent) 부산물로 취급하거나, 거친 시퀀스 수준의 정서(affect) 제어만 제공한다. 그 결과, 시선 접촉과 회피, 리듬감 있는 머리 움직임, 감정과 같은 핵심 비언어적 채널은 명시적으로 제어하기 어렵다. 우리는 반응형 대화 헤드 아바타를 위한 제어 가능한 3D 대화형(dyadic) 모션 사전(prior)인 STEER를 제시한다. STEER는 대화 행동을 시선, 머리 리듬, 감정에 대한 명시적 제어로 분해하여, 사용자가 아바타가 대화 상대를 어떻게 듣고, 반응하고, 교류하는지 조향할 수 있게 한다. 이러한 행동에 대한 시간 정렬 주석이 공개 대화형 코퍼스에서 제공되지 않기 때문에, 우리는 in-the-wild 대화형 영상에서 행동 의사 라벨(pseudo-label)을 복원하는 추적 및 주석 파이프라인을 도입한다. 인과적(causal) flow-matching 트랜스포머가 오디오, 상대 모션, 감정 및 제안된 행동 제어를 조건으로 하는 상대 인식(partner-aware) 목표 모션을 학습한다. 우리는 추적된 파라메트릭 모션을 아바타 구동 공간으로 매핑하는 학습된 매핑으로 Universal Gaussian Head-Avatar Prior를 확장하여, STEER를 사실적인(photorealistic) 아바타 파이프라인에 통합한다. 이를 통해 기본 아바타 모델을 재학습하지 않고도 고품질 Gaussian 헤드 아바타의 제어 가능한 애니메이션이 가능해진다. STEER는 모션 품질, 역학(dynamics), 다양성에서 최근 대화형 모션 베이스라인을 능가하고, 상대 결합(partner coupling)에서는 경쟁력을 유지하며, 시선, 머리 리듬, 감정 편집과 대화형 실시간 배포를 함께 가능하게 한다. 코드와 데이터셋 주석은 웹페이지에서 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.