arXiv:2610.01233v1 cs.CV

동적 귀환 최적화를 통한 3D 메시 생성을 위한 플로우 매칭 강화

Flow Matching Reinforcement for 3D Mesh Generation via Dynamic Homing Optimization

Zhen Zhou, Zhiwei Ning, Puhua Jiang, Sheng Zhang, Yifei Tang, Jie Yang, Xintong Han, Wei Liu, Chunchao Guo

제출 2026-10-01

한국어 초록

플로우 매칭(Flow matching)은 3D 생성의 핵심이지만, 실제 적용되는 강화학습(RL) 방식은 대부분 2D 시각적 생성에서 차용된 것입니다. 대표적인 DPO, GRPO, NFT 스타일의 목적 함수는 네거티브 궤적(negative trajectory)에 적용될 때, 선호되는 샘플을 향한 목표 속도장을 명시적으로 지정하지 않고 예측된 속도를 해당 방향에서 멀어지도록 유도하는 데 그칩니다. 사전학습된 모델의 역량, 롤아웃 다양성, 복잡한 보상 분포의 제약을 받는 3D 생성에서는 이러한 강화학습 기법을 직접 적용할 경우 기하학적 품질 향상이 제한적입니다. 본 연구에서는 네거티브 궤적 최적화를 포지티브 샘플 유인 기반의 동적 귀환(dynamic homing) 문제로 재구성하는 순방향 프로세스 강화학습 방법인 **동적 귀환 최적화(Dynamic Homing Optimization, DHO)**를 소개합니다. 구체적으로, 최소 비용 인력 매칭(Minimum-Cost Attractive Matching, MAM)은 각 네거티브 샘플에 고유한 포지티브 대상을 할당하며, 시간 인지 동적 보정(Time-Aware Dynamic Correction, TDC)은 남은 시간을 고려한 보정 속도를 활용해 해당 궤적을 목표 방향으로 재지향합니다. 비동기 온라인 DHO를 기반으로, 이미지-3D 기하 생성 프레임워크인 **Flow3D-Pro**를 개발했습니다. 실험 결과, DHO는 3D 생성에서 대표적인 DPO, GRPO, NFT 스타일 목적 함수보다 우수한 성능을 보였으며, Flow3D-Pro는 기존 메시 생성 방법들보다 더 높은 품질의 3D 형상을 생성함을 입증했습니다.

원문 초록

Flow matching is central to 3D generation, yet in practice its reinforcement learning (RL) methods are largely adapted from 2D visual generation. Representative DPO-, GRPO-, and NFT-style objectives, when applied to negative trajectories, mainly steer predicted velocities away from the corresponding directions without explicitly specifying a target velocity field toward preferred samples. In 3D generation, constrained by pretrained model capabilities, rollout diversity, and reward-distribution complexity, directly applying these RL methods yields limited gains in geometric quality. We introduce a forward-process RL method \textbf{Dynamic Homing Optimization (DHO)}, which reformulates negative-trajectory optimization as positive-sample attraction-guided dynamic homing. Specifically, Minimum-Cost Attractive Matching (MAM) assigns each negative sample a distinct positive target, and Time-Aware Dynamic Correction (TDC) then redirects its trajectory toward the target using a remaining-time-aware corrective velocity. Building on asynchronous online DHO, we develop \textbf{Flow3D-Pro}, an image-to-3D geometry generation framework. Experiments show that DHO outperforms representative DPO-, GRPO-, and NFT-style objectives in 3D generation, while Flow3D-Pro produces higher-quality 3D geometry than existing mesh generation methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01233v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.20131v3cs.CV공통 태그 flow matching, 3d mesh generation

TriFlow: 최근접 정점 벡터 필드를 통한 아티스트 수준 3D 메쉬 토폴로지 생성

TriFlow: Generating Artist-Like 3D Mesh Topology via Nearest-Vertex Vector Fields

TriFlow를 제시한다. 이는 부호 거리 필드(signed distance field)와 같은 입력 기하 조건으로부터 아티스트 수준의 삼각형 토폴로지를 갖는 간결한 3D 메쉬를 직접 생성하는 새로운 생성적 접근법이다. 핵심 통찰은 메쉬 토폴로지를 표면 위에 정의된 최근접 정점 벡터 필드(nearest-vertex vector field, NVF)로 표현하는 것으로, 각 점은 국소 무게중심(barycentric) 좌표계에서 가장 가까운 삼각형 정점과의 연관을 인코딩한다. 입력 기하에 조건화된 토폴로지 생성을 가능하게 하기 위해 이 필드를 합성하도록 잠재 flow-matching 모델을 학습한다. 일관된 메쉬를 추출하기 위해 생성된 NVF로 표면 영역을 클러스터링하고, 토폴로지 인식 최적화가 적용된 제약 이차 오차 메트릭(quadric error metric, QEM) 메쉬 단순화를 유도한다. 이를 통해 출력 메쉬는 입력 기하와 밀접히 일치하면서 구조화된 아티스트 수준의 연결성을 갖는다. 실험 결과 TriFlow는 최신 학습 기반 접근법 대비 더 강한 일반화와 현저히 향상된 토폴로지 품질을 달성하며, Chamfer Distance는 90% 낮고 8배 속도 향상을 보인다.

arXiv:2610.03391v2cs.CV공통 태그 flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.14743v3cs.CL공통 태그 flow matching

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.