arXiv:2607.04513v2 math.OC

라그랑주 쌍대 흐름을 통한 제약 조건 하 플로우 매칭

Constrained Flow Matching via Lagrangian Dual Flows

Vince Kurtz, Alexander Davydov

제출 2026-07-05

한국어 초록

플로우 매칭(flow matching)은 생성 모델링을 위한 강력한 도구이지만, 로보틱스, 계획(planning), 제어 분야에서 새롭게 부상하는 응용 분야들은 생성된 결과물에 대해 추론(inference) 시점의 제약 조건을 요구합니다. 이러한 제약 조건은 복잡하고 고도로 비선형적인 경우가 많습니다. 이에 따라 이미지 인페인팅과 같이 선형 제약 조건을 위해 설계된 방법들은 거의 적합하지 않으며, 사영(projection) 또는 최적화 기반 대안들은 비용이 지나치게 많이 들 수 있습니다. 본 논문에서는 라그랑주 쌍대 역학에 기반한 새로운 제약 조건 생성 기법 제품군인 라그랑주 쌍대 흐름(Lagrangian Dual Flows)을 소개합니다. 생성된 샘플과 함께 쌍대 공액 상태(dual co-state)를 흐르게 함으로써, 노이즈 제거 과정 동안 비용이 많이 드는 최적화 부분 문제나 의사역행렬, 사영 단계 없이도 비선형 제약 조건 만족을 보장할 수 있습니다. 그 결과로 얻어지는 제약 조건 생성 알고리즘은 단순하고 효과적이며, 플로우 매칭과 수치 최적화의 원시-쌍대(primal-dual) 방법 간에 새로운 이론적 연결을 열어줍니다.

원문 초록

Flow matching is a powerful tool for generative modeling, but emerging applications in robotics, planning, and control require inference-time constraints on generated outputs. Such constraints are often complex and highly nonlinear. As a result, methods designed for linear constraints like image inpainting are rarely sufficient, and projection or optimization-based alternatives can be prohibitively expensive. In this paper, we introduce Lagrangian Dual Flows, a new family of constrained generation techniques based on Lagrangian dual dynamics. By flowing a dual co-state alongside generated samples, we can guarantee nonlinear constraint satisfaction without expensive optimization subproblems, pseudoinverses, or projection steps during the denoising process. The resulting constrained generation algorithms are simple, effective, and open new theoretical connections between flow matching and primal-dual methods in numerical optimization.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.04513v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03391v2cs.CV공통 태그 Continuous Control, flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.18462v5cs.CV공통 태그 Continuous Control, Denoising

CSWAM: 월드 액션 모델에서의 분포 외 일반화를 위한 더 나은 인과적 의미 표현

CSWAM: Better Causal Semantic Representations for Out-of-Distribution Generalization in World Action Models

FastWAM 방식의 월드 액션 모델(world action model)은 효율적인 액션 전용 추론(action-only inference)을 가능하게 하지만, 시각적 분포 변화(visual distribution shift) 하에서는 일반화 성능이 떨어진다. 이러한 모델의 재구성 지향적 표현은 외형에 특화된 세부 정보를 강조하여, 보지 못한 장면과 객체에 대한 일반화를 제한한다. 관찰 이력이 없는 경우, 모델은 낯선 시각적 조건에서 과제와 관련된 상태 변화와 움직임을 견고하게 식별하기 위한 시간적 증거도 갖추지 못한다. 이러한 한계를 해결하기 위해, 우리는 V-JEPA 2.1을 기반으로 한 인과적 의미 전문가(causal semantic expert)로 FastWAM을 보강한 인과적 의미 월드 액션 모델(Causal Semantic World Action Model, CSWAM)을 제안한다. V-JEPA는 외형에 특화된 세부 정보에 대한 의존도를 낮추면서, 의미적 상태 변화와 움직임에 대해 시간적으로 근거 있는(temporally grounded) 표현을 제공한다. 이 전문가 모듈은 현재 및 과거 관찰의 희소한(sparse) 이력으로부터 그 미래 변화를 학습하며, 이력에서 도출된 맥락(context)을 인과적 어텐션(causal attention)을 통해 비디오 스트림과 액션 스트림 모두와 공유한다. 추론 시, CSWAM은 현재 비디오 상태와 관찰된 의미적 이력을 조건으로 액션 디노이징(action denoising)을 수행하여, 효율적인 액션 전용 추론을 유지한다. 우리는 분포 변화 하에서의 일반화 성능을 평가하기 위해 시뮬레이션 및 실제 로봇 실험을 수행한다. 체화된(embodied) 사전학습(pretraining)을 적용했을 때, CSWAM은 RoboTwin 2.0의 Clean-to-Randomized 전이(transfer)에서 Randomized 성공률을 10.16%에서 45.18%로 끌어올려, FastWAM 대비 35.02퍼센트포인트의 향상을 보인다. 두 가지 실제 로봇 과제와 세 가지 OOD 난이도 수준에 걸쳐, CSWAM은 FastWAM 대비 평균 성공률을 27.5%에서 70.0%로, 42.5퍼센트포인트 향상시킨다.

arXiv:2610.02554v1cs.LG공통 태그 Continuous Control, flow matching

분해된 가치 그래디언트 흐름을 통한 테스트 시점 다중 에이전트 조정

Test-time Multi-agent Coordination by Decomposed Value Gradient Flow

오프라인 다중 에이전트 강화학습(MARL)은 지속적인 트레이드오프에 직면해 있습니다. 표현력이 뛰어난 생성형 정책은 데이터의 다중 모달 조정을 표현할 수 있지만 고가치 영역을 구분하지 못하며, 가치 최적화 정책은 학습된 Q-함수를 활용하지만 다중 모달을 단일 지배 모드로 붕괴시킵니다. 단일 에이전트의 모드 붕괴는 공동 조정을 무너뜨릴 수 있고, 에이전트 전반의 동시 드리프트는 공동 정책을 행동 공간의 미확인 영역으로 밀어 넣을 수 있습니다. 본 논문에서는 테스트 시점 행동 개선을 통해 생성형 파운데이션 모델과 학습된 가치 함수를 결합한 최초의 오프라인 MARL 프레임워크인 SCOUT(Scalable Coordination via Optimal Unified Transport)를 제안합니다. SCOUT는 두 가지 분리된 구성 요소를 학습합니다: 흐름 매칭 행동 사전 분포와 분해된 가치 함수입니다. 테스트 시점에는 스타인 변분 경사하강법(Stein variational gradient descent)을 통해 행동 샘플을 고가치 영역으로 이동(transport)시킵니다. 이동 단계의 수는 적응형 테스트 시점 스케일링을 제어하여 고정된 정규화 계수를 대체합니다. 개별-글로벌-최대(IGM) 원칙 하에서, 이동이 수렴함에 따라 소멸하는 공동 소프트-가치 격차에 대한 단일 항 KL 경계를 증명하며, 이는 IGM 위반에 비례하는 줄일 수 없는 가산 잔차를 갖습니다. 실증적으로 SCOUT는 이산 및 연속 오프라인 MARL 벤치마크 전반에서 최고의 평균 성능을 달성하며 모든 오프라인-온라인 구성에서 성능 향상을 가져옵니다.

arXiv:2610.03476v1cs.RO공통 태그 Continuous Control, flow matching

MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선

MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation

장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.

arXiv:2610.02323v1cs.RO공통 태그 Continuous Control, flow matching

비전-언어-행동 모델을 위한 월드 기반 보정 제안-행동 흐름

World-Calibrated Proposal-to-Action Flow for Vision-Language-Action Models

흐름 기반 비전-언어-행동(VLA) 정책은 작업 무관 등방성 가우시안 소스로부터 샘플을 이송하여 행동 청크를 생성합니다. 이러한 소스는 최근 실행 내용이나 예측된 미래 변화 모두에 조건화되지 않기 때문에, (i) 최근 실행된 모션에 의해 확립된 국소적 연속성을 상실합니다. (ii) 예측형 월드 표현이 도입되더라도, 이는 생성이 시작되는 위치, 벗어날 수 있는 허용 범위, 또는 행동이 확장될 수 있는 방향을 결정하기보다는 이송 동역학만을 조건화하는 데 그치는 경우가 많습니다. 이러한 관찰에 착안하여, 본 연구는 생성 소스 자체를 예측 가능하게 만드는 월드 기반 보정 제안-행동(proposal-to-action) 프레임워크인 ProAct를 제안합니다. (i) 모션 연속성을 보존하기 위해, 경량 제안 전문가(Proposal Expert)는 1단계의 모션 앵커 기반 종점 흐름 매칭을 통해 최근 행동들을 장면 인지 가설로 변환함으로써 실증된 행동 다양체 근처에서 생성을 시작하도록 합니다. (ii) 의도된 장면 변화와 제안-미래 간의 호환성을 함께 포착하기 위해, 미래지향적 월드 전문가(World Expert)는 해당 가설을 연성 모션 사전분포로 취급하면서 작업 일관적인 잠재 미래를 예측합니다. (iii) 모델은 이러한 호환성으로부터 제안 중심 비등방성 소스를 보정하며, 여기서 유계된 스텝당 범위는 허용된 편차를 제어하고 조건수 예산 하의 대각합 정규화 저계수 기하는 결합된 병진, 회전, 그리퍼 방향 전반에 걸쳐 정제를 할당합니다. $\pi_{0.5}$와 비교하여, ProAct는 디노이징 스텝을 50% 줄이고 추론 지연 시간을 최대 25.8% 단축하며 처리량을 최대 34.8% 향상시키는 동시에 시뮬레이션 및 실제 환경 작업 전반에서 성능을 개선합니다.

arXiv:2610.02726v1cs.CV공통 태그 Denoising, flow matching

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.