PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.24799v1cs.CV

OrbitForge: Text-to-3D Scene Generation via Reconstruction-Anchored Video Synthesis

Generic text-to-video models can be used as rich open-world scene priors. Despite the high quality of today's generated videos, they do not directly yield reliable 3D assets: camera motion is difficult to control, view coverage is partial, and frames often contain inconsistencies across time. We introduce OrbitForge, an adapter built from frozen video priors and per-prompt Gaussian Splatting reconstruction optimization that converts a single text-generated video into a canonical closed-orbit 3D Gaussian Splatting scene. We use 3D reconstruction as an anchor to improve the 3D consistency of the generated video. We obtain a preliminary 3D reconstruction from a first generated video via Deformable Gaussian Splatting with a robust MedianGS proxy. We render views from a prescribed orbit to detect missing viewpoints. OrbitForge uses the text-to-video model to complete only the missing views, and reconstructs the completed orbit into a final Gaussian Splatting scene. This design requires no task-specific video or multiview fine-tuning, avoids per-prompt score-distillation optimization, and does not progressively generate views one step at a time. We further argue that this setting demands coverage-aware evaluation: local smoothness alone rewards methods that never attempt a full orbit. On a frozen 300-prompt T3Bench-derived audit, OrbitForge reconstruction attains a 359.0-degree measured median span, raises originally unsupported-bin Q10 ImageReward from 8.07 to 16.36 relative to MedianGS-only reconstruction, while remaining competitive with VideoMV on the coverage-quality.

arXiv:2606.24336v1cs.CV

TIGER: 고품질 얼굴 영상 복원을 위한 정체성, 기하학, 생성 사전 정보의 통합 제어

TIGER: Taming Identity, Geometry, and Generative Priors for High-Quality Face Video Restoration

얼굴 영상 복원(FVR)은 열화된 입력으로부터 고충실도의 얼굴 영상을 복원하면서 프레임 간 정체성 및 의미적 일관성을 유지하는 것을 목표로 한다. 기존 방법들은 정체성 변화, 시점에 얽힌 가이던스, 지각적 사실성이라는 세 가지 핵심 과제를 동시에 해결하는 데 어려움을 겪는다. 이러한 문제를 해결하기 위해, 우리는 고품질 FVR을 위해 정체성(Identity), 기하학(Geometry), 생성 사전 정보(Generative Prior)를 통합 제어하는 구조화된 삼중 사전 정보 융합 프레임워크인 TIGER를 제안한다. 구체적으로, 먼저 피사체 식별 임베딩을 잠재 공간에 주입하여 정체성 사전 정보(Identity Prior)를 구축함으로써, 심각한 열화 상황에서도 피사체의 정체성을 효과적으로 고정한다. 다음으로, 동적 영상에 대한 시간적으로 일관된 구조적 가이던스를 제공하기 위해, TIGER는 2D 참조 단서를 분리된 3D 매개변수 공간으로 투영하여 기하학 사전 정보(Geometry Prior)를 구성하고, 교차 소스 매개변수 융합을 통해 기하학적 앵커를 생성한다. 또한, 사실성을 저해하지 않으면서 최대 효율을 달성하기 위해, 단일 단계 정류 흐름(one-step rectified flow)을 통해 영상 생성 모델의 생성 사전 정보(Generative Prior)를 활용한다. 아울러, 구조적 충실도, 텍스처 재구성, 분포 수준의 사실성을 단계적으로 정제하는 점진적 3단계 학습 최적화 전략을 설계하여 견고한 최적화를 보장한다. 강건한 학습과 표준화된 평가를 촉진하기 위해 대규모 FVR 데이터셋도 구축하였다. 광범위한 실험을 통해 TIGER가 정체성 충실도와 시간적 안정성 모두에서 최첨단 성능을 달성하며, 고품질의 효율적이고 정체성 일관된 FVR을 제공함을 입증한다. 프로젝트 페이지: https://yzhoulv.github.io/Tiger/.

arXiv:2606.24256v1cs.CV

시각적 세계 모델링 평가의 롱테일 문제 해소

Trimming the Long-Tail of Visual World Modeling Evaluation

물리적 상호작용은 롱테일 분포를 따른다. 흔하고 규칙적인 상호작용 집합이 인간의 경험과 시각 데이터를 지배하는 반면, 드물고 비정형적인 상호작용의 넓은 스펙트럼은 충분히 표현되지 않는다. 이미지 및 비디오 생성 모델을 포함한 최근의 시각적 세계 모델들이 기존 벤치마크에서 인상적인 사실성을 달성하고 있지만, 이들은 주로 일반적인 물리적 상호작용을 시뮬레이션하는 데 초점을 맞추고 있다. 이는 핵심적인 질문을 제기한다: 현재의 시각적 세계 모델은 물리적 원리를 내재화하고 일반화하는가? 본 연구에서는 세계 모델이 비정형적인 물리적 상호작용을 시뮬레이션하도록 도전하는 벤치마크인 Tailor-Bench를 소개한다. 체계적인 평가를 가능하게 하기 위해, 모델 추론을 점진적으로 도전하는 세 가지 시나리오 모드를 설계하였다: Regular 시나리오는 일반적인 도구-작업 쌍을 반영하고, Unconventional 시나리오는 어포던스(affordance) 일반화를 테스트하기 위해 속성 호환 대체물로 기존 도구를 교체하며, Impossible 시나리오는 제약 인식을 탐색하기 위해 속성 위반 도구를 도입한다. 또한 통일된 평가 프로토콜 하에 두 가지 상호 보완적인 설정을 설계하였다: 예측적 생성은 안내 없이 결과를 추론하도록 요구하고, 기술적 생성은 충실한 실현을 위해 목표 결과를 명시한다. 실험 결과는 물리적 세계 모델링에서 명확한 롱테일 격차를 드러낸다: Regular에서 Unconventional, Impossible 시나리오로 갈수록 성능이 저하되어, 일반적인 상호작용을 넘어선 일반화가 제한적임을 보여준다. 실패 분석은 모델들이 피상적인 시각 패턴에 의존함을 추가로 보여준다: 이미지 모델은 올바른 상태 변화를 실현하지 못하고, 비디오 모델은 추가적으로 시간적 비일관성 문제를 겪는다.

arXiv:2606.24107v1cs.CV

DramaDirector: 기하학 기반 단막극 생성

DramaDirector: Geometry-Guided Short Drama Generation

단막극은 빠른 샷 리듬, 대화 중심의 초점 전환, 까다로운 촬영학적 그라운딩으로 인해 프롬프트 수준 또는 텍스트 전용 비디오 생성 파이프라인이 충족하기 어려운 과제를 제시한다. 우리는 플롯-투-단막극 생성을 연구하며, 전역 플롯과 지역 컨텍스트를 시각적으로 그라운딩된 멀티샷 비디오로 변환한다. 우리는 DramaDirector를 제안한다. 이는 기하학 기반 프레임워크로, 플래너가 깊이(depth)와 포즈(pose)로 인덱싱된 실제 단막극 샷 갤러리에서 촬영학적 기하학 정보를 차용할 수 있게 한다. DramaDirector는 각 샷을 정적 시각 조건과 동적 내러티브 조건으로 분리하고, 학습된 텍스트-시각 정렬 보상 하에서 스키마 제약 SFT 및 GRPO로 플래너를 학습시키며, 깊이-포즈 레퍼런스를 검색하여 첫 프레임 생성 및 이미지-투-비디오 합성을 안내한다. 또한 35편의 실사 드라마, 2,800개의 에피소드, 81,000개의 샷으로 구성된 벤치마크 DramaBoard를 도입하며, 구조화된 스토리보드와 다차원 평가 프로토콜을 포함한다. 실험 결과, DramaDirector는 충실도(faithfulness), 일관성(consistency), 제어 가능성(controllability) 측면에서 대표적인 멀티 에이전트 및 비디오 생성 기준선을 상회하는 성능을 보인다. 코드는 https://github.com/iLearn-Lab/DramaDirector 에서 공개되어 있다.

arXiv:2606.22371v2eess.IV

ZeroGVC: 자기회귀 확산 사전을 활용한 제로샷 생성적 비디오 압축

ZeroGVC: Zero-Shot Generative Video Compression with Autoregressive Diffusion Priors

최근 생성적 비디오 압축 방법들은 강력한 생성 사전(generative prior)을 활용하여 지각적으로 우수한 복원 결과를 달성하고 있다. 그러나 대부분의 기존 접근법은 생성 모델이 압축 표현으로부터 현실적인 복원 결과를 생성하도록 적응시키기 위해 추가적인 학습을 필요로 한다. 본 논문에서는 저지연 비디오 복원을 위해 사전학습된 자기회귀 확산 사전(autoregressive diffusion prior)을 활용하는 제로샷 생성적 비디오 압축 프레임워크인 ZeroGVC를 제안한다. ZeroGVC는 각 픽처 그룹(GOP)의 첫 번째 프레임을 이미지 코덱으로 인코딩하고, 이후의 P-프레임은 코드북 유도 자기회귀 잠재 압축(Codebook-Guided Autoregressive Latent Compression)을 통해 표현한다. 이 설계는 노이즈 제거 확산 코드북 모델의 압축 방식이 소수 스텝 일관성 샘플링(few-step consistency sampling)에 효과적이라는 관찰에서 비롯된다. 재현 가능한 코드북 노이즈 벡터의 압축적인 조합을 선택함으로써, ZeroGVC는 잠재 노이즈 제거 궤적을 목표 P-프레임 방향으로 유도하는 동시에, 디코더가 소수의 노이즈 제거 스텝만으로 동일한 궤적을 재현할 수 있도록 한다. 또한, 추가적인 비트율 오버헤드 없이 다음 I-프레임 컨텍스트를 활용하여 오류 전파를 완화하는 선택적 양방향 참조 모드를 설계하였다. 표준 비디오 압축 벤치마크에 대한 광범위한 실험을 통해, ZeroGVC가 추가 학습 없이도 초저 비트율에서 우수한 지각적 복원 품질을 달성함을 입증한다.

arXiv:2606.18478v2cs.CV

Data-Forcing Distillation: Few-Step Video Generation에서 다양성과 충실도 복원

Data-Forcing Distillation: Restoring Diversity and Fidelity in Few-Step Video Generation

최근 연구는 다단계 비디오 디퓨전 모델을 효율적인 소수 단계(few-step) 학생 모델로 증류하는 데 있어 유망한 결과를 보여주었습니다. 그중 Distribution Matching Distillation (DMD)와 그 후속작인 DMD2는 우수한 생성 품질과 빠른 수렴을 달성했습니다. 그러나 역 Kullback--Leibler (KL) 목적함수의 특성상, 이러한 방법들은 샘플 다양성의 현저한 감소와 실제 비디오 외관에서 벗어난 눈에 띄는 과포화(over-saturated) 출력이라는 두 가지 지속적인 실패 모드를 보입니다. 본 연구에서는 단 한 줄의 코드 변경만으로 DMD의 다양성과 충실도를 복원하는 간단한 사후 학습(post-training) 프레임워크인 Data-Forcing Distillation (DFD)를 제안합니다. 이 방법의 핵심은 학생 모델을 실제 데이터 분포로 유도하는 교사 점수 불일치(teacher score discrepancy)로, 학생 모델을 누락된 모드로 끌어당겨 모드 붕괴(mode collapse)를 완화하고 실제 데이터에 없는 문제가 되는 모드에서 멀어지게 하여 과포화를 방지합니다. 우리는 프레임워크에 대한 심층적인 이론적 분석을 제공하고 텍스트-투-비디오(text-to-video), 이미지-투-비디오(image-to-video), 자기회귀 비디오 생성에서 우리의 접근 방식을 검증합니다. 단 100~300단계의 파인튜닝만으로 DFD는 Wan2.1-1.3B 및 Cosmos-Predict2.5-2B 모델 모두에서 다양성과 충실도를 효과적으로 복원하며, 비디오 역학과 외관을 훨씬 더 우수하게 만들어 과포화 아티팩트를 해결하고 교사 모델(teacher model)보다도 뛰어난 성능을 보입니다.

arXiv:2606.11129v2cs.CV

WorldOlympiad: 당신의 월드 모델은 트라이애슬론을 통과할 수 있는가?

WorldOlympiad: Can Your World Model Survive a Triathlon?

우리는 물리적 충실성(physical faithfulness), 기하학적 일관성(geometric consistency), 상호작용 충실도(interaction fidelity)를 기준으로 비디오 기반 월드 모델을 진단하는 벤치마크인 WorldOlympiad를 소개한다. 기존 벤치마크들은 시각적 품질, 의미론적 정렬, 또는 단기 시간적 일관성에 초점을 맞추는 경우가 많아, 생성된 비디오가 물리 법칙을 따르는지, 일관된 3D 구조를 유지하는지, 그리고 장기(long-horizon)에 걸쳐 제어 가능한 상호작용을 지속하는지에 대한 통찰을 충분히 제공하지 못한다. 이 문제를 해결하기 위해 WorldOlympiad는 월드 모델 평가를 세 가지 상호 보완적인 차원으로 분해한다. 물리 트랙은 객체 분할(object segmentation)과 MLLM-as-judge를 활용하여 생성된 비디오가 역학(mechanics), 열 현상(thermal phenomena), 재료 특성(material properties)에 관한 해석 가능한 규칙을 따르는지 평가한다. 기하학 트랙은 생성된 비디오를 가우시안 스플래팅(Gaussian splatting)으로 재구성하고 구조적 일관성, 교차 시점(cross-view) 일관성, 카메라 궤적 정렬을 평가한다. 상호작용 트랙은 생성된 롤아웃(rollout)이 복잡한 액션 프롬프트를 따르고 연속적인 비디오 청크 전반에 걸쳐 부드럽고 일관된 전환을 유지하는지 평가한다. WorldOlympiad는 게임(gaming), 로보틱스(robotics), 일반 실세계 비디오를 포함한 세 가지 주요 다운스트림 시나리오를 추가로 다루며, 인터랙티브 제어 및 체화된 조작(embodied manipulation)부터 오픈 도메인 모션 및 카메라 다이나믹스까지 다양한 과제를 포괄한다. 이러한 트랙과 시나리오들은 함께 일반적인 비디오 품질을 넘어선 실패 모드를 드러내는 확장 가능하고 해석 가능한 평가 스위트를 구성한다. 최신(state-of-the-art) 모델들에 대한 실험은 물리적 추론, 3D 일관성, 장기 상호작용에서 상당한 격차를 드러내며, 생성형 월드 모델에 대한 더 구조화된 평가 프로토콜의 필요성을 강조한다.

arXiv:2606.05896v2cs.CV

공명하는 마음들: 마음 이론을 갖춘 폐쇄 루프 소셜 아바타

Resonant Minds: Closed-Loop Social Avatars with Theory of Mind

진정한 사회적 지능을 갖춘 실감나는 디지털 휴먼을 만들려면 인지 추론과 멀티모달 생성을 일관된 프레임워크 안에서 통합해야 한다. 현재 접근법들은 이를 별개의 과제로 다룬다: 대규모 언어 모델(LLM)은 대화에서 뛰어나지만 구현된 표현이 부족하고, 확산 기반 토킹 헤드 모델은 시각적 충실도를 달성하지만 사회적 인지를 무시한다. 이 격차를 해소하기 위해, 우리는 지각, 사회적 추론, 표현을 연속적인 상호작용 사이클로 통합하는 폐쇄 루프 이중 에이전트 프레임워크를 제안한다. 지각 모듈은 비디오에서 파트너의 멀티모달 행동을 분석하고, 사회적 추론 모듈은 마음 이론(Theory of Mind)을 통해 숨겨진 정신 상태를 추론하며 앙상블 메커니즘을 통해 응답을 선택한다. 표현 모듈은 화자의 발화 및 표정과 청자의 반응적 행동을 공동으로 합성하는 감정 제어 가능한 비디오를 생성하며, 이전 연구에서는 포착하지 못했던 양방향 역학을 담아낸다. 우리는 또한 정보 비대칭 하에서의 평가를 지원하기 위해 심리학적으로 근거한 페르소나와 사적 사회적 목표를 갖춘 계층적 Persona-Scenario 데이터셋을 구축한다. 이 데이터셋에 대한 실험은 대화 품질과 비디오 생성 지표 모두에서 경쟁력 있거나 우수한 성능을 보여준다. 특히, 우리의 방법은 주요 대화 품질 차원에서 완전한 정보를 갖는 Script 모드마저 능가하며, 이는 불확실성 하에서의 명시적 정신 상태 추론이 무제한적인 정보 접근보다 더 사려 깊은 대화를 이끌어낼 수 있음을 시사한다. 프로젝트 페이지: https://resonantminds.github.io/

arXiv:2606.02800v4cs.CV

Cosmos 3: 물리적 AI를 위한 옴니모달 월드 모델

Cosmos 3: Omnimodal World Models for Physical AI

우리는 통합된 혼합 트랜스포머(mixture-of-transformers) 아키텍처 내에서 언어, 이미지, 비디오, 오디오 및 행동 시퀀스를 공동으로 처리하고 생성하도록 설계된 옴니모달 월드 모델(omnimodal world models) 패밀리인 Cosmos 3를 소개합니다. 고도로 유연한 입력-출력(input-output) 구성을 지원함으로써, Cosmos 3는 물리적 AI(Physical AI)를 위한 핵심 모달리티(modalities)를 매끄럽게 통합하여 비전-언어 모델(vision-language models), 비디오 생성기(video generators), 월드 시뮬레이터(world simulators), 및 월드-액션 모델(world-action models)을 단일 프레임워크로 효과적으로 아우릅니다. 우리의 평가 결과는 Cosmos 3가 다양한 이해 및 생성 작업에서 새로운 최첨단(SOTA) 기록을 수립함을 보여주며, 이는 옴니모달 월드 모델이 임베디드 에이전트(embodied agents)를 위한 확장 가능하고 범용적인 백본(backbone)이 될 수 있음을 입증합니다. 사후학습(post-trained)된 우리의 Cosmos 3 모델들은 본 기술 보고서 작성 시점에 Artificial Analysis로부터 최고의 오픈 소스 텍스트-투-이미지(Text-to-Image) 및 이미지-투-비디오(Image-to-Video) 모델로, 그리고 RoboArena로부터 최고의 정책 모델(policy model)로 순위를 매겨졌습니다. 물리적 AI(Physical AI) 분야의 오픈 연구와 배포를 가속화하기 위해, 우리는 리눅스 재단의 OpenMDW-1.1 라이선스 하에 우리의 코드, 모델 체크포인트(model checkpoints), 큐레이팅된 합성 데이터셋(curated synthetic datasets), 그리고 평가 벤치마크(evaluation benchmark)를 https://github.com/nvidia/cosmos 및 https://huggingface.co/collections/nvidia/cosmos3에서 공개합니다. 프로젝트 웹사이트는 https://research.nvidia.com/labs/cosmos-lab/cosmos3에서 확인할 수 있습니다.

arXiv:2606.24636v1cs.AI

CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning

Cinematographic captioning aims to describe how a video is filmed using professional film-language concepts such as camera movement, shot size, depth of field, composition, and shooting angle. This capability is important for fine-grained video understanding and controllable movie-quality video generation, yet remains underexplored in existing multimodal large language models. Unlike question-answering-based evaluation of cinematic understanding, cinematographic captioning requires a unified open-form description over multiple cinematographic dimensions. This task is challenging for two main reasons: the model must infer professional cinematographic concepts from subtle visual evidence, and it must generate captions that are both comprehensive and accurate. Accordingly, we propose CineCap, a framework that combines structured reasoning with spatio-temporal anchors and reinforcement learning with comprehensiveness, accuracy, and gated coverage rewards. The former grounds professional cinematographic descriptions in explicit visual evidence and organizes them into compact atomic reasoning for supervised fine-tuning, while the latter improves the balance between descriptive completeness and factual correctness. In addition, we construct CineCap Bench, a benchmark of 472 manually annotated video-caption pairs for systematic evaluation. Extensive experiments show that CineCap consistently outperforms strong proprietary and open-source baselines, establishing a new state of the art for cinematographic captioning. The code, model checkpoint, and benchmark are publicly available in https://github.com/Hectormxy/CineCap.git.

arXiv:2606.24369v1cs.AI

Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation

Reinforcement learning (RL) has become a dominant post-training paradigm, driving the emergence of high-performance RL systems such as veRL for autoregressive large language models (LLMs). In parallel, diffusion-oriented RL algorithms, e.g., DanceGRPO and FlowGRPO, have rapidly expanded the scope of RL from language reasoning to diffusion-based visual and flow-based generation. However, efficient RL systems for diffusion generative LLMs remain underexplored. Existing implementations, e.g., veRL-Omni, still rely on colocated execution, which simplifies synchronization but couples rollout and training resources, limits heterogeneous deployment, and constrains independent scaling. To this end, we introduce DigenRL, a disaggregated RL framework for diffusion-based generative LLMs that supports flexible resource allocation, accommodates heterogeneous GPUs, and facilitates efficient task scheduling. To maximally reduce the execution bubbles in the disaggregated architecture, we propose: 1) a generation-axis pipeline (GAP) and time-step parallelism (TSP) in the diffusion architecture to enable finer-grained pipelining between rollout and training; 2) an elastic trainer-assisted generation (TAG) approach to enable the trainer GPU resources to dynamically assist in executing rollout generations; and 3) a tightly one-step constrained asynchronous strategy to further utilize the tail bubble in the pipeline. Extensive experiments are conducted on three hardware testbeds with 16-32 GPUs using HunyuanVideo-13B, Wan2.1-14B, FLUX.1-12B, and QwenImage-20B generative models. Experimental results show that DigenRL achieves 1.56-2.10x throughput improvements over state-of-the-art diffusion RL systems, veRL-Omni and GenRL.

arXiv:2606.24196v1cs.AI

Navigating User Behavior toward Personalized Multimodal Generation

Modern AIGC pipelines deliver high-fidelity images and videos but presuppose a well-formed creation instruction, while end users rarely articulate visual details, leaving generators misaligned with user demand. We study personalized content generation, which turns a user's interaction history into an executable instruction for downstream synthesis, and identify two obstacles: behavior must be encoded in a form legible to language reasoning, and the model must acquire instruction-writing skill absent from both pretraining and behavior data. We propose NaviGen, which represents each item with a dual identifier coupling a collaborative code and a textual code as a behavioral substrate and a semantic bridge in one token stream. On this representation, a two-stage SFT+RL pipeline first distills preference reasoning and instruction writing from evolutionarily searched supervision, then aligns generation with user intent through hierarchical and self-consistent rewards. Experiments across product, game, and short-video domains show that NaviGen improves personalized image and video generation, strengthens next-item prediction, and yields more specific, relevant, and visually generatable instructions. Our code is anonymously released at: https://github.com/iLearn-Lab/NaviGen.

arXiv:2606.22752v1cs.LG

경로 의존적 물리장 생성 모델링을 위한 원스텝 플로우 매칭

One-Step Flow Matching for Generative Modeling of Path-Dependent Physical Fields

복잡한 기하 형상과 경로 의존적 구성 모델을 갖는 물리 시뮬레이션은 막대한 계산 비용으로 인해 어려움에 직면한다. 최근 이미지 및 영상 합성 작업에서 성과를 거둔 생성형 AI 모델의 등장은 시뮬레이션을 더욱 개선할 가능성을 제시했다. U-Net 기반 노이즈 제거 확산 확률 모델(denoising diffusion probabilistic models, DDPM)은 탄성 응력장 생성에 채택되었지만, 일반적으로 수백 번의 샘플링 단계가 필요하며, 생성 모델을 경로 의존적(예: 소성) 응력장에 적용한 사례는 매우 제한적이다. 본 연구에서는 확률적 하중-하중 해제 경로와 기하 형상을 갖는 고해상도 경로 의존적 응력장 생성을 위해 트랜스포머 백본 기반의 새로운 플로우 매칭(flow matching, FM) 모델을 제안한다. 제안 모델은 변분 오토인코더(variational autoencoder, VAE)의 잠재 공간(latent space)에서 동작하며, 소성장 시뮬레이션을 영상 합성 작업으로 공식화하여 모든 시간 단계에 걸친 응력장을 직접 생성한다. 한편, 학습 중 조건부 수송 경로 간 교차를 줄이도록 플로우 매칭을 위한 비가우스 소스 분포를 설계했다. 이를 통해 본 모델은 지식 증류(distillation)에 의존하지 않고도 단일 단계로 만족스러운 샘플을 생성할 수 있다. 또한 경로 의존적 시뮬레이션에서 모델 성능을 더욱 향상시키기 위해 토큰 수준의 하중 임베딩(loading embedding)과 두 개의 보조 네트워크를 도입했다. 결과는 제한된 학습 데이터셋으로도 본 모델이 고해상도 경로 의존적 장(field)을 정확하게 생성할 수 있음을 보여준다. 유한요소법(finite element analysis, FEM)보다 계산 효율이 훨씬 높으며, CPU에서는 FEM 대비 6~7배, 소비자급 GPU에서는 약 두 자릿수(orders of magnitude)의 속도 향상을 제공한다.

arXiv:2606.21337v1cs.LG

DataClaw0: 원시 스트림으로부터 에이전트적 멀티모달 데이터 맞춤화

DataClaw0: Agentic Tailoring Multimodal Data from Raw Streams

대규모 비구조화 멀티모달 스트림은 높은 "데이터 엔트로피(data entropy)"로 인해 효율적인 인간의 지식 습득과 고품질 AI 사후 학습 모두를 저해한다. 휴리스틱 규칙이나 일반 VLM(vision-language model)에 크게 의존하는 기존의 수동적 주석 패러다임은 비용이 많이 들고 단조로우며, 원시 데이터에 내재된 깊은 절차적 논리를 끌어내는 데 실패한다. 우리는 데이터 처리를 학습 가능한 역량으로 격상시키고, 다양한 사용자 및 하류 의도에 맞게 데이터를 능동적으로 정제하고 구조화하는 에이전트 기반 데이터 맞춤화(Agentic Data Tailoring)로의 패러다임 전환을 제안한다. 이러한 고차원 역량을 학습할 때의 데이터 부족 병목을 극복하기 위해, 결정론적 사실 앵커(Factual Anchors)에 생성적 의미 합성(generative semantic synthesis)을 기반으로 하는 2단계 파이프라인을 설계하여, 5개 핵심 물리 및 디지털 도메인에 걸친 대규모 데이터셋을 구축했다. 이를 바탕으로 $\text{DataClaw}_0$-9B 모델은 지도 미세조정(SFT)과 그룹 상대 정책 최적화(GRPO)를 시너지적으로 결합하여, 복잡한 정제 및 맞춤화 의도와의 견고한 정렬(alignment)을 달성한다. 이 역량을 체계적으로 정량화하기 위해, 데이터 정제에 특화된 최초의 벤치마크인 $\text{DataClaw}_0$-val을 구축했다. 결정적으로, 우리는 하류 사후 학습을 최종 검증의 기준으로 채택한다. 영상 생성, 실세계 VQA, GUI 내비게이션에 대한 평가는 $\text{DataClaw}_0$가 고정보 밀도의 맞춤형 데이터를 제공하여, 제한된 학습 데이터 환경에서 새로운 과제에 대한 효율적인 모델 적응을 촉진함을 확인한다. 프로젝트 페이지: https://czjdsg.github.io/MakeAnyData

arXiv:2606.22959v1cs.AI

확산 기반 수어 생성을 위한 잠재 포즈 표현에서 VAE 설계의 영향

The Impact of VAE Design on Latent Pose Representations for Diffusion-based Sign Language Production

수어 생성(SLP)을 위한 잠재 확산 접근법은 수어 포즈 시퀀스의 인코딩을 학습하는 초기 단계에 의존하며, 이를 통해 결과적 잠재 공간에서 생성 모델링을 가능하게 한다. 이 단계에서 사용되는 오토인코더는 일반적으로 SLP에서 흔히 쓰이는 기하학적 지표를 통해 재구성 품질 측면에서 평가된다. 유용하긴 하지만, 이러한 지표는 하류 생성 모델의 학습과 성능에 영향을 줄 수 있는 잠재 공간 특성을 완전히 포착하지는 못한다. 본 연구에서는 수어 포즈 인코딩을 위한 변분 자동인코더(VAE)의 아키텍처 및 학습 목표 설계 선택이 잠재 공간 구조에 어떤 영향을 미치는지, 그리고 이러한 차이가 텍스트-수어 생성을 위한 잠재 확산 모델의 성능으로 어떻게 이어지는지 조사한다. Phoenix14T 데이터셋에 대한 실험에서, 역번역(back-translation) BLEU 점수로 측정한 생성 성능의 변동은 때로 VAE 재구성 정확도만으로는 설명하기 어렵고, 잠재 공간 특성의 차이로 더 잘 설명될 수 있음을 보여준다.

arXiv:2606.22726v1cs.AI

텍스트가 지시하고, 음악이 장식한다: 편집 가능한 댄스 모션 생성을 위한 에너지 기반 어텐션

Text Dictates, Music Decorates: Energy-based Attention for Editable Dance Motion Generation

안무적 모션 생성은 AI에게 복잡하고 시간적으로 구조화되며 표현력 있는 전신 역학에 대한 정밀한 의미론적 제어를 요구하는 독특한 과제를 제시한다. 기존 모델은 음악으로부터 모션을 합성할 수 있지만, 대부분 블랙박스로 남아 있다. 반면 텍스트와 음악 모두로 생성을 조건화하려는 시도는 흔히 모달리티 붕괴(modality collapse)를 초래하는데, 여기서 dense한 음향 리듬이 sparse한 의미론적 텍스트 프롬프트를 압도하여 사용자 제어 가능성을 파괴한다. 이 공간-시간적 충돌을 해결하기 위해, 우리는 모달리티 분리 확산 트랜스포머인 STREAM(Structural-Temporal Rhythmic Energy-based Attention for Motion)을 제안한다. STREAM은 조건화 경로를 엄격히 분리한다: 전역 텍스트 의미론은 적응형 층 정규화(AdaLN)를 통해 운동학적 구조를 지시하고, 새로운 이중 모달 에너지 기반 어텐션 모듈(BEAM)은 이러한 특징을 의미론을 덮어쓰지 않고 음악적 박자로 전달한다. 우리는 또한 기존 Motorica 데이터셋의 도메인 특화 댄스 어휘와 프레임 수준 의미론 주석으로 보강한 새로 구성한 데이터셋 Motorica++를 소개한다. 추가로, 제로샷(zero-shot) 편집 가능성을 엄밀하게 정량화하기 위해 Exchange Evaluation Protocol과 Editable Dance Score(EDS)를 제안한다. 광범위한 실험을 통해 STREAM은 안무 의미론을 완벽하게 보존하면서 모션과 음악 간 최고 수준의 정렬을 달성하여, AI를 단순한 반응적 합성기가 아니라 예술적 연출을 위한 제어 가능하고 협력적인 파트너로 자리매김한다. 소스 코드와 데이터셋은 https://github.com/SeongJong-Yoo/STREAM에서 이용 가능하다.

arXiv:2606.22363v1cs.AI

월드 모델 기반 비디오 생성에서 물리적 일관성의 참조 없는 평가

Reference-Free Assessment of Physical Consistency in World Model-based Video Generation

생성된 비디오의 물리적 일관성을 평가하기 위한 참조 없는 측도를 제안하며, 충실도 평가를 위해 상대적·절대적 접근을 결합한다. WorldGym이나 WorldEval 같은 도구는 비디오 생성을 통해 로봇 시뮬레이션을 가능하게 하지만, 물리적 충실도 격차로 인해 이러한 환경이 비전-언어-행동(VLA) 모델의 실세계 태스크 성공률을 정확히 재현하지 못하는 경우가 많다. 비용이 많이 드는 인간 투표(Elo)나 이용 불가능한 정답(ground-truth) 참조(FVD)를 요구하는 기존 평가 방법과 달리, 본 접근법은 WorldScore에서 영감을 받아 DROID-SLAM과 SEA-RAFT를 활용하여 물리적 불일치를 정량화한다. 상대적 일관성 평가를 사용해 필터링한 비디오는 태스크 성공률이 8% 이상 개선되어, 시뮬레이션-현실(sim-to-real) 격차를 효과적으로 줄인다. 또한 절대적 평가는 시공간(spatio-temporal) 국소화를 가능하게 하여, 물리적 아티팩트가 언제 어디서 발생하는지 시각화할 수 있다.

arXiv:2606.22835v1cs.CV

OrthoMotion: 기하-의미 직교 어텐션을 통한 카메라와 피사체 움직임 분리

OrthoMotion:Disentangling Camera and Subject Motion via Geometry Semantics Orthogonal Attention

제어 가능한 비디오 생성은 카메라와 피사체를 독립적으로 제어할 수 있어야 하지만, 2D 조건화는 둘을 얽게 만든다. 카메라와 객체에 의해 유발된 광류(optical flow)는 동일한 역깊이(1/Z) 스케일링을 공유하며, 이미지 증거만으로는 분리할 수 없다. 우리는 먼저 이러한 얽힘은 구조적이 아니라 표현상의 문제임을 — 2D 카메라/객체 분리가 식별 불가능한 역문제라는 점을 통해 — 증명하고, 따라서 분리 문제를 연산자 설계의 문제로 재구성한다. 이를 어텐션 연산자 수준에서 해결한다. OrthoMotion은 카메라 움직임을 기하 채널 — 로터리 위치 임베딩(RoPE) 위상의 노름 보존 회전 — 으로, 피사체 움직임을 의미 채널 — 교차 어텐션에서의 게이트된 값 주입 — 으로 라우팅한다. 이 하위 연산자들은 대수적으로 상보적 — 토큰에 대한 아핀 작용의 회전 대 변환 — 이므로, 경량 분리 정규화项가 두 응답 부공간의 직교성을 확실히 유도하여 두 제어가 서로 간섭하지 않게 한다. 우리가 아는 한 OrthoMotion은 분리가 창발적으로 나타나기를 기대하는 대신 설계상 보장하는 최초의 방법이다. 새로운 Cross-Talk Error(CTE) 지표로 교차 간섭(cross-talk)을 정량화하면서, 교차 간섭을 2.4배 이상 줄이고 충실도 저하 없이 카메라와 피사체 정확도 모두에서 최신(state-of-the-art) 수준을 달성하며, 다양한 백본(backbone)에 일반화된다.

arXiv:2606.22806v1cs.CV

Policy-as-Data: 시뮬레이션 물리로부터 일반화 가능한 HOI 확산 모델 학습

Policy-as-Data: Learning Generalizable HOI Diffusion Models from Simulated Physics

현실적인 인간-물체 상호작용(HOI) 합성은 체화된 아바타와 기능적인 가상 환경을 만드는 데 핵심적이다. 그러나 현재 데이터 기반 접근법은 주로 모션 캡처(motion capture) 데이터셋에 의존하며, 이는 확장에 비용이 크고 기능적 다양성이 제한적이다. 이러한 데이터셋으로 학습된 모델은 보이지 않은 객체에 일반화하지 못하고 긴 시간 구간(long horizon)에 걸쳐 물리적 일관성을 유지하지 못한다. 본 논문에서는 HOI 생성의 데이터 부족 병목을 극복하기 위해 물리 시뮬레이터를 활용하는 새로운 프레임워크를 제안한다. 구체적으로, 물리 시뮬레이터에서 강화학습으로 학습된 정책을 활용해 과제 지향적 데이터 생성을 수행하고, 증강된 데이터셋 위에서 생성 모델을 학습하여 일반화 가능한 HOI 생성을 달성하는 확장 가능한 파이프라인 Policy-as-Data를 제안한다. 합성 데이터를 원활히 활용하기 위해, 물리 시뮬레이터에서 사용되는 단순화된 모델과 생성 학습에 필요한 표준 파라미터 신체 모델 간의 표현 차이를 연결하는 coarse-to-fine 리타게팅(retargeting) 과정을 도입한다. 포괄적 실험을 통해 검증한 결과, 제안 방법은 보이지 않은 객체에 대한 향상된 일반화와 장기간 생성 능력을 보여 주며, 더 큰 동적 다양성과 물리적 타당성을 나타낸다.

arXiv:2606.22550v1cs.CV

자기회귀 시각 모델을 위한 학습 없는 의미 교정

Training-Free Semantic Correction for Autoregressive Visual Models

next-scale prediction에 기반한 자기회귀 시각 모델(AVM)은 이미지 및 비디오 합성의 두드러진 패러다임으로 부상했다. 그러나 AVM에서 생성 과정을 서로 다른 세분성을 갖는 이산적 스케일로 분해하면 의미적 오류를 식별하고 교정하기 어려워져 최종 출력의 품질을 훼손한다. AVM을 향상시키려는 기존 노력은 학습 기반과 학습 없는 접근으로 분류할 수 있다. 학습 기반 접근은 AVM 생성 품질 향상에 상당한 계산 비용이 들지만, 기존 학습 없는 방법은 중간 생성 상태를 간과하여 의미적 오류가 진단되지 않은 채 최종 출력에 누적되도록 한다. 본 논문에서는 학습 없는 패러다임에 초점을 맞추고, 생성 중 의미 교정을 위해 다중모달 대규모 언어 모델(MLLM) 피드백을 AVM 샘플링 루프에 통합하는 프레임워크인 Gazer를 제안한다. 구체적으로 Gazer는 두 단계가 협력하여 동작한다. Reflective Diagnosis 단계는 중간 상태에서 의미적 오류를 진단하고, Semantic Correction 단계는 생성 궤적을 되감아 교정하여 목표 프롬프트와 다시 정렬한다. 구성적(compositional) 이미지 및 비디오 벤치마크上的 실험은 Gazer가 추가 학습 없이 여러 AVM에서 의미 정렬과 구성적 정확도를 향상시킴을 보여준다.