arXiv:2610.01052v1 cs.CV

비디오 생성에서 동적 피사체 집합에 대한 피사체 일관성을 향하여

Towards Subject Consistency over Dynamic Subject Sets in Video Generation

Tongcheng Zhang, Jun Zhu, Jianfei Chen

제출 2026-10-01

저자 비고

arXiv Comments

Project website: https://dynsc-paper.pages.dev/

한국어 초록

본 논문에서는 비디오 생성이 더 긴 시간으로 확장됨에 따라, 피사체 일관성(subject consistency)을 동적 피사체 집합(dynamic subject sets) 상에서 평가해야 한다고 주장합니다. 이에 따라 적격한 피사체들의 가시적 수명 동안 이들을 동적으로 추적하고, 불일치 이벤트를 명시적으로 감지하며 상호 보완적인 6개의 객체 수준 지표를 사용하여 국소적 연속성과 전역적 정체성 보존을 측정하는 평가 프레임워크인 DynSC-Eval을 소개합니다. 유효성을 검증하기 위해 불일치 이벤트를 능동적으로 주입하는 합성 실험을 설계하여, DynSC-Eval의 민감도와 기존 지표들의 한계를 모두 입증합니다. 5초, 15초, 60초 비디오 생성에 대해 다양한 모델을 평가한 결과, 기존 지표로는 가려졌던 상당한 피사체 일관성 차이가 더욱 명확히 드러났습니다. 평가를 넘어, DynSC-Eval로부터 보상을 구축하고 자율주행 테스트베드에서 DiffusionNFT 사후 학습(post-training)을 적용합니다. 5초 생성에서 본 접근 방식은 6개의 불일치 지표를 Wan-2.1-1.3B의 경우 평균 13.82%, SANA-2B의 경우 5.66% 감소시켰으며, I2V 모델인 ReSim에서도 개선이 관찰되었습니다. 정성적 비교를 통해서도 제안 방법의 효과를 추가로 입증합니다. 이후 커리큘럼 학습(curriculum learning)을 통해 생성을 10초 및 30초로 확장하고, 다른 기능들을 대체로 보존하면서도 일관성 최적화가 여전히 유효함을 보여줍니다.

원문 초록

We argue that as video generation extends to longer durations, subject consistency should be evaluated over \textit{dynamic subject sets}. We therefore introduce \textbf{DynSC-Eval}, an evaluation framework that dynamically tracks eligible subjects throughout their visible lifespans and measures local continuity and global identity preservation using six complementary object-level metrics, with explicit detection of inconsistency events. To validate its effectiveness, we design synthetic experiments that actively inject inconsistency events, demonstrating both the sensitivity of DynSC-Eval and the limitations of existing metrics. Evaluations of diverse models on 5s, 15s, and 60s video generation further reveal substantial subject consistency differences that are obscured by conventional metrics. Beyond evaluation, we construct rewards from DynSC-Eval and apply DiffusionNFT post-training in an autonomous-driving testbed. On 5s generation, our approach reduces the six inconsistency metrics by an average of 13.82\% for Wan-2.1-1.3B and 5.66\% for SANA-2B, with improvements also observed on the I2V model ReSim. Qualitative comparisons further demonstrate the effectiveness of our method. We then extend generation to 10s and 30s through curriculum learning and show that consistency optimization remains effective while largely preserving other capabilities.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01052v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13412v1cs.CV공통 태그 Benchmarking, Video Generation

TextVBench: 비디오 생성에서 텍스트 렌더링과 보존 평가

TextVBench: Evaluating Text Rendering and Preservation in Video Generation

현대의 비디오 생성 모델은 설득력 있는 장면을 합성하면서도 일부 문자를 잘못 렌더링하거나, 요청된 텍스트를 생략하거나, 프레임 간에 텍스트를 변경하는 경우가 있다. 이러한 실패를 측정하는 것은 각 프레임에 독립적으로 OCR을 적용하는 것보다 어려운데, 장면에 여러 텍스트 대상과 여러 노이즈가 섞인 OCR 영역이 포함된 경우 평가자는 먼저 어떤 관측 결과가 어떤 의도된 텍스트에 속하는지 결정해야 하기 때문이다. 우리는 시각적 텍스트 평가를 다중 대상, 다중 인스턴스의 시공간적 대응 문제로 정식화한 벤치마크 및 평가 프레임워크인 TextVBench를 소개한다. TextVBench는 두 개의 상호 보완적인 트랙으로 구성된다: TextVBench-T2V는 프롬프트(prompt)로 지정된 텍스트의 생성과 유지를 측정하며, TextVBench-Ref2V는 참조 이미지로부터의 텍스트 보존을 측정한다. 두 트랙 모두 제약이 없는 VLM 전사(transcription) 대신 대상 조건화된 후보 선택 방식을 사용하고, 하나의 대상이 여러 OCR 영역에 매핑되는 것을 지원하며, 프레임 수준의 공간적 충실도와 프레임 간 시간적 충실도를 분리한다. 길이 가중 조화 점수(length-weighted harmonic score)가 이러한 요소들을 종합하며, 추가 텍스트(extra-text) 진단은 단일 OCR 점수로는 드러나지 않는 실패 모드를 노출한다. 이 벤치마크는 통제된 텍스트, 레이아웃, 캐리어, 모션 속성을 중심으로 구성되어 있어, 종합 점수를 특정 역량 한계로 추적할 수 있다. 평가된 모델(model) 실행 전반에서 MiniMax-H3는 T2V TextVScore 68.32를 달성했으며, 가장 높은 Ref2V 점수는 56.51이었다. 속성별 분석에서는 동시에 존재하는 참조 텍스트 영역의 수가 증가할수록 점수가 두드러지게 하락하는 것으로 나타났다.

arXiv:2610.13781v1cs.CV공통 태그 Autonomous Driving, Video Generation

SimVTA: 주행 월드 액션 모델을 위한 시뮬레이션 기반 비디오-경로 정렬

SimVTA: Simulation-Grounded Video-Trajectory Alignment for Driving World Action Models

주행 월드 액션 모델(WAM)은 짝지어진 경로와 미래 관측값으로부터 학습(training)합니다. 강화학습(reinforcement learning)을 통한 사후 학습(post-training)을 활용하면 정책이 대안 경로를 탐색하고 주행 보상(reward)을 사용하여 플래닝을 개선할 수 있습니다. 그러나 주행 로그에는 기록된 경로에 대한 미래 비디오만 포함되어 있어, 이러한 대안 경로에는 상응하는 시각적 감독이 결여됩니다. 이에 따라 본 논문에서는 경로 최적화와 비디오 감독을 결합한 시뮬레이션 기반 사후 학습 프레임워크인 SimVTA를 제안합니다. 먼저, 각 관측값에 대해 후보 경로를 샘플링하고 실제 세계 시뮬레이터(예: World Engine)를 사용하여 3D 가우시안 스플래팅(3DGS)으로 재구성된 실제 환경에서 높은 보상을 얻은 후보의 미래 비디오를 렌더링합니다. 이는 모델(model) 자체의 예측과 독립적인 경로 맞춤형 감독을 제공합니다. 제한된 렌더링 예산 하에서, 렌더링된 후보 중 오차가 더 큰 미래에 대해 비디오 감독의 우선순위를 부여합니다. 마지막으로, GRPO(Group Relative Policy Optimization)를 통해 경로 플래닝을 최적화하고 일치된 비디오에 대한 플로우 매칭(flow-matching) 손실(loss)을 적용하여 공유 표현을 업데이트합니다. 추론(inference) 시점에 모델은 시뮬레이터 호출 없이 직접 경로를 예측합니다. NAVSIM v1에서 WAM 초기화(initialization)에 SimVTA를 적용했을 때 PDMS가 86.2에서 91.3으로 향상되었습니다(+5.1). 또한 NAVSIM v2에서 88.2 EPDMS를 달성하고 HUGSIM의 폐루프(closed-loop) 평가에서 평균 38.8의 HD-Score를 기록했습니다. 절제 연구(ablation study)에 따르면 비디오 감독으로 공유 표현을 업데이트하는 것이 플래닝 성능을 향상시키며, 높은 보상을 받는 경로 중 오차가 큰 미래를 우선시함으로써 성능이 더욱 향상됨을 보여줍니다.

arXiv:2610.13891v1cs.CV공통 태그 Autonomous Driving, Benchmarking

눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.

arXiv:2610.06339v2cs.CV공통 태그 Benchmarking, Video Generation

BabelFake: 다국어 시청각 딥페이크 벤치마크

BabelFake: A Multilingual Audio-Visual DeepFake Benchmark

신뢰성 있고 실용적인 시청각 딥페이크(DeepFake) 탐지를 위해서는 다양한 언어적 맥락과 함께 오디오 및 시각적 조작을 위한 현대적 데이터 합성 파이프라인을 반영한 벤치마크(benchmark)가 필요합니다. 그러나 기존 데이터셋(dataset)은 주로 영어 화자의 영상에 치우쳐 있거나 구식 조작 방식을 포함하는 경우가 많으며, 오디오 모달리티를 간과하기도 합니다. 또한 많은 데이터셋이 딥페이크 제작에 동의하지 않은 개인을 포함하고 있습니다. 본 연구에서는 동의한 참가자들을 대상으로 녹화된 다국어 시청각 딥페이크 벤치마크인 BabelFake를 소개합니다. BabelFake는 5개 언어(영어, 독일어, 이탈리아어, 프랑스어, 스페인어)에 걸친 496명의 개인으로부터 수집된 39만 9천 개의 클립(1,323시간)을 포함합니다. 본 연구의 모듈형 데이터 생성 파이프라인은 11가지 최신 비디오 조작 기법과 4가지 음성 복제 엔진을 결합하여, 시각 전용 조작(얼굴 교체)과 시청각 결합 조작(립싱크 및 인물 애니메이션)을 구분합니다. 최첨단 탐지기들을 벤치마킹함으로써, 탐지 난이도가 시청각 생성 조합 방식에 따라 달라지며 원본 오디오가 보존될 때 성능이 크게 저하됨을 보입니다. 언어/인구통계학적 교차 평가(evaluation)를 통해 탐지기 아키텍처 및 학습(training) 데이터에 따라 민감도가 달라짐을 밝혔으며, 인간 평가를 통해 인지된 사실성과 기계 탐지 난이도가 반드시 일치하지는 않음을 확인했습니다.

arXiv:2610.02726v1cs.CV공통 태그 Autonomous Driving, Video Generation

SymRegFlow: 비디오 월드 모델을 위한 대칭 정규화 플로우 매칭

SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models

플로우 매칭(flow matching) 기반 다중 시점 월드 모델은 사실적인 비디오를 생성하지만, 일반적으로 고정된 카메라 리그(rig)로 제한됩니다. 이를 연속적으로 변화하는 카메라 포즈로 확장하려면 포즈 범위가 조밀한 쌍을 이룬 포즈-비디오 관측 데이터가 필요하며, 이는 획득 비용이 큽니다. 본 연구에서는 정답 신규 시점 RGB 지도 없이도 연속적인 시점 전반에서 다중 시점 일관성을 갖춘 비디오를 생성하는 대칭 정규화 플로우 매칭 프레임워크인 SymRegFlow를 소개합니다. SymRegFlow는 각 대상 포즈에 대해 소스 시점을 기하학적으로 워핑하여 노이즈가 포함된 앵커(anchor)로 변환하고, 마스킹된 듀얼 앵커 지도와 앵커 간 디노이징 출력 일관성을 결합하여 앵커 고유의 오차를 완화합니다. 아핀 가우시안 대리 모델 하에서, 적절한 일관성 정규화(regularization)가 고정된 노이즈 수준에서 깨끗한 참조 최적값을 복원하여 단일 및 병합 앵커 기준선(baseline)을 확실히 능가함을 증명합니다. Cosmos-Drive-Dreams 및 nuScenes에 대한 실험은 고품질의 다중 시점 일관성을 지닌 자율주행 비디오 생성을 입증합니다. nuScenes에서 SymRegFlow는 평가된 기준선 중 가장 낮은 FVD 및 FVMD를 달성하여 최고 기준선 대비 FVD를 31% 이상 줄였으며, 소스 조건부 추론(inference)에서도 최고의 FID 및 인스턴스 보존 성능을 달성했습니다.

arXiv:2610.03632v1cs.CV공통 태그 Benchmarking, Video Generation

월드 임베딩 벤치마크

World Embedding Benchmark

월드 모델과 비디오 생성에서 물리적 충실도(physical fidelity)에 대한 관심이 높아지고 있으나, 비디오 표현이 물리적 정보를 어떻게 인코딩하는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 유체역학, 고체역학, 동역학, 광학 및 전자기학에 걸친 80개 계열의 8,000개 제어 시뮬레이션 케이스로 구성된 월드 임베딩 벤치마크(World Embedding Benchmark)를 소개합니다. 각 케이스는 렌더링된 비디오와 시뮬레이션 기반 물리 어노테이션이 쌍을 이루며, 텍스트-비디오 검색, 물리적 특성 회귀, 다지선다형 비디오-설명 쌍 분류라는 세 가지 상호보완적 태스크를 지원합니다. 본 연구는 이러한 태스크를 활용하여 교차 모달 물리 정렬과 정량적 물리 정보의 복원 가능성을 구분하여 분석합니다. 사전학습된 옴니모달 임베딩 모델들을 평가한 결과, 검색 성능이 낮고 동일 계열 내 쌍 분류는 무작위 추정 수준에 가까웠으나, 경량 프로브는 동결된 비디오 임베딩으로부터 유용한 물리 정보를 복원해 냈습니다. 물리 특화 비디오-텍스트 쌍을 활용한 지속적 대조 학습(continual contrastive training)은 검색과 쌍 분류 성능을 향상시켰지만 물리적 특성 회귀 성능을 저하시켜, 정렬과 정량적 정보 복원 가능성 간의 트레이드오프를 드러냈습니다. 마지막으로, 해당 임베딩을 활용해 MiniMax-H3 기반 검색-증강 생성(RAG)을 위한 참조 비디오를 검색했습니다. 검색된 참조 비디오는 생성된 비디오의 물리적 충실도를 향상시켰으며, 본 실험에서 더 우수한 검색 모델일수록 더 큰 향상을 보였습니다. 종합적으로 이러한 결과는 물리적 정렬과 특성 복원 가능성을 함께 평가해야 할 필요성을 강조하며, 비디오 생성을 개선하기 위한 물리적 표현의 유용성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.