PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02197v1cs.CV

HiPhy: 물리적으로 타당한 다중 물리 법칙 비디오 생성을 위한 계층적 정렬

HiPhy: Hierarchical Alignment for Physically-Plausible Multi-Principle Video Generation

비디오 생성 모델은 뛰어난 시각적 충실도를 달성하며 범용 월드 시뮬레이터로 발전할 강력한 잠재력을 지니고 있습니다. 이러한 발전에도 불구하고, 기존 모델들은 여전히 물리 법칙을 준수하는 비디오를 생성하는 데 실패합니다. 이 문제는 동일한 비디오 내에서 여러 물리적 원리가 복합적으로 작용해야 하는 현실적인 상황에서 더욱 두드러집니다. 예를 들어, "냄비에서 증기가 피어오르는 동안 풍선이 위로 떠오르는" 장면은 부력과 유체 역학이 동시에 일관되게 전개되어야 합니다. 그러나 기존 방법들은 비디오당 단일 원리에만 초점을 맞추며 다중 물리 법칙의 상호작용을 대체로 간과합니다. 본 논문에서는 비디오 생성을 물리 법칙에 그라운딩(grounding)하는 강화학습 프레임워크인 HiPhy(Hierarchical Physical Alignment)를 제안합니다. HiPhy는 개별 물리 법칙의 시간적 동역학을 국소적으로 강제하고, 전체 장면의 물리적 및 의미론적 일관성을 전역적으로 보장하는 이중 수준 목적 함수를 사용합니다. 다중 물리 법칙 생성을 지원하기 위해 5만 개의 프롬프트로 구성된 데이터셋을 구축하고, 동시에 발생하는 다양한 물리적 사건을 아우르는 프롬프트 벤치마크인 MultiPhyBench를 도입합니다. 실험 결과에 따르면, HiPhy는 이전 방법 및 베이스라인들을 크게 능가하며 다양한 벤치마크에서 물리적 상식과 의미론적 정렬을 대폭 향상시켰습니다. 특히 경쟁 방법들의 성능이 가장 급격히 저하되는 여러 물리 법칙이 동시에 발생하는 장면에서 가장 큰 성능 향상을 보였습니다.