arXiv:2608.29598v1 cs.LG

하드웨어 결함에 대한 텍스트-투-비디오 디퓨전 모델의 회복력

On the Resilience of Text-to-Video Diffusion Models to Hardware Faults

Zachary Coalson, A M Aahad, Stella Doehring, Zane Ma, Sanghyun Hong

제출 2026-08-30

한국어 초록

본 연구는 무작위 하드웨어 수준 결함 하에서 텍스트-투-비디오(T2V) 디퓨전 모델의 회복력(resilience)을 최초로 체계적으로 조사한다. T2V 모델은 고품질·시간적 일관성·사실감 있는 동영상을 생성할 수 있어 자동 동영상 생성에 널리 쓰이지만, 반복적 디노이징(denoising) 과정과 시공간적 의존성으로 인해 고유한 실패 양상이 생긴다. 세 가지 T2V 모델과 대표 벤치마크에 대해 계산·메모리 결함을 모두 포함하는 광범위한 결함 주입(fault-injection) 실험을 수행했다. 결과는 (1) 단일 결함만으로 전체 성능이 최대 3.7%까지 저하될 수 있으며, 지각적(perceptual) 품질보다 의미적 정확성(semantic correctness)이 더 크게 영향받는다는 점, (2) 메모리 결함이 계산 결함보다 더 치명적이고 고차 지수(exponent) 비트가 특히 취약하며, 널리 쓰이는 bfloat16이 대안 포맷보다 더 취약하다는 점, (3) 결함의 7–28%가 객체 추가와 같은 의미적 변화를 포함한 눈에 띄는 아티팩트(artifact)를 일으켜, 단일 결함만으로도 출력 의미를 바꿀 수 있음을 시사한다는 점을 보여준다. 이는 배포된 T2V 시스템의 신뢰성 위험을 드러내며, 결함 회복력 향상을 위한 추가 연구가 필요함을 시사한다. Code: https://github.com/ztcoalson/T2V-Resilience

원문 초록

We present the first systematic study of the resilience of text-to-video (T2V) diffusion models under random hardware-level faults. While T2V models are widely used for automated video generation due to their ability to produce high-quality, temporally coherent, and realistic videos, their iterative denoising process and spatiotemporal dependencies introduce unique failure modes. We perform an extensive fault-injection study covering both computational and memory faults across three T2V models and a representative benchmark. Our results show that (1) a single fault can degrade overall performance by up to 3.7\%, with semantic correctness more affected than perceptual quality; (2) memory faults are more damaging than computational faults, high-order exponent bits are particularly vulnerable, and the widely-used bfloat16 is more susceptible than alternative formats; and (3) 7-28\% of faults cause visible artifacts, including semantic changes such as added objects, suggesting that single faults are sufficient to alter output semantics. Our findings reveal reliability risks in deployed T2V systems and motivate further research on improving fault resilience. Code: \href{https://github.com/ztcoalson/T2V-Resilience}{https://github.com/ztcoalson/T2V-Resilience}.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.29598v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.