PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00686v1cs.CV

SemanTok: 효율적인 자기회귀 비디오 생성을 위한 예측 가능한 시맨틱 토큰

SemanTok: Predictable Semantic Tokens for Efficient Autoregressive Video Generation

최근 비디오 기반 월드 모델은 자기회귀(AR) 예측의 확장성과 확산 모델(diffusion model)의 시각적 품질을 결합하고 있습니다. 충실도와 시맨틱 측면 모두에서 최적의 성능을 달성하려면 장면 토크나이저의 선택이 매우 중요합니다. 가변 길이의 조잡-정밀(coarse-to-fine) 토크나이저는 바로 이러한 점을 제공합니다. 즉, 초기의 대략적인 토큰들이 클립의 전역적 시맨틱을 전달하는 한편, 이후의 토큰들은 세부 사항을 추가로 구체화합니다. 기존의 가변 토크나이저는 초기 디코더 은닉 상태에 표현 정렬(REPA) 손실만을 적용하는데, 디코더는 노이즈가 추가된 입력으로부터도 이 목표를 부분적으로 충족할 수 있습니다. 본 논문에서는 동결된 DINO 특징을 인코더에 입력하고, 유지된 각 토큰 접두 문맥만으로 이를 재구성하는 경량 헤드를 추가한 가변 비디오 토크나이저인 SemanTok을 소개합니다. SemanTok은 모든 AR 모델 크기에서 높은 시맨틱 정렬과 비디오 충실도를 달성합니다. 201M 크기의 SemanTok AR 모델은 크기가 $3.4\times$에 달하는 VideoFlexTok AR 모델과 동등하거나 그 이상의 성능을 보이며, 더 큰 SemanTok AR 모델은 충실도를 더욱 향상시킵니다. 또한 분포 외(OOD) 클래스에서도 시맨틱 정렬을 유지하며, 순수 노이즈를 포함한 모든 노이즈 수준에서 디코더에 더 높은 시맨틱 정렬을 부여합니다. SemanTok은 재구성 및 생성 모두에서 우수한 성능을 발휘하며, 짧은 토큰 접두 문맥은 예측 비용이 더 저렴하면서도 픽셀 디테일을 후속 토큰으로 미룸으로써 더 우수한 생성 충실도를 제공합니다.

arXiv:2606.08674v3cs.CV

BioVid: 생물학적 행동 의미 이해를 통한 자기회귀 비디오 생성

BioVid: Autoregressive Video Generation with Biological Behavior Semantic Comprehension

생물학적 행동을 위한 비디오 생성은 시각적으로 그럴듯한 동작 이상을 요구한다: 행동의 지속 시간 자체가 의미론적 속성이다. 기존 모델들은 대개 고정된 시간 윈도우, 외부 연속, 또는 프롬프트 기반 스토리에 의존하므로, 길이가 행동으로부터 학습되는 것이 아니라 외부에서 지정된다. 이 격차를 해소하기 위해, 우리는 적응형 길이 생물학적 행동 생성을 위한 데이터 기반 자기회귀 프레임워크인 BioVid를 제안한다. BioVid는 2D 인코딩/3D 디코딩 토크나이저를 사용한다: 2차원 FSQ-R3GAN 인코더가 각 프레임을 이산 시각 토큰으로 변환하여 다음 토큰 예측 및 EOS 기반 종료에 적합한 단일 프레임 정보를 보존하고, 시간적으로 팽창되고 비디오 파인튜닝된 3차원 디코더가 생성된 토큰을 시간적 컨텍스트와 함께 재구성하여 플리커링을 줄인다. 인과적 트랜스포머가 프레임 단위 토큰 시퀀스를 모델링하고, 첫 번째 프레임만을 조건으로 하여 시퀀스 종료(End-of-Sequence) 토큰을 방출할 때 생성을 중단함으로써, 지속 시간이 학습된 행동 분포로부터 자연스럽게 결정되도록 한다. 우리는 NTU RGB+D의 A001 음료 섭취 행동에 대해 BioVid를 평가한다. 94개의 홀드아웃 클립에서 BioVid는 실제 지속 시간 분포로부터 1.24 프레임의 Wasserstein-1 거리를 달성한다. 비교를 위해, 고정 길이 베이스라인은 데이터셋 평균에 가장 근접한 가용 길이로 설정했을 때도 약 6~7 프레임의 거리를 보이며, 기존의 16프레임 생성 길이를 사용할 경우 약 15 프레임의 거리를 보인다. 이러한 결과는 BioVid가 생물학적 행동의 내재적 지속 시간 분포를 학습하고 재현하는 능력을 입증한다.