arXiv:2209.07143

HARP: Autoregressive Latent Video Prediction with High-Fidelity Image Generator

Younggyo Seo, Kimin Lee, Fangchen Liu, Stephen James, Pieter Abbeel

제출 2022-09-15

원문 초록

Video prediction is an important yet challenging problem; burdened with the tasks of generating future frames and learning environment dynamics. Recently, autoregressive latent video models have proved to be a powerful video prediction tool, by separating the video prediction into two sub-problems: pre-training an image generator model, followed by learning an autoregressive prediction model in the latent space of the image generator. However, successfully generating high-fidelity and high-resolution videos has yet to be seen. In this work, we investigate how to train an autoregressive latent video prediction model capable of predicting high-fidelity future frames with minimal modification to existing models, and produce high-resolution (256x256) videos. Specifically, we scale up prior models by employing a high-fidelity image generator (VQ-GAN) with a causal transformer model, and introduce additional techniques of top-k sampling and data augmentation to further improve video prediction quality. Despite the simplicity, the proposed method achieves competitive performance to state-of-the-art approaches on standard video prediction benchmarks with fewer parameters, and enables high-resolution video prediction on complex and large-scale datasets. Videos are available at https://sites.google.com/view/harp-videos/home.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24193v1cs.CV공통 태그 Data Augmentation, Prediction

안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크

Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction

보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.

arXiv:2607.09751v1cs.AI공통 태그 Data Augmentation, Prediction

농업 예측 작업에서 머신러닝 성능 향상을 위한 작업 조건부 합성 데이터 생성

Task-Conditioned Synthetic Data Generation for Improving Machine Learning Performance in Agricultural Prediction Tasks

머신러닝(ML) 알고리즘은 다양한 맥락에서 농업 변수를 추정하는 데 널리 활용되어 왔다. 그러나 학습 데이터의 양과 질이 ML 알고리즘의 성능에 큰 영향을 미치기 때문에, 참조 데이터가 부족하거나 불완전한 경우 그 활용이 제한될 수 있다. 합성 데이터 생성(SDG)은 원본 데이터의 주요 특성을 보존하는 인공적이지만 현실적인 샘플을 생성함으로써 이 문제를 해결하는 실용적인 접근법을 제공한다. 본 연구는 교사-학생 지식 증류(knowledge transfer)와 표 형식 데이터에 대한 문맥 내 학습(ICL)을 기반으로, 베이지안 네트워크 생성기와 트랜스포머 기반 표 형식 파운데이션 모델(TabICL)을 결합한 작업 조건부 SDG(TCSDG) 알고리즘을 제안한다. 제안된 알고리즘은 작물 수확량 예측과 작물 유형 분류(classification)의 두 가지 농업 예측 작업에서 평가되었다. 또한 6가지 벤치마크 SDG 알고리즘을 활용하여 TCSDG와의 성능을 비교하였다. 12개 연구 지점, 2가지 학습(training) 데이터 비율, 4가지 증배 비율, 3가지 예측 ML 알고리즘에 걸쳐, 원본 데이터에 TCSDG 생성 합성 데이터를 증강하면 작물 유형 분류 실험의 89%, 작물 수확량 예측 실험의 74%에서 ML 성능이 향상되었다. TCSDG는 벤치마크 SDG 알고리즘들을 크게 능가했으며, 집계 수준에서 두 작업 모두에 걸쳐 일관되게 ML 성능을 향상시킨 유일한 방법이었다. 본 연구는 신중하게 설계되고 처리된 합성 데이터가 정밀 농업(precision-agriculture) 응용 분야에서 ML 성능을 향상시킬 수 있음을 입증한다. TCSDG는 농업 ML 예측의 다운스트림 작업을 지원하는 합성 데이터를 생성하기 위한 실용적이고 확장 가능한 프레임워크를 제공한다. TCSDG의 전체 구현은 https://github.com/HamidEbrahimy/TCSDG 에서 오픈 소스로 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.