Geometry-Based Next Frame Prediction from Monocular Video
원문 초록
We consider the problem of next frame prediction from video input. A recurrent convolutional neural network is trained to predict depth from monocular video input, which, along with the current video image and the camera trajectory, can then be used to compute the next frame. Unlike prior next-frame prediction approaches, we take advantage of the scene geometry and use the predicted depth for generating the next frame prediction. Our approach can produce rich next frame predictions which include depth information attached to each pixel. Another novel aspect of our approach is that it predicts depth from a sequence of images (e.g. in a video), rather than from a single still image. We evaluate the proposed approach on the KITTI dataset, a standard dataset for benchmarking tasks relevant to autonomous driving. The proposed method produces results which are visually and numerically superior to existing methods that directly predict the next frame. We show that the accuracy of depth prediction improves as more prior frames are considered.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리
Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection
라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.
TasteBench: 분자에서 지속 가능한 식품까지, 감각 예측을 위한 멀티모달 벤치마크
TasteBench: Multimodal Benchmark for Sensory Prediction, from Molecules to Sustainable Foods
지속 가능한 단백질 발굴에는 신약 및 소재 발굴을 가속화하는 분자 도킹이나 밀도 범함수 이론과 유사한 빠른 계산 대리 모델(proxy)이 부재합니다. 새로운 식품이 동물성 대상 식품과 비슷한 맛을 내는지 평가하려면 비용이 많이 드는 인간 관능 평가 패널이 필요하여 설계-구축-테스트 루프의 병목 현상을 초래합니다. 본 논문에서는 두 가지 과제로 구성된 감각 예측용 멀티모달 벤치마크이자 프라이버시 보존형 경진대회인 TasteBench를 소개합니다. 두 과제는 24개 제품 카테고리의 215개 식물성 식품에 대한 2만 1천 건 이상의 인간 평가를 기반으로 구축되어 카테고리 내 935개 순위 쌍을 생성하는 식품 수준 랭킹 과제와, 1만 5천 개 향미 분자를 다루는 보조적 분자 수준 맛 분류(classification) 과제입니다. 모델(model) 성능의 엄밀한 해석을 위해 본 연구에서는 정답 레이블(ground truth)의 특성을 규명했습니다. 패널 간 평가자 간 일치도는 낮았으며(Krippendorff's $α= .077$), 패널 집계 랭킹의 반분 신뢰도 상한선은 .825로 나타나 이 벤치마크에서 머신러닝 시스템을 평가해야 하는 범위를 설정했습니다. 네 가지 입력 모달리티에 걸쳐 베이스라인을 평가한 결과, 패널이 평가한 동일한 쌍에서 최고 성능 모델은 .661의 쌍별 정확도를 기록하여 개별 패널의 중앙값(.650)과 경쟁력 있는 성능을 보였고, 모든 카테고리 내 쌍에 대해서는 .683을 달성했습니다. TasteBench는 지속 가능한 단백질 발굴을 위한 계산 스크리닝의 발전을 측정할 수 있는 평가 인프라와 베이스라인을 제공합니다.
DSTIGCN: Deformable Spatial-Temporal Interaction Graph Convolution Network for Pedestrian Trajectory Prediction
Uni-DVPS: Unified Model for Depth-Aware Video Panoptic Segmentation
GRIP: Graph-based Interaction-aware Trajectory Prediction
PhaseCam3D — Learning Phase Masks for Passive Single View Depth Estimation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.