Hierarchical Long-term Video Prediction without Supervision
원문 초록
Much of recent research has been devoted to video prediction and generation, yet most of the previous works have demonstrated only limited success in generating videos on short-term horizons. The hierarchical video prediction method by Villegas et al. (2017) is an example of a state-of-the-art method for long-term video prediction, but their method is limited because it requires ground truth annotation of high-level structures (e.g., human joint landmarks) at training time. Our network encodes the input frame, predicts a high-level encoding into the future, and then a decoder with access to the first frame produces the predicted image from the predicted encoding. The decoder also produces a mask that outlines the predicted foreground object (e.g., person) as a by-product. Unlike Villegas et al. (2017), we develop a novel training method that jointly trains the encoder, the predictor, and the decoder together without highlevel supervision; we further improve upon this by using an adversarial loss in the feature space to train the predictor. Our method can predict about 20 seconds into the future and provides better results compared to Denton and Fergus (2018) and Finn et al. (2016) on the Human 3.6M dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.
TEDDY: ICD 코드화 진단 이력 기반 소아 위험 조기 예측 파운데이션 모델
TEDDY: A Pediatric Foundation Model for Risk Forewarning from ICD-Coded Diagnostic Histories
소아 전자 건강 기록(EHR)은 발달 단계에 따라 구조화된 임상 궤적을 담고 있지만, 생성형 헬스케어 파운데이션 모델 관점에서 그 잠재력은 아직 거의 탐색되지 않았다. 본 연구에서는 TEDDY(Temporal Event Decoder for Disease in Youth)를 제안한다. TEDDY는 단일 소아 의료 기관의 160만 명 아동으로부터 수집한 약 7,300만 건의 ICD-10 진단 데이터로 학습한 184만 매개변수 디코더 트랜스포머이다. TEDDY는 종단적 진단 궤적과 내원 시점을 모델링한다. 예측은 내원 코드가 공개되기 전에 수행했으며, 최초 발생 사례로 한정했고, 성별 및 연령이 매칭된 대조군과 비교하여 평가했다. 16개 ICD-10 장(chapter)에 걸친 797개 질병 발병 예측 과제에서 TEDDY는 중앙값 AUC 72.0%를 달성했으며, 동일 데이터 기반 DenseNet(50.0%), CNN(57.2%), RNN(60.1%), LSTM(62.7%) 베이스라인을 96-99%의 과제에서 능가했다. 성능은 성별과 연령 전반에서 유지되었고, 유병률이 낮은 진단에서 가장 두드러졌다. 가장 희귀한 225개 질환 중 202개(90%)에서 95% 신뢰구간이 우연 수준을 상회했다. 예측 신호는 최초 기록된 진단보다 2년 이상 앞서서도 탐지 가능했으며, 제한 없는 분석에서 중앙값 AUC 59.7%, 고정 코호트 민감도 분석에서 64.4%였다. 천식 및 주의력결핍/과잉행동장애(ADHD) 벤치마크에서 AUC는 각각 79.3%와 84.7%였고, 매개변수 규모가 3자릿수 더 큰 범용 언어 모델을 포함한 최강 비교 모델의 62.7%와 71.7%를 상회했다. 내원 시점 예측은 365일에 걸친 제한 평균 생존시간(restricted mean survival time) 오차의 평균 절대값이 3.0일이었으나, 중앙값 및 장꼬리(long-tail) 재내원 간격은 여전히 보정되지 않았다. 이 결과들은 종합하여, 소아 진단 이력이 인구 규모 데이터나 수십억 매개변수 모델 없이도 광범위하고 희귀 질환 및 장기 예측 위험 예측을 지원하는 소형 생성 모델의 기반이 될 수 있음을 보여준다.
Physics-Informed Deep Neural Networks for Transient Electromagnetic Analysis
GRIP: Graph-based Interaction-aware Trajectory Prediction
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
Z-Order Recurrent Neural Networks for Video Prediction
토론
이 논문과 연결된 포럼 글이 아직 없습니다.