Conditional Temporal Variational AutoEncoder for Action Video Prediction
원문 초록
To synthesize a realistic action sequence based on a single human image, it is crucial to model both motion patterns and diversity in the action video. This paper proposes an Action Conditional Temporal Variational AutoEncoder (ACT-VAE) to improve motion prediction accuracy and capture movement diversity. ACT-VAE predicts pose sequences for an action clips from a single input image. It is implemented as a deep generative model that maintains temporal coherence according to the action category with a novel temporal modeling on latent space. Further, ACT-VAE is a general action sequence prediction framework. When connected with a plug-and-play Pose-to-Image (P2I) network, ACT-VAE can synthesize image sequences. Extensive experiments bear out our approach can predict accurate pose and synthesize realistic image sequences, surpassing state-of-the-art approaches. Compared to existing methods, ACT-VAE improves model accuracy and preserves diversity.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.
인공 숙의 군중의 지혜
The Wisdom of Artificial Deliberative Crowds
많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.
RareLens: 분기하는 대규모 언어 모델 추론 정렬을 통한 종단 간 희귀질환 진료
RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning
희귀질환은 전체 인구의 추정 3.5%에서 5.9%에 영향을 미치지만, 70% 이상의 환자가 오진되며 많은 환자가 진단에 이르기까지 수년간 평가를 겪는다. 이는 초기 증상이 비특이적이고 관련 전문성이 부족하며 불균등하게 분포되어 있기 때문이다. 인공지능이 지원을 제공할 수 있지만, 기존 시스템은 진료의 고립된 단계, 주로 진단만 다룬다. 이들은 일반적으로 후속 검사 결과에 의존하며, 모델 간 변동성을 제거해야 할 노이즈로 취급한다. 여기서 우리는 이러한 변동성을 활용하여 희귀질환 전체 궤적에 걸친 임상 의사결정을 지원하는 시스템 RareLens를 제시한다. 이질적인 대규모 언어 모델들이 동일한 사례를 평가할 때, 분기하면서도 상호 보완적인 추론을 생성하며, RareLens는 이를 각 단계에서 단일한 수렴적이고 실행 가능한 결정으로 정렬하고 보정한다. 네 개의 조율된 모듈이 초진 위험 선별, 진단, 치료 계획 및 예후를 수행한다. 33개 Orphanet 카테고리 전체와 7,000개 이상의 질환에 걸친 157,525건의 실제 사례로 구성된 실세계 데이터셋 RareBench에서 개발 및 평가되었으며, RareLens는 GPT-5, DeepSeek-R1, Claude-3.7-Sonnet, Gemini-2.5-Pro를 포함한 테스트된 모든 최신 프론티어 모델을 각 단계에서 능가했다. 선별에서 0.917의 곡선 아래 면적(AUC)을, 진단과 치료에서 각각 65.5% 및 89.8%의 top-1 정확도를 달성했다. 1,287건의 사례와 23명의 의사에 걸친 외부 연구에서, 자율 RareLens와 RareLens 보조를 받은 의사 모두 무 보조 의사보다 상당히 우수한 성능을 보였다. 이러한 결과는 단일 모델의 스케일링보다 분기하는 모델 추론의 정렬이 고불확실성 임상 의사결정을 위한 일반화 가능한 전략을 제공함을 나타낸다.
ACME: 다문화, 다중 체형 사회적 내비게이션 데이터셋
ACME: A Multi-Cultural, Multi-Embodiment Social-Navigation Dataset
공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.
GRIP: Graph-based Interaction-aware Trajectory Prediction
Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.