Motion Prediction via Joint Dependency Modeling in Phase Space
원문 초록
Motion prediction is a classic problem in computer vision, which aims at forecasting future motion given the observed pose sequence. Various deep learning models have been proposed, achieving state-of-the-art performance on motion prediction. However, existing methods typically focus on modeling temporal dynamics in the pose space. Unfortunately, the complicated and high dimensionality nature of human motion brings inherent challenges for dynamic context capturing. Therefore, we move away from the conventional pose based representation and present a novel approach employing a phase space trajectory representation of individual joints. Moreover, current methods tend to only consider the dependencies between physically connected joints. In this paper, we introduce a novel convolutional neural model to effectively leverage explicit prior knowledge of motion anatomy, and simultaneously capture both spatial and temporal information of joint trajectory dynamics. We then propose a global optimization module that learns the implicit relationships between individual joint features. Empirically, our method is evaluated on large-scale 3D human motion benchmark datasets (i.e., Human3.6M, CMU MoCap). These results demonstrate that our method sets the new state-of-the-art on the benchmark datasets. Our code will be available at https://github.com/Pose-Group/TEID.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.
Trans-Unet을 활용한 뇌 주름 형태 예측을 위한 고충실도 3D 포인트 클라우드 학습
Toward High-Fidelity 3D Point-Cloud Learning for Brain Folding Morphology Prediction Using Trans-Unet
3D 공간에서 고충실도 포인트 클라우드 특징을 학습하는 것은 순열 불변성, 국소 컨텍스트 부족, 세밀한 표면 재구성의 어려움, 높은 계산 비용 등 상당한 과제를 수반한다. 본 논문에서는 이러한 문제를 해결하기 위해, 먼저 3D 포인트 클라우드 데이터를 2D 그리드 영역으로 변환한 다음, 합성곱 신경망(CNN)과 셀프 어텐션(self-attention) 메커니즘을 통합한 U자형 하이브리드 모델을 사용하는 새로운 프레임워크인 Trans-Unet을 제안한다. 제안된 Trans-Unet은 사전 정의된 유한 요소법 뇌 패치 성장 모델에서 도출된 고해상도 3D 포인트 클라우드 데이터(표면 40,401개 포인트, 섬유 2,382개 포인트)로부터 정밀한 특징을 효과적으로 학습하고 재구성하여, 뇌 주름 패턴을 정확하게 예측할 수 있다. 여러 기법을 결합함으로써 Trans-Unet은 상호 보완적인 강점을 활용한다. 3D-2D 변환은 세밀한 구조 정보를 보존하면서 계산 비용과 차원의 저주를 크게 줄이고, 합성곱 블록은 계층적·저수준 국소 표현을 포착하며, 셀프 어텐션 메커니즘은 전역적·고수준 의미와 장거리 의존성을 모델링한다. 데이터셋은 대규모 유한 요소 모델로 생성된 뇌 표면 패치와 섬유 정보를 모두 포함하는 3D 포인트 클라우드로 구성된다. Trans-Unet은 초기 상태(state 0 또는 states 0-2)에서 최종 상태(state 3)까지의 뇌 표면 주름을 예측하는 데 적용된다. 실험 결과, Trans-Unet은 뇌 패치 성장에 대한 고해상도 예측을 달성하며, 충실도와 정확도 모두에서 기존 방법을 능가함을 보여준다.
클래스 비지정 모션 예측을 위한 합성-실제 변환
Synthetic-to-Real Translation for Class-Agnostic Motion Prediction
모션 이해는 자율주행 시스템의 안전성과 견고성을 보장하는 데 매우 중요하며, 이에 따라 모션 예측에 대한 관심이 높아지고 있다. 이 분야의 핵심 과제 중 하나는 실세계 모션 레이블 취득에 드는 높은 비용이다. 따라서 합성 데이터에서 실제 데이터로 모션 지식을 전이할 수 있다면 이상적일 것이다. 이러한 맥락에서 우리는 모션 예측을 위한 합성-실제 변환(SRMP)의 가능성을 탐구한다. 그러나 가장 많이 사용되는 단순한 모션 회귀 방법들은 합성-실제 도메인 시프트에 특히 민감하여 신뢰할 수 없는 지식 변환을 초래한다. 이를 해결하기 위해 우리는 두 가지 핵심 구성요소를 통합한 모션 지식 변환 프레임워크를 포함하는 새로운 접근법을 제안한다: (1) 객체성 인식 모션 예측(objectness-aware motion prediction)으로, 모션 패턴과 객체성 사전 정보(objectness priors)의 결합 분포를 명시적으로 모델링하여 도메인 불변 특징(feature) 학습을 향상시키고, (2) 객체성 보조 모션 향상(objectness-aided motion enhancement)은 학습된 객체성 사전 정보를 활용하여 모션 노이즈를 필터링하는 모션 레이블 정제 메커니즘이다. 또한, SRMP 연구를 위한 최초의 합성 4D LiDAR 데이터셋인 Motion4D를 생성하기 위한 물리 기반 파이프라인을 제시하며, 이를 통해 합성 모션 데이터셋의 부재를 해소한다. 실험 결과는 우리의 접근법이 도메인 격차를 효과적으로 좁히고 실제 장면에서 우수한 성능을 발휘함을 보여준다.
GRIP: Graph-based Interaction-aware Trajectory Prediction
모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기
All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation
비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
뼈 중첩은 흉부 X선 영상에서 이상 소견을 가릴 수 있으며, 짝지어진 학습 데이터의 부족은 지도 학습 기반 뼈 억제를 제한한다. 본 연구는 이러한 문제를 흉부 컴퓨터단층촬영(CT)을 성분 억제를 위한 짝지어진 지도 신호로 변환하는 디지털 재구성 방사선영상(DRR) 프레임워크로 해결한다. 새로운 뼈 분할 알고리즘을 통해 CT를 뼈, 폐를 제외한 연조직, 폐 성분으로 분해하고 각각을 별도로 투영한다. 이들의 가중 결합은 전체 DRR과 정확히 합산되는 픽셀 정합 성분 영상을 갖춘 합성 방사선영상을 만들어 낸다. 이러한 데이터로 학습한 모델은 대상 성분을 예측하고 나머지를 차감으로 복원하는 방식으로 뼈 또는 폐 성분을 억제하며, 실제 짝지어진 학습 데이터 없이도 실제 방사선영상으로 전이된다. 확장으로서, 실제 방사선영상에 대한 모델의 출력은 짝지어지지 않은 성분별 DRR 변환을 위한 목표 도메인을 제공하여, 해부학적 세부 구조를 유지하면서 외형 격차를 줄인다. 여러 공개 데이터셋에서 수행한 하위 검출 실험은 뼈 억제의 효용을 보여 주며, 그 이득은 뼈 중첩이 큰 이상 소견에 집중된다. 동일한 CT에 적용한 오픈소스 DRR 엔진과 비교할 때, 수정하지 않은 본 DRR은 현실감과 레이블 관련 해부 구조의 보존에서 대등한 수준을 달성하였으며, 변환된 DRR은 평가한 방법 중 가장 우수한 Fréchet inception distance(FID), 폐야 선명도, 원본 CT 해부 구조와의 일치도를 달성하였다. 모델 및 추론 코드: https://huggingface.co/qureaiorg/bone-suppression ; 변환된 투영 영상: https://huggingface.co/datasets/qureaiorg/ct2xr-projections.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.