심장초음파 영상에서 수축말기(ES)·이완말기(ED) 키프레임을 다중 뷰에 걸쳐 통합 검출하기 위해, FrameONE은 뷰 내 멀티태스크 학습과 뷰 간 일반 모션 학습(IGM)을 결합한 계층적 모션 모델링(Hierarchical Motion Modeling) 전략을 제안한다. 4개 표준 뷰의 25,872개 비디오 실험에서 기존 최고 성능 방법 대비 뛰어난 키프레임 검출 정확도와 강력한 뷰 간 일반화 성능을 달성하였다.
3D 씬 그래프(3DSG)는 환경의 기하학적·의미적 구조를 인코딩하는 계층적 다중 해상도 추상화를 제공하지만, 역학에 대한 처리는 개별 에이전트 추적 수준에 머물러 있다. 역학 지도(MoD)는 집합적 운동 패턴을 모델링하여 이를 보완하지만, 의미적 그라운딩이 부족하고 확장성이 떨어지는 균일 격자 이산화에 의존한다. 본 논문은 연속 방향 운동 모델을 계층적 3DSG의 추가 역학 층에 명시적으로 내장하여 그래프의 내비게이션 특성을 향상시키는 프레임워크인 Rheos를 제안한다. 각 역학 노드는 다중 모달 방향 흐름을 명시적 불확실성을 갖는 원칙적 확률 분포로 포착하는 semi-wrapped 가우시안 혼합 모델을 유지하며, 선행 연구에서 사용된 이산 히스토그램을 대체한다. 온라인 동작을 위해 Rheos는 제한 메모리 관측 버퍼를 위한 reservoir sampling, 셀별 병렬 모델 업데이트, 혼합 성분의 최적 개수를 선택하는 원칙적 베이지안 정보 기준(BIC) 탐색을 사용하여, 업데이트당 초기화 비용을 샘플 수에 대해 이차에서 선형으로 줄인다. 시뮬레이션된 보행자 환경에서 네 가지 공간 해상도에 걸쳐 평가한 결과, Rheos는 연속 지표뿐 아니라 불리한 이산 지표에서도 이산 기준선을 일관되게 능가한다. 구현을 오픈 소스로 공개한다.
본 조사에서는 신경 필드(neural fields), 기하학 및 모션 심층 학습(deep learning), 그리고 3D 생성형 인공지능(GenAI)의 최근 발전에 힘입어 급속도로 진화하고 있는 컴퓨터 그래픽스의 하위 분야인 4D 생성 및 재구성을 다룹니다. 본 조사가 해당 분야의 첫 번째 연구는 아니지만, 시간의 흐름에 따라 변화하며 모션과 상호작용을 나타내는 3D 기하학을 모델링한다는 독특하고 뚜렷한 4D 표현의 관점에서 영역을 다룹니다. 구체적으로, 다수의 연구를 빠짐없이 나열하는 대신 대표적인 연구에 집중하는 선택적인 접근 방식을 취하여, 다양한 연산, 응용, 및 데이터 시나리오에서 각 표현이 가진 바람직한 속성과 수반되는 과제를 모두 강조합니다. 본 조사가 독자에게 전달하고자 하는 핵심 메시지는 자신의 작업에 적합한 4D 표현을 선택하고 이를 맞춤화하는 방법에 관한 것입니다. 구조적으로 기하학, 모션, 및 상호작용이라는 세 가지 핵심 축을 기준으로 4D 표현을 분류합니다. 본 논의는 오늘날 가장 널리 사용되는 표현인 신경 방사장(NeRFs)과 3D Gaussian Splatting(3DGS)뿐만 아니라, 구조화된 모델(structured models)과 장거리 모션(long-range motions)과 같이 4D 맥락에서 상대적으로 덜 탐색된 표현에도 주목합니다. 조사 전반에 걸쳐 다양한 4D 응용 분야에서 대규모 언어 모델(LLMs)과 비디오 파운데이션 모델(VFMs)의 역할을 재조명하고, 이들의 현재 한계점 및 해결 방안에 대한 논의로 이어갑니다. 또한, 해당 하위 분야의 발전을 견인하는 데 있어 현재 이용 가능한 4D 데이터셋과 부족한 부분에 대해서도 별도로 다룹니다. 프로젝트 페이지: https://mingrui-zhao.github.io/4DRep-GMI/