arXiv:2001.02606

Do As I Do: Transferring Human Motion and Appearance between Monocular Videos with Spatial and Temporal Constraints

Thiago L. Gomes, Renato Martins, João Ferreira, Erickson R. Nascimento

제출 2020-01-08

원문 초록

Creating plausible virtual actors from images of real actors remains one of the key challenges in computer vision and computer graphics. Marker-less human motion estimation and shape modeling from images in the wild bring this challenge to the fore. Although the recent advances on view synthesis and image-to-image translation, currently available formulations are limited to transfer solely style and do not take into account the character's motion and shape, which are by nature intermingled to produce plausible human forms. In this paper, we propose a unifying formulation for transferring appearance and retargeting human motion from monocular videos that regards all these aspects. Our method synthesizes new videos of people in a different context where they were initially recorded. Differently from recent appearance transferring methods, our approach takes into account body shape, appearance, and motion constraints. The evaluation is performed with several experiments using publicly available real videos containing hard conditions. Our method is able to transfer both human motion and appearance outperforming state-of-the-art methods, while preserving specific features of the motion that must be maintained (e.g., feet touching the floor, hands touching a particular object) and holding the best visual quality and appearance metrics such as Structural Similarity (SSIM) and Learned Perceptual Image Patch Similarity (LPIPS).

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2601.04785v2cs.CV공통 태그 Image-to-Image Translation, SSIM

SRUG: 의료 영상 변환을 위한 융합 기반 생성기 네트워크

SRUG: A Fusion-Driven Generator Network for Medical Image Translation

MRI 시퀀스 합성은 환자 고유의 해부학적 구조를 보존하면서 결측된 영상 대비를 복원하는 것을 목표로 합니다. 생성 메커니즘의 선택은 최적화(optimization)뿐만 아니라 소스 정보가 합성된 영상에 전달되는 방식 모두에 영향을 미칩니다. 본 연구에서는 쌍을 이루는(paired) MRI 합성을 위해 결정론적 소스-타깃 매핑을 학습하는 지도형 독립 융합 기반 생성기인 SRUG를 제안합니다. 이 모델의 직접 재구성 정식화는 생성기-판별기 간 경쟁을 제거하며, 변분 잠재 샘플링이나 반복적인 확산(diffusion) 디노이징을 필요로 하지 않습니다. 이러한 정식화 내에서 구조적 충실도를 지원하기 위해, SRUG는 풀 해상도 합성곱 스템, 풀링(pooling)으로 분리된 특징 단계, 잔차 브랜치에 임베딩된 채널 재보정을 갖추고 영상 재구성에 맞게 조정된 잔차 인코더를 사용합니다. 중첩 다중 스케일 디코더(NMD)는 결과 공간 특징들을 반복적으로 융합하고 단일 출력 헤드를 통해 타깃 시퀀스를 예측합니다. L1 손실(loss)과 다중 스케일 구조적 손실(MSS loss)이 예측을 공동으로 지도하여, 직접 생성 목표를 해부학적 세부 정보 복원과 연결합니다. BraTS 2023 데이터셋에 대한 실험은 세 가지 MRI 변환 태스크 전반에서 경쟁력 있는 재구성 충실도와 구조적 일관성을 보여줍니다. 아키텍처 절제 연구는 동일한 생성기 프레임워크 내에서 채널 재보정, NMD, 구조적 지도의 효과를 평가합니다. IXI 데이터셋에 대한 추가 평가는 또 다른 데이터셋 및 모달리티 쌍에 대한 적용 가능성을 뒷받침하며, BraTS 2019에 대한 제로샷(zero-shot) 테스트는 데이터셋 간 전이 가능성에 대한 예비적 증거를 제공합니다. 이러한 결과는 조정된 인코딩 및 재구성 경로가 구조 보존의 기초를 제공함으로써 직접 지도 생성이 쌍을 이루는 MRI 시퀀스 합성에 실용적인 접근법임을 뒷받침합니다. SRUG 구현체는 https://github.com/RisingRich/SRUG 에서 공개되어 있습니다.

arXiv:2505.06668v2cs.CV공통 태그 Image-to-Image Translation, Motion Estimation

StableMotion: 확산 사전 기반 원스텝 모션 추정

StableMotion: One-Step Motion Estimation with Diffusion Prior

본 논문은 사전학습된 대규모 이미지 확산 모델의 기하학적·콘텐츠 사전(prior)을 활용하여 Stitched Image Rectangling(SIR) 및 Rolling Shutter Correction(RSC)과 같은 단일 이미지 보정(rectification) 작업에서 모션 추정을 수행하는 새로운 프레임워크 StableMotion을 제안한다. 구체적으로 StableMotion은 텍스트-이미지 Stable Diffusion(SD) 모델을 백본으로 사용하고 이를 이미지-모션 추정기로 재구성한다. 확산 모델이 생성하는 불일관한 출력을 완화하기 위해, 여러 출력을 응집력 있는 고품질 결과로 통합하는 Adaptive Ensemble Strategy(AES)를 제안한다. 또한 샘플링 스텝 수를 늘리면 오히려 결과가 나빠질 수 있는 역설적 현상인 Sampling Steps Disaster(SSD)를 제시하고, 이는 원스텝 추론 설계의 동기가 된다. StableMotion은 두 가지 이미지 보정 작업에서 평가되었으며 두 작업 모두에서 최신(state-of-the-art) 성능을 달성했고, 보지 못한 SIR-OOD 및 실제 촬영 RSC 벤치마크에 대한 정성적 예시와 무참조(no-reference) 평가를 통해 유망한 전이 가능성도 보여준다. SSD에 힘입어 StableMotion은 효율적인 원스텝 추론을 달성하며, 선택적 AES 후처리와 함께 사용하더라도 이전 확산 모델 기반 방법 대비 100× 이상의 속도 향상을 제공한다. 코드와 가중치는 https://github.com/ivowang/StableMotion 에서 제공된다.

arXiv:2606.27671v1cs.CV공통 태그 Image-to-Image Translation, SSIM

도시 전자기장 지도 예측을 위한 다중 모달 조건 고해상도 트랜스포머

Multi-Modal Conditioned High-Resolution Transformer for Urban Electromagnetic Field Map Prediction Download PDF

도시 환경에서 전자기장(EMF) 강도를 예측하는 것은 셀룰러 네트워크 계획에 필수적이지만, 물리 기반 시뮬레이터를 사용하면 계산 비용이 크다. 건물 배치 이미지와 안테나 구성으로부터 500×500 EMF 지도를 생성하는 다중 조건 밀집 예측 프레임워크를 제안한다. 우리 아키텍처는 고해상도 트랜스포머(HRFormer) 백본을 사용하며, 두 가지 상보적 조건화 메커니즘을 갖는다. Feature-wise Linear Modulation(FiLM)은 스칼라 안테나 매개변수를 모든 백본 단계에 주입하고, 크로스 어텐션(cross-attention)은 가장 깊은 단계에서 1차원 방사 패턴 토큰과 공간 특징을 융합한다. 또한 안테나로부터의 거리, 근접성, 방위를 인코딩하는 송신기 상대 공간 채널을 도입하여, 좌표 일관 test-time augmentation(TTA)을 가능하게 하고 이를 통해 테스트 MAE를 6.3% 감소시킨다. EMF 지도 전반에 걸친 예측 난이도 불균형을 해결하기 위해, 마스크 L1, 다중 스케일 구조적 유사성(MS-SSIM), 고신호 픽셀에 가중치를 부여하는 focal L1 항을 결합한 복합 손실을 설계하여 모든 지표에서 개별 손실 구성 요소보다 우수한 성능을 달성한다. 최고 성능 모델은 테스트 MAE 0.0461을 달성하여, 단순 UNet 기준선 대비 25.2%, HRFormer만 사용한 기준선 대비 31.8% 개선을 보인다.

arXiv:2504.06479v2cs.RO공통 태그 Motion Estimation공식 코드 · Papers with Code

Holistic Fusion: 팩터 그래프 기반 작업 및 설정에 구애받지 않는 로봇 위치 추정 및 상태 추정

Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs

도전적인 환경에서 이동 로봇의 원활한 운용을 위해서는 저지연 국소 운동 추정과 정확한 전역 위치 추정이 필요하다. 대부분의 센서 융합(sensor fusion) 접근법은 특정 시나리오를 위해 설계되지만, 본 연구는 일반성과 사용성을 특징으로 하는 작업 및 설정에 구애받지 않는 다중모달 센서 융합을 위한 유연한 오픈소스 솔루션을 제안한다. Holistic Fusion은 센서 융합을 i) 국소 및 전역 로봇 상태와 ii) (이론적으로 무제한적인 수의) 동적 변수(기준 좌표계의 자동 정렬 포함)의 결합 추정 문제로 공식화한다. 이 공식화는 개념적 수정 없이 수많은 실세계 응용에 적용 가능하며, 하드코딩된/작업 특화 접근법을 넘어서는 포괄적 솔루션을 제공한다. 제안된 팩터 그래프(factor graph) 공식화는 서로 다른 좌표계에 대해 표현된 임의 개수의 절대, 국소, 랜드마크(landmark) 측정값을 최적화(optimization)의 상태로 명시적으로 포함하고 그 진화를 랜덤 워크(random walk)로 모델링함으로써 직접 융합할 수 있게 한다. 또한 추정 점프를 방지하기 위해 국소적 평활성과 일관성에 특별한 주의를 기울인다. Holistic Fusion은 일반적인 로봇 하드웨어에서 저지연且 부드러운 온라인 상태 추정을 가능하게 하면서 동시에 IMU 측정 속도에서 저드리프트(low-drift) 전역 위치 추정을 제공한다. 공개된 이 프레임워크 [1]의 효과는 서로 다른 작업 요구사항을 갖는 세 가지 로봇 플랫폼에서 다섯 가지 실세계 시나리오를 통해 입증되며, 다양한 절대 측정 유형의 융합 이점 [2]을 강조한다. [1] 코드: https://github.com/leggedrobotics/holistic_fusion [2] 프로젝트: https://leggedrobotics.github.io/holistic_fusion

토론

이 논문과 연결된 포럼 글이 아직 없습니다.