arXiv:2309.11667

Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation

Krishna Kanth Nakka, Mathieu Salzmann

제출 2023-09-20

원문 초록

As 3D human pose estimation can now be achieved with very high accuracy in the supervised learning scenario, tackling the case where 3D pose annotations are not available has received increasing attention. In particular, several methods have proposed to learn image representations in a self-supervised fashion so as to disentangle the appearance information from the pose one. The methods then only need a small amount of supervised data to train a pose regressor using the pose-related latent vector as input, as it should be free of appearance information. In this paper, we carry out in-depth analysis to understand to what degree the state-of-the-art disentangled representation learning methods truly separate the appearance information from the pose one. First, we study disentanglement from the perspective of the self-supervised network, via diverse image synthesis experiments. Second, we investigate disentanglement with respect to the 3D pose regressor following an adversarial attack perspective. Specifically, we design an adversarial strategy focusing on generating natural appearance changes of the subject, and against which we could expect a disentangled network to be robust. Altogether, our analyses show that disentanglement in the three state-of-the-art disentangled representation learning frameworks if far from complete, and that their pose codes contain significant appearance information. We believe that our approach provides a valuable testbed to evaluate the degree of disentanglement of pose from appearance in self-supervised 3D human pose estimation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02567v1cs.CV공통 태그 Image Generation, Disentanglement

DAGS: 시간적으로 안정화된 생성형 렌더링을 위한 동결된 이미지 DiT의 외형 및 기하학 분리 조향

DAGS: Disentangled Appearance-and-Geometry Steering of a Frozen Image DiT for Temporally Stabilized Generative Rendering

확산 트랜스포머(DiT)는 텍스트 및 이미지 조건으로부터 고충실도 이미지를 생성하지만, 출력의 분산이 크고 원하는 목표에 대한 충실도는 조건이 제공되는 방식에 크게 의존합니다. 본 논문에서는 동결된(frozen) 이미지 DiT를 조향하여 고충실도, 높은 충실성 및 독립적으로 제어 가능한 렌더링을 생성하는 가볍고 어텐션(attention)이 필요 없는 외형 및 기하학 분리 조건화 기법인 DAGS를 제시합니다. 두 개의 소형 합성곱 인코더가 프레임당 한 번씩 조건화 특징을 계산하고, 이를 학습(training)된 층(layer)별 요소별(element-wise) 잔차로서 이미지 토큰에 주입함으로써 어텐션을 통해 조건을 쌓는 데 드는 이차 비용을 방지합니다. 제어 및 시간적 처리가 동결된 백본 외부에 존재하기 때문에, 백본의 방대한 사전학습 사전을 유지하고 백본 과적합(overfitting) 위험을 제거합니다. 나아가 소형 순환 조명 안정화기와 학습 불필요(training-free) 시간적 가이던스 항을 추가하여, 조건화 기법과 결합함으로써 프레임별 이미지 모델(model)을 스트리밍 렌더러로 향상시킵니다. DAGS는 경로 추적(path tracing) 연산량의 극히 일부만으로 제어 가능하고 고품질인 렌더링을 생성하며, 실시간은 아니지만 연산량을 제어 가능성 및 품질과 맞바꿉니다. 일치된 1-spp + G-buffer 입력 조건에서 프레임별 DAGS는 실시간 디노이저인 Intel OIDN 및 확산 렌더러 RGB<->X 대비 각각 +8.6 dB 및 +10.1 dB 향상된 PSNR로 재구성하는 동시에 지각적으로 2.5~8배 더 시간적으로 안정적(temporal-LPIPS 깜빡임 기준)입니다.

arXiv:2610.02943v1cs.CV공통 태그 Pose Estimation, 3D Human Pose Estimation

피험자 수준 프라이버시를 고려한 기구학 유도 다중 모달 3D 인간 자세 추정

Kinematics-Induced Multimodal 3D Human Pose Estimation with Subject-Level Privacy

다중 모달 3D 인간 자세 추정(3D Human Pose Estimation, 3D HPE)은 RGB, LiDAR, mmWave 레이더의 상호 보완적인 정보를 결합하지만, 동일한 개인으로부터 얻은 상관된 관측치로 학습된 모델은 레코드 수준 분석에서는 간과되는 프라이버시 위험을 초래합니다. 본 논문에서는 기구학 유도(kinematics-induced) 센서 융합을 피험자 수준(subject-level) 프라이버시 감사 및 프라이버시 보존 학습과 결합한 다중 모달 3D HPE를 위한 통합 프레임워크를 제시합니다. 첫째, 제안하는 다중 모달 모델은 모달리티별 관절 표현을 정렬하고 골격 구조를 주입하며 상호 보완적인 센서 단서를 적응적으로 통합하여 정확한 자세 예측을 수행합니다. 둘째, 개별 공격 점수 결과가 멤버십 결과에 대한 추론을 어떻게 변화시키는지 특성화하는 경험적 점별 최대 누출(pointwise maximal leakage) 분석을 보완하여, 3D HPE를 위한 블랙박스 피험자 멤버십 추론 공격(membership inference attack)을 정식화합니다. 셋째, 행동 및 시간적 범위를 보장하는 모집단 가중 피험자 내 샘플링 전략인 행동-시간 계층화(Action Temporal Stratification)를 통해 사용자 수준 차분 프라이버시(differential privacy)를 구현합니다. 세 가지의 다양한 실험 프로토콜에 걸쳐 MM-Fi 데이터셋에서 본 프레임워크를 평가합니다. 소스 코드는 논문 채택 시 공개될 예정입니다.

arXiv:2610.02010v1cs.CV공통 태그 Image Generation, Adversarial Attack

잠재 주파수 마스킹에 대한 생성형 이미지 워터마크의 취약점 탐색

Exploring Weaknesses of Generative Image Watermarks against Latent Frequency Masking

보이지 않는 워터마킹(invisible watermarking)은 AI 생성 이미지를 추적하는 핵심 도구가 되었으나, 적응형 제거 공격에 대한 견고성(robustness)은 여전히 미해결된 보안 과제로 남아 있습니다. 본 논문에서는 워터마크가 적용된 이미지의 잠재 표현(latent representation)에서 선택된 푸리에 계수(Fourier coefficients)를 대체하여 워터마크 흔적을 지우는 공격 방식인 잠재 주파수 마스킹(Latent Frequency Masking)을 소개합니다. 대체할 값은 효율성을 위해 가우시안 노이즈(Gaussian noise)에서 샘플링하거나, 이미지 보존성을 높이기 위해 확산 재성형(diffusion regeneration)을 통해 도출할 수 있습니다. 또한 재구성된 적대적 이미지와 마스킹된 잠재 주파수 섭동(perturbation) 사이의 변화를 연계하는 이론적 왜곡 경계(distortion bound)를 제시합니다. 제안된 공격 기법을 DiffusionDB 및 MS-COCO 프롬프트로 생성된 이미지에 대해 6가지 확산 워터마킹 방식을 대상으로 평가합니다. 잠재 주파수 마스킹은 시각적 품질을 보존하고 기존 공격 기법 대비 우수한 실행 시간을 달성하면서 여러 워터마크를 제거하거나 대폭 약화시킵니다. 이러한 결과는 잠재 주파수 조작이 실질적인 공격 표면(attack surface)임을 입증하며, 생성형 이미지 워터마킹의 견고성 평가에 이러한 공격을 포함해야 할 필요성을 강조합니다.

arXiv:2609.22635v1eess.IV공통 태그 Image Generation, Disentanglement

AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리

AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis

3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.

arXiv:2609.23796v1cs.CV공통 태그 Pose Estimation, Image Generation

Mira-Scene: 생성형 3D 장면을 위한 픽셀 정렬 레이아웃

Mira-Scene: Pixel-Aligned Layouts for Generative 3D Scene

단일 이미지 기반 3D 객체 생성은 이제 고충실도(high-fidelity) 에셋을 생성할 수 있지만, 이들을 일관된 장면 레이아웃 내에 정확하게 배치하는 것은 여전히 미해결 과제로 남아 있습니다. 핵심적인 어려움은 객체 레이아웃을 표현하는 방식에 있습니다. 전체론적(holistic) 방식은 배치를 장면 수준의 생성 프로세스에 흡수시켜 객체 수준의 세부 표현을 희생합니다. 구성적(compositional) 방식은 기하학적 구조(geometry)와 레이아웃을 분리하여 객체 충실도를 보존하지만, 일반적으로 레이아웃을 희소하고 경계가 없는(unbounded) 포즈 변수로 매개변수화하므로 학습(training)하기 어렵고 희소한 장면 수준 지도하에서는 일반화 성능이 떨어집니다. 우리는 희소한 포즈 회귀를 조밀하고 유계된(bounded) 대응 관계 복원으로 대체하는 구성적 3D 장면 재구성 프레임워크인 Mira-Scene을 제시합니다. 그 핵심에는 가시적인 각 객체 픽셀을 객체의 유계된 표준 공간(canonical space) 내 표면 좌표로 매핑하는 픽셀 정렬 필드인 Canonical Coordinate Map(CCM)이 있습니다. 단안 기하학 추정에서 얻은 장면 공간 포인트 클라우드 맵(PCM)과 결합될 때, CCM은 강건한 기하학적 정렬(alignment)을 통해 객체 변환을 복원할 수 있는 조밀한 표준-장면 대응 관계를 유도합니다. CCM은 유계된 표준 공간에서 작동하기 때문에, 장면 수준의 레이아웃 주석 없이도 확장 가능한 객체 수준 3D 데이터로부터 학습할 수 있는 안정적인 예측 대상을 제공합니다. 나아가 Mira-Scene은 기하학-레이아웃 일관성을 촉진하기 위해 공유 어텐션(attention) 및 위치 인코딩을 갖춘 모달리티별 전문가 스트림을 사용하여 객체 기하학적 구조와 CCM을 공동으로 생성하는 멀티모달 디퓨전 트랜스포머(transformer)를 도입합니다. 실내, 실외, 합성 및 야생(in-the-wild) 장면에 대한 실험에 따르면, Mira-Scene은 제한된 오픈소스 학습 데이터를 사용하면서도 SAM3D 대비 3D-IoU에서 39.8%, 2D-IoU에서 16.5%의 상대적 향상을 달성하며 레이아웃 정확도 면에서 강력한 베이스라인들을 크게 능가함을 보여줍니다.

arXiv:2609.24215v1cs.CV공통 태그 Image Generation, Disentanglement

감정 프롬프트를 넘어: Valence-Arousal-Dominance 기반 세밀한 텍스트-투-이미지 생성

Beyond Emotion Prompts: Fine-Grained Text-to-Image Generation Driven by Valence-Arousal-Dominance

텍스트-투-이미지 모델은 대상과 장면을 정확히 묘사할 수 있지만, 창작자는 내용 설명을 다시 쓰지 않고도 이미지가 전달해야 할 세밀한 감정을 지정하기 어렵다. 자연어로 감정을 암시할 수는 있으나, 의미가 안정적이고 강도가 서열화된 제어 척도를 제공하지 않는다. 우리는 EMOTRANS를 제안한다. 이는 심리학적으로 정립된 valence-arousal-dominance(VAD) 좌표를 내용 텍스트와 독립적인 생성 조건으로 변환하고, 디노이징(denoising) 단계 전반에 걸쳐 변조하여 감정적 스타일을 세밀하게 조절 가능한 창작 변수로 만든다. 이 목표를 위해 객관적 내용 설명과 여러 annotator가 별도로 수집한 감정 평가를 짝지은 예술 회화 데이터셋 EMOVAD를 구축한다. 또한 공유 모델을 이용한 이중 분기 학습(dual-branch training)으로 감정 표현과 내용 보존을 조율한다. 객관적 평가와 인간 평가는 이 프레임워크가 3차원 감정 제어의 정확도를 향상시키고, 경쟁력 있는 텍스트 정렬 및 이미지 품질을 유지하면서 지각 가능하고 서열화 가능한 연속적 변화를 만들어냄을 보여준다. 본 연구는 객관적 내용 묘사를 세밀한 감정 조절로 확장하는 실용적인 감정 기반 이미지 생성 접근법을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.