arXiv:1705.11166

Adversarial Inverse Graphics Networks: Learning 2D-to-3D Lifting and Image-to-Image Translation from Unpaired Supervision

Hsiao-Yu Fish Tung, Adam W. Harley, William Seto, Katerina Fragkiadaki

제출 2017-05-31

원문 초록

Researchers have developed excellent feed-forward models that learn to map images to desired outputs, such as to the images' latent factors, or to other images, using supervised learning. Learning such mappings from unlabelled data, or improving upon supervised models by exploiting unlabelled data, remains elusive. We argue that there are two important parts to learning without annotations: (i) matching the predictions to the input observations, and (ii) matching the predictions to known priors. We propose Adversarial Inverse Graphics networks (AIGNs): weakly supervised neural network models that combine feedback from rendering their predictions, with distribution matching between their predictions and a collection of ground-truth factors. We apply AIGNs to 3D human pose estimation and 3D structure and egomotion estimation, and outperform models supervised by only paired annotations. We further apply AIGNs to facial image transformation using super-resolution and inpainting renderers, while deliberately adding biases in the ground-truth datasets. Our model seamlessly incorporates such biases, rendering input faces towards young, old, feminine, masculine or Tom Cruise-like equivalents (depending on the chosen bias), or adding lip and nose augmentations while inpainting concealed lips and noses.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14836v2cs.CV공통 태그 Translation, Pose Estimation

3D 수어 생성을 위한 확산 기반 운동학 및 동역학 모델

A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production

수어 생성(SLP)은 언어적 입력으로부터 연속적인 수어 동작을 생성하며 수어 아바타와 같은 접근성 기술을 구동한다. 확산 모델을 포함한 현재의 생성기는 관절 좌표를 구조 없는 벡터로 회귀하므로, 생성된 신체가 해부학이나 운동의 역학을 따르도록 보장하는 요소가 없다. 물리학은 기하학적 손실 항을 통해서만 SLP에 도입되었으며 그 이점이 이해도에 미치는 영향은 검증되지 않았고, 수어를 하는 신체의 동역학은 모델링되지 않았다. 본 논문은 두 수준에서 물리 정보를 활용하는 확산 모델 PIDiffSign을 제안한다. 운동학 측면에서는 순기구학 헤드가 뼈의 방향과 길이를 출력하고 이를 조합하여 해부학적으로 정확한 골격을 구성한다. 동역학 측면에서는 인체측정학적 매개변수를 갖는 상체 강체 모델이 두 가지 학습 사전분포를 뒷받침한다. 운동 제어의 두 법칙을 포함하는 물리적 타당성 평가 모음이 생성된 수어를 평가한다. 통제된 프로토콜에서 이 헤드는 PHOENIX14T와 CSL-Daily에서 역번역 단어 오류율을 약 5포인트 낮추는 반면 기하학적 페널티는 측정 가능한 효과가 없으며, 대조 실험은 이득이 뼈 길이 보존이 아니라 운동학적 사슬 표현에서 비롯됨을 추적한다. 동역학 사전분포는 PHOENIX14T에서 물리적이지 않은 대응 대조군보다 약 1포인트 추가 이득을 주지만 CSL-Daily에서는 그렇지 않다. 생성된 수어는 운동 제어 법칙을 실제 수어만큼 근접하게 따르지만 운동 에너지는 현저히 적다. 정확한 골격은 리깅된 아바타를 직접 구동할 수 있으며, 이 평가 모음은 향후 SLP 시스템을 위한 물리적 벤치마크를 제공한다.

arXiv:2610.02943v1cs.CV공통 태그 Pose Estimation, 3D Human Pose Estimation

피험자 수준 프라이버시를 고려한 기구학 유도 다중 모달 3D 인간 자세 추정

Kinematics-Induced Multimodal 3D Human Pose Estimation with Subject-Level Privacy

다중 모달 3D 인간 자세 추정(3D Human Pose Estimation, 3D HPE)은 RGB, LiDAR, mmWave 레이더의 상호 보완적인 정보를 결합하지만, 동일한 개인으로부터 얻은 상관된 관측치로 학습된 모델은 레코드 수준 분석에서는 간과되는 프라이버시 위험을 초래합니다. 본 논문에서는 기구학 유도(kinematics-induced) 센서 융합을 피험자 수준(subject-level) 프라이버시 감사 및 프라이버시 보존 학습과 결합한 다중 모달 3D HPE를 위한 통합 프레임워크를 제시합니다. 첫째, 제안하는 다중 모달 모델은 모달리티별 관절 표현을 정렬하고 골격 구조를 주입하며 상호 보완적인 센서 단서를 적응적으로 통합하여 정확한 자세 예측을 수행합니다. 둘째, 개별 공격 점수 결과가 멤버십 결과에 대한 추론을 어떻게 변화시키는지 특성화하는 경험적 점별 최대 누출(pointwise maximal leakage) 분석을 보완하여, 3D HPE를 위한 블랙박스 피험자 멤버십 추론 공격(membership inference attack)을 정식화합니다. 셋째, 행동 및 시간적 범위를 보장하는 모집단 가중 피험자 내 샘플링 전략인 행동-시간 계층화(Action Temporal Stratification)를 통해 사용자 수준 차분 프라이버시(differential privacy)를 구현합니다. 세 가지의 다양한 실험 프로토콜에 걸쳐 MM-Fi 데이터셋에서 본 프레임워크를 평가합니다. 소스 코드는 논문 채택 시 공개될 예정입니다.

arXiv:2607.21174v1cs.CV공통 태그 Super-Resolution, Image-to-Image Translation

교차 모달리티 매니폴드 불일치 분리: 가시광 확산 사전분포를 활용한 적외선 초해상도

Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution

적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.

arXiv:2607.13654v1cs.CV공통 태그 Pose Estimation, Image-to-Image Translation

T3HG-Editor: SMPL-X에 내장된 신체 사전 정보를 활용한 텍스트 기반 3D 인간 의상 편집

T3HG-Editor: Text-driven 3D Human Garment Editing with Body Priors Embedded in SMPL-X

3D 가우시안 편집(3DGE)이 상당한 진전을 이루었지만, 텍스트 기반 3D 인간 의상 편집은 여전히 연구가 거의 이루어지지 않은 상태이다. 기존 3DGE 연구는 일반적으로 다시점 렌더링 이미지에 2D 편집 기법을 적용하고 수정된 이미지를 바탕으로 3D Gaussian을 업데이트하는 패러다임을 따른다. 이러한 방법을 3D 인간 의상 편집에 확장하면 왜곡과 의상 불일치로 인해 저품질 결과가 발생한다. 가상 인간을 위한 풍부한 사전 정보를 담고 있는 SMPL eXpressive(SMPL-X) 모델에서 유망한 돌파구를 찾을 수 있다. 이 통찰에 영감을 받아, SMPL-X에 내장된 기하 및 관절 사전 정보를 활용하여 고품질이며 의상 일관성 있는 결과를 제공하는 텍스트 기반 3D 인간 의상 편집기 T3HG-Editor를 제안한다. 구체적으로, T3HG-Editor는 편집 가능한 Gaussian 획득, 의상 일관성 편집, 그리고 오버플로우 가지치기를 수반한 Gaussian 업데이트의 세 단계로 구성된다. 편집 가능한 Gaussian 획득은 SMPL-X 법선을 따라 Gaussian을 시딩하여 충분한 근표면 Gaussian을 생성하는 것으로 시작하며, 이어 2D 마스크 제약으로 편집 대상 Gaussian을 정밀하게 국소화한다. 의상 일관성 편집은 여러 시점에서 동일한 SMPL-X 정점에 해당하는 토큰을 집계하고 원래 시점으로 전파하여 추가 학습 없이 의상 일관성을 강제한다. 오버플로우 가지치기를 수반한 Gaussian 업데이트는 SMPL-X 위에 정의된 부호 거리 함수(SDF)를 사용해 인간 거리 필드를 구성하고, 이를 2D 의미 마스크와 통합하여 넘치는 Gaussian을 가지치기함으로써 비대상 영역의 오염을 방지한다. 여러 피사체와 다양한 의상 유형에 대한 실험은 T3HG-Editor가 편집 품질과 의상 일관성 모두에서 최신 기법들보다 우수한 성능을 보임을 입증한다.

arXiv:2607.12206v1cs.CV공통 태그 Pose Estimation, Image-to-Image Translation

RegHead: 피드포워드 정합을 통한 비인간형 머리 블렌드셰이프

RegHead: Non-Humanoid Head Blendshapes via Feed-Forward Registration

애니메이션 가능한 비인간형 머리 아바타를 위한 의미적 블렌드셰이프 집합을 구성하는 프레임워크 RegHead를 제시한다. 고정된 표정 어휘를 사용할 때 의미적 블렌드셰이프는 저차원적이고 해석 가능한 애니메이션 인터페이스를 제공하며 교차-정체성 리타겟팅을 지원한다. 그러나 이러한 블렌드셰이프 집합을 구축하는 것은 여전히 비용이 많이 든다. (i) 표정 일관성 지도 데이터가 희소하고, (ii) 생성된 4D 자산은 일반적으로 대응 관계가 부족하며, (iii) 얼굴 움직임이 매우 국소적이기 때문이다. 우리는 (1) 파인튜닝된 이미지 편집을 통해 작은 아티스트 리깅 라이브러리를 확장하여 얻은, 공유 표정 어휘와 짝을 이루는 비인간형 정체성의 대규모 데이터셋, (2) 국소화된 얼굴 변형에 맞춘 밀집 확률적 앵커 모션 표현, (3) 중립 형상으로부터 앵커 기반 변형을 예측하여 등록되지 않은 표정 메시를 대응된 블렌드셰이프 기저로 변환하는 빠른 피드포워드 정합 모델을 제안한다. 실험 결과, 우리 접근법은 베이스라인보다 더 높은 충실도의 표정 메시를 생성하면서 최적화보다 수 차원 빠르게 실행됨을 보여준다. 또한 인간 얼굴 추적 신호에서 비인간형 캐릭터로의 실시간 리타겟팅을 시연하여 머리 자세와 국소화된 얼굴 움직임을 모두 포착한다. 프로젝트 페이지는 https://snap-research.github.io/RegHead/ 에서 확인할 수 있다.

arXiv:2607.12450v1cs.CV공통 태그 Pose Estimation, Image-to-Image Translation

RGB를 비전의 언어로

Let RGB Be the Language of Vision

본 연구는 비전 모델에 대한 통합적 공식화를 제안한다. 자연 이미지를 넘어 마스크, 깊이 맵, 기타 구조화된 시각 신호 등 다양한 형태의 시각 정보를 모두 RGB 이미지로 표현하고, 일반적인 시각 과제들을 공통의 RGB-to-RGB 이미지 편집 문제로 변환한다. 이 패러다임에서 서로 다른 유형의 시각 정보는 자연 이미지와 동일한 인코딩·디코딩 아키텍처와 파라미터를 내부적으로 공유하며, 통합된 시각 인터페이스를 통해 단일 모델이 과제 간 전이를 수행할 수 있어, 언어 모델이 텍스트 위에서 동작하는 방식과 유사하다. 이 공식화를 RGB In and RGB Out(RINO)이라 부른다. RINO는 과제별 미세조정 없이 일반적인 이미지 편집 백본 위에 구축되었으며, 출력을 RGB로 통합하는 분할(segmentation)과 깊이 추정(depth estimation) 같은 밀집 이해(dense understanding) 과제와, 입력을 RGB로 통합하는 포즈-이미지 생성(pose-to-image generation) 같은 밀집 조건부 생성 과제 모두에서 견고하고 경쟁력 있는 제로샷 성능을 보인다. 본 연구가 다양한 시각 과제를 공유 시각 언어로 표현·해석·해결할 수 있는 일반적인 통합 비전-언어 시스템을 향한 유용한 통찰을 제공하기를 바란다. 코드는 https://github.com/yangtiming/RINO 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.