PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27659v1cs.CV

GeoFace: Consistent Multi-View Face Generation with Geometry-Constrained Diffusion

분 {"title_ko": "GeoFace: 기하 구조 제약 확산을 활용한 일관된 다중 뷰 얼굴 생성", "abstract_ko": "우리는 단일 입력으로부터 일관된 얼굴 생성을 위한 기하 구조 제약 다중 뷰 확산 프레임워크인 GeoFace를 제안한다. 최근 다중 뷰 확산 모델은 뷰 단위 수준에서 사실적인 합성을 달성하지만, 뷰 간 공유 3D 구조를 강제하는 명시적 메커니즘이 부족하여 시점 간 기하 구조가 불일치하는 경우가 많다. 이를 해결하기 위해 GeoFace는 외관과 기하 스트림이 공유 어텐션 레이어를 통해 상호작용하는, 다중 뷰 RGB 이미지와 3D 얼굴 기하를 공동 생성하는 통합 이중 스트림 프레임워크를 제안한다. 두 스트림이 서로를 상호 제약하도록 유도하기 위해, 우리는 3D 일관 대응 관계로 외관과 기하 토큰 사이의 크로스-어텐션을 지도하는 기하 유도 어텐션 정렬 손실을 도입하여, 외관 스트림이 시점 간 견고한 정렬을 위해 자세 불변 기하 단서를 올바르게 참조할 수 있게 한다. 기하는 다중 뷰 관측에 피팅된 FLAME 메시로부터 유도된 정규(canonical) UV 위치 맵으로 표현되며, 생성된 모든 뷰에 걸쳐 시점 불변 공유 제약으로 기능한다. RenderMe-360 및 NeRSemble에서의 실험은 GeoFace가 시각적 품질과 뷰 간 기하 일관성 모두에서 기존 방법을 지속적으로 능가하며, 보다 효율적인 3D 재구성을 가능하게 함을 보여준다."}

arXiv:2606.11805v1cs.CV

TextHOI-3D: 이산 멀티뷰 생성과 공동 메시 최적화를 통한 텍스트-3D 손-객체 상호작용

TextHOI-3D: Text-to-3D Hand-Object Interaction via Discrete Multi-View Generation and Joint Mesh Optimization

텍스트 조건 3D 생성은 이미지와 독립된 객체에 대해 빠르게 진전해 왔지만, 손-객체 메시를 생성하는 것은 여전히 어렵다. 출력은 언어적 의미, 뷰 간 일관성, 객체 기하학, 관절 손 형태, 그리고 물리적으로 타당한 접촉을 보존해야 한다. 우리는 텍스트 조건 시각 생성과 기하학 인식 손-객체 복원 사이의 명시적 인터페이스로 생성된 멀티뷰 관측을 사용하는 단계적 프레임워크인 TextHOI-3D를 제안한다. TextHOI-3D는 고정 카메라 손-객체 관측에 대한 compact VQ 토큰 공간을 학습하고, CLIP 조건 시각 자기회귀 모델로 텍스트에서 멀티뷰 시각 토큰을 예측하며, 사전 초기화, 멀티뷰 공동 최적화, 침투 방지 정제를 통해 통합 손-객체 메시를 복원한다. 이 설계는 의미적 생성과 기하학적 복원을 분리하면서, 이산 멀티뷰 표현으로 두 단계를 연결한다. HO3D 기반 평가에서 멀티뷰 설정은 단일 뷰 대안과 비교하여 객체 CD를 17.26 mm에서 4.92 mm로, 침투 부피를 5.3721 cm^3에서 0.2193 cm^3로 줄이면서 손 오류와 surface F-score를 개선한다. 이 결과는 멀티뷰 시각 토큰이 텍스트 기반 3D 손-객체 메시 생성을 위한 효과적인 중간 표현임을 뒷받침한다.

arXiv:2606.11670v1cs.CV

ARGUS: 피사체 유지 비디오 생성을 위한 적층 멀티뷰 아이덴티티 모자이크 주입

ARGUS: Stacked Multi-View Identity Mosaic Injection for Subject-Preserving Video Generation

피사체 유지 비디오 생성은 정면 얼굴 유사도만으로는 해결되지 않습니다: 생성된 인물은 움직임, 큰 시점 변화, 표정 변화, 폐색, 스케일 변화, 그리고 텍스트, 첫 번째 프레임, 아이덴티티 참조 간의 충돌 전반에 걸쳐 인식 가능해야 합니다. 우리는 핵심 병목 현상이 포즈, 액세서리, 조명, 배경 및 카메라 통계와 얽혀 있는 단일 정적 관찰로 아이덴티티를 축소하는 '점 참조 패러다임(point-reference paradigm)'이라고 주장합니다. 우리는 적층 멀티뷰 아이덴티티 모자이크 주입(SMII)을 중심으로 하는 Wan 기반 프레임워크인 Argus를 소개합니다. SMII는 MLLM이 선택한 이미지/비디오 아이덴티티 정보를 3x3 적층 모자이크로 변환하고, 해당 모자이크를 현재 디퓨전 시간과 동기화한 뒤, Wan의 네이티브 토큰 공간에서 음의 시간 읽기 전용 메모리로 주입합니다. 이는 아이덴티티를 외부 클린 어댑터나 단일 참조 이미지에서 컴팩트한 동적 분포로 변환합니다. SMII를 중심으로 MLLM 아이덴티티 디렉터는 정보성이 높은 아이덴티티 순간을 선택하고 조건 충돌을 해결하며, 노-크로스 페어 반사실적 학습(no-cross-pair counterfactual training), 시간적 아이덴티티 어닐링(Temporal Identity Annealing), 적응형 자기 유사도 가이던스(Adaptive Self-Likeness Guidance)는 페어된 주체-비디오 지도 없이 강건성을 향상시킵니다. 또한 우리는 공인 아이덴티티 스트레스 벤치마크인 HardID-Celeb를 공개하고, 큰 요각(large-yaw)과 첫 프레임 폐색(first-frame-occlusion) 강건성을 측정하기 위해 YawScore와 OccScore를 도입합니다. Argus는 OpenS2V-Eval Human-Domain에서 최첨단 결과를 달성하여 64.38 Total Score, 71.86 FaceSim, 51.62 NexusScore, 79.14 NaturalScore를 기록했습니다. HardID-Celeb에서 Argus는 76.80 FaceSim을 달성했으며, 가장 강력한 베이스라인 대비 YawScore와 OccScore를 각각 12.60점과 15.10점 향상시켜, 동적 아이덴티티 메모리와 대규모 반사실적 자기 지도 학습이 피사체 유지 비디오 생성에 매우 효과적임을 입증했습니다.