arXiv:2312.02963

MVHumanNet: A Large-scale Dataset of Multi-view Daily Dressing Human Captures

Zhangyang Xiong, Chenghong Li, Kenkun Liu, Hongjie Liao, Jianqiao Hu, Junyi Zhu, Shuliang Ning, Lingteng Qiu, Chongjie Wang, Shijie Wang, Shuguang Cui, Xiaoguang Han

제출 2023-12-05

원문 초록

In this era, the success of large language models and text-to-image models can be attributed to the driving force of large-scale datasets. However, in the realm of 3D vision, while remarkable progress has been made with models trained on large-scale synthetic and real-captured object data like Objaverse and MVImgNet, a similar level of progress has not been observed in the domain of human-centric tasks partially due to the lack of a large-scale human dataset. Existing datasets of high-fidelity 3D human capture continue to be mid-sized due to the significant challenges in acquiring large-scale high-quality 3D human data. To bridge this gap, we present MVHumanNet, a dataset that comprises multi-view human action sequences of 4,500 human identities. The primary focus of our work is on collecting human data that features a large number of diverse identities and everyday clothing using a multi-view human capture system, which facilitates easily scalable data collection. Our dataset contains 9,000 daily outfits, 60,000 motion sequences and 645 million frames with extensive annotations, including human masks, camera parameters, 2D and 3D keypoints, SMPL/SMPLX parameters, and corresponding textual descriptions. To explore the potential of MVHumanNet in various 2D and 3D visual tasks, we conducted pilot studies on view-consistent action recognition, human NeRF reconstruction, text-driven view-unconstrained human image generation, as well as 2D view-unconstrained human image and 3D avatar generation. Extensive experiments demonstrate the performance improvements and effective applications enabled by the scale provided by MVHumanNet. As the current largest-scale 3D human dataset, we hope that the release of MVHumanNet data with annotations will foster further innovations in the domain of 3D human-centric tasks at scale.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.08381v2cs.CV공통 태그 Action Recognition, NeRF

DoRF++: 강건한 Wi-Fi 센싱을 위한 도플러 래디언스 필드 기반 구면 표현 학습

DoRF++: Spherical Representation Learning over Doppler Radiance Fields for Robust Wi-Fi Sensing

IEEE 802.11bf가 고급 WLAN 센싱 표준화를 추진하는 가운데, 비침해적·무기기·프라이버시 보존형 활동 및 제스처 인식을 위한 Wi-Fi 채널 상태 정보(CSI) 활용에 대한 관심이 빠르게 커지고 있다. 최근 연구는 CSI에서 추출한 도플러 속도 투영이 사람 움직임 속도를 직접 반영하여, 더 강건한 인간 활동 인식(HAR)과 사용자 및 보지 못한 조건에 걸친 일반화를 가능하게 함을 보여 주었다. 그럼에도 실세계 가변성 하에서의 신뢰할 만한 일반화는 Wi-Fi 센싱 도입을 가로막는 핵심 난제로 남아 있다. 이를 해결하기 위해 본 연구는 도플러 래디언스 필드(DoRF)를 기반으로 하며, 컴퓨터 비전(CV)의 신경 래디언스 필드(NeRF) 개념을 Wi-Fi 센싱에 맞게 적용한다. DoRF는 추출된 도플러 속도 투영을 사람 움직임에 대한 희소 가상 카메라 뷰로 취급한다. 이러한 뷰로부터 정규화된 잠재 3차원 모션 디스크립터를 복원하고, 학습된 유효 도플러 방향을 따른 이 디스크립터의 투영이 CSI 관측을 설명한다. 복원된 모션은 단위 구(unit sphere) 위 등각 방향 그리드로 재투영되어 기저 활동의 구면 표현을 만든다. DoRF가 구면 위에 정의된 신호를 생성하므로, 본 논문은 행동 분류를 위해 구면 필드에 quadrature-aware 구면 Transformer를 직접 적용하는 구면 표현 학습 모델 DoRF++를 제안한다. 자체 수집 손 제스처 데이터셋 실험에서 DoRF++는 단일 다중 안테나 수신 액세스 포인트(AP)만 가용한 경우, 특히 어려운 제스처에 대해 교차 사용자 일반화 정확도에서 최신 Wi-Fi 기반 HAR 방법을 눈에 띄게 능가한다.

arXiv:2607.12785v2cs.CV공통 태그 Image Generation, NeRF

ExtraGS: 확산 모델 안내 3D Gaussian Splatting을 통한 내시경 시점 외삽 향상

ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting

로봇 보조 최소침습 수술(MIS)은 탐색 및 안전을 위해 신뢰할 수 있는 내시경 인식에 매우 의존합니다. 그러나 기존 내시경은 제한된 시야만을 제공하여 주변 해부학적 구조의 상당 부분이 관측되지 못합니다. Neural Radiance Fields(NeRF)와 3D Gaussian Splatting과 같은 최근 신경 렌더링(neural rendering) 접근법은 내시경 영상으로부터 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 희소 관측에 의존하기 때문에 학습 궤적을 벗어나 외삽할 때 심각한 아티팩트가 발생하는 경우가 많습니다. 본 연구에서는 확산 모델 안내 3D Gaussian Splatting을 통해 내시경 시점 외삽을 향상시키는 프레임워크인 ExtraGS를 제안합니다. 초기 재구성(reconstruction)에서 출발하여, 사각지대를 적극적으로 탐색하고 정보 이득을 극대화하기 위한 불확실성 안내 가상 카메라 샘플링 전략을 도입합니다. 이 샘플링 위치에서 렌더링된 시점은 확산 모델(diffusion model)을 사용해 정제하여 그럴듯한 해부 구조를 복원하고, 추가 최적화(optimization)를 안내하는 의사 관측(pseudo-observations)을 생성합니다. 생성된 내용이 신뢰할 수 있는 영역을 저하시키는 것을 방지하기 위해, 이러한 의사 관측을 통합할 때 신뢰도 가중 미세조정(fine-tuning) 전략을 채택합니다. 여러 공개 내시경 데이터셋(dataset)에 대한 광범위한 실험을 통해 ExtraGS가 외삽 아티팩트를 크게 줄이고 내시경 새로운 시점 합성에서 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다.

arXiv:2607.11673v2cs.CV공통 태그 Image Generation, NeRF

ABot-3DWorld 0: 모든 3D 공간을 탐험하는 범용 월드 모델

ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space

우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.

arXiv:2609.20816v3cs.CV공통 태그 Image Generation

Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.

arXiv:2607.12909v2q-bio.NC공통 태그 Action Recognition

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.