arXiv:2410.00348

Revisiting the Role of Texture in 3D Person Re-identification

Huy Nguyen, Kien Nguyen, Akila Pemasiri, Sridha Sridharan, Clinton Fookes

제출 2024-10-01

원문 초록

This study introduces a new framework for 3D person re-identification (re-ID) that leverages readily available high-resolution texture data in 3D reconstruction to improve the performance and explainability of the person re-ID task. We propose a method to emphasize texture in 3D person re-ID models by incorporating UVTexture mapping, which better differentiates human subjects. Our approach uniquely combines UVTexture and its heatmaps with 3D models to visualize and explain the person re-ID process. In particular, the visualization and explanation are achieved through activation maps and attribute-based attention maps, which highlight the important regions and features contributing to the person re-ID decision. Our contributions include: (1) a novel technique for emphasizing texture in 3D models using UVTexture processing, (2) an innovative method for explicating person re-ID matches through a combination of 3D models and UVTexture mapping, and (3) achieving state-of-the-art performance in 3D person re-ID. We ensure the reproducibility of our results by making all data, codes, and models publicly available.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02580v1cs.CV공통 태그 Person Re-Identification, 3D Reconstruction

Physical AI Smart Spaces: 스마트 공간에서의 다중 카메라 3D 인식을 위한 대규모 벤치마크

Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces

Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.

arXiv:2607.22731v1cs.CV공통 태그 Person Re-Identification, 3D Reconstruction

실내 환경을 위한 보정 불필요 3D 다중 카메라 사람 추적

Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment

다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.

arXiv:2607.12495v1cs.CV공통 태그 3D Reconstruction, Attribute

RealSkin: 이미지-3D 속성 전이를 위한 공간-스펙트럼 부분 신경 인수 맵

RealSkin: Spatio-Spectral Partial Neural Adjoint Maps for Image-to-3D Attribute Transfer

사실적인 3D 에셋을 생성하려면 실세계 관측과 합성 모델 사이의 외형 격차를 메워야 한다. 유망한 접근법 중 하나는 실제 이미지의 시각적 속성을 합성 3D 표면으로 전이하는 것이다. 기존 방법들은 해상도 불일치와 점 대응(point correspondence)의 본질적 이산성 때문에 어려움을 겪는다. 반면 해상도에 강건한 함수형 맵(functional maps)은 매끄러운 속성 전파를 가능하게 하지만, 거의 등거리(near-isometry) 가정과 위상(topological) 일관성에 의존한다. 이러한 한계를 해결하기 위해, 우리는 공간 대응을 안내로 학습된 스펙트럼 영역에서 대응 최적화를 수행하는 자기지도(self-supervised) 프레임워크인 RealSkin을 제안한다. 먼저 심각한 위상 불일치 하에서 거친 대응을 확립하는 공간 안내 등록(registration) 알고리즘을 도입한다. 엄격한 등거리 가정을 완화하고 부분 대응을 처리하기 위해, 부분 대응을 신경 함수 공간에 통합하고 대응 정제를 위해 비등거리(non-isometric) 잔차를 모델링하는 스펙트럼 인식 신경 인수(adjoint) 네트워크를 추가로 설계한다. 실험 결과는 본 방법이 까다로운 실세계-합성 시나리오에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드는 공개 예정이다.

arXiv:2607.14203v2cs.GR공통 태그 3D Reconstruction

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2609.13504v3cs.CV공통 태그 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.