ShelfChange3D: 소매점 진열대 모니터링을 위한 객체 수준 3D 변화 감지
ShelfChange3D: Object-Level 3D Change Detection for Retail Shelf Monitoring
한국어 초록
신뢰할 수 있는 진열대 모니터링은 소매점 자동화에 중요한 역량이지만, 기존의 품절 감지 방법은 주로 이미지 공간에서 작동하여 다운스트림 로봇 시스템을 위한 미터법 기준의 3D 위치 추정이 부족합니다. 본 연구는 진열대 모니터링을 객체 수준의 3D 변화 감지 문제로 공식화합니다. 서로 다른 시점에 촬영된 두 개의 RGB-D 관측치가 주어졌을 때, 목표는 변경된 상품을 식별하고 각 변화를 3D 경계 상자(bounding box)로 위치를 특정하는 것입니다. 이 작업을 지원하기 위해 객체 수준 3D 변화 어노테이션을 갖춘 14만 5천 개의 합성 및 5천 개의 실제 페어링된 RGB-D 관측치로 구성된 ShelfChange3D를 소개합니다. 또한, 쌍을 이루는 관측치에 대해 공동 추론하고 객체 수준의 3D 변화 상자를 예측하는 엔드투엔드(end-to-end) 프레임워크인 ChangeBox를 제안합니다. 위치 추정 정확도를 개선하기 위해, 깊이와 중력 사전 정보를 활용하여 상대적 포즈를 추정하고 예측된 상자를 정교화하는 기하학 기반 정제 단계를 도입합니다. 실험 결과 ChangeBox는 기존의 변화 감지 베이스라인보다 우수한 성능을 보였으며, 정제 단계를 통해 추가적인 성능 향상을 달성하고 합성 데이터에서 실제 관측치로 효과적인 전이가 이루어짐을 보여줍니다.
원문 초록
Reliable shelf monitoring is an important capability for retail automation, yet existing out-of-stock detection methods mainly operate in image space and lack metric 3D localization for downstream robotic systems. We formulate shelf monitoring as object-level 3D change detection: given two RGB-D observations captured at different times, the goal is to identify changed products and localize each change with a 3D bounding box. To support this task, we introduce ShelfChange3D, comprising 145K synthetic and 5K real-world paired RGB-D observations with object-level 3D change annotations. We further propose ChangeBox, an end-to-end framework that jointly reasons over paired observations and predicts object-level 3D change boxes. To improve localization accuracy, we introduce a geometry-based refinement stage that exploits depth and gravity prior to estimate relative pose and refine predicted boxes. Experiments show that ChangeBox outperforms existing change detection baselines, with further gains from refinement and effective transfer from synthetic to real-world observations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
온보드 데이터 감축을 위한 임베디드 양방향 시계열 건물 피해 평가
Embedded Bi-Temporal Building Damage Assessment for On-Board Data Reduction
자연재해 발생 후 신속한 건물 피해 평가는 비상 대응을 지원하는 데 필수적입니다. 지구 관측(Earth Observation) 위성은 재해 직후 관련 영상을 획득할 수 있으나, 업링크 및 다운링크 용량과 지상 처리 지연 시간으로 인해 활용에 한계가 있습니다. 본 연구에서는 지상/우주 링크의 양단에서 정보를 압축하도록 설계된, YOLOX 기반의 샴 탐지기(siamese detector)로 구축된 양방향 시계열(bi-temporal) 건물 피해 평가 파이프라인을 통해 이 문제를 해결합니다. 지상에서는 재해 전 참조 이미지를 최대 64배까지 압축된 컴팩트한 잠재 공간(latent space)으로 인코딩하여 위성으로 업링크합니다. 온보드(on-board) 환경에서는 이 참조 이미지를 새로 획득한 재해 후 영상과 비교하여 다운링크가 전체 장면 대신 실행 가능한 객체 수준 결과물인 바운딩 박스와 피해 클래스만을 전송하도록 합니다. 이를 통해 양방향으로 교환되는 데이터가 절감되며, xBD 데이터셋에서 강력하게 압축된 참조 이미지를 사용하더라도 대부분의 탐지 성능을 유지합니다. 또한 온보드 획득 영상은 재해 전/후 간 잔차 동시 정합(co-registration) 오류가 발생하기 쉬우므로, 거친 특징 수준에서 전역 오프셋을 회귀하고 융합 전에 재해 후 특징을 재정렬하는 잠재 공간 이동 추정 및 보정 모듈을 도입합니다. 이 모듈은 특히 융합 전용 변형 모델들이 붕괴하는 큰 이동 상황에서 비정합에 대한 강건성을 크게 향상시키는 동시에 공칭 정확도를 높이고 가장 강력한 압축과도 호환성을 유지합니다. 마지막으로 이 파이프라인을 두 가지 임베디드 타깃인 Xilinx Versal VCK190과 NVIDIA Jetson AGX Orin에 포팅하고 하드웨어 성능(지연 시간, 처리량, 전력 효율성)을 보고합니다. 핵심 탐지기 및 압축 모듈은 두 타깃 모두에 깔끔하게 포팅되지만, 장거리 강건성에 필요한 연산자는 Jetson GPU에서만 실행 가능하며 Versal DPU에서는 지원되지 않습니다.
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Our code will be available on our project website at https://zerone0011.github.io/ShelfChange3D/