신뢰할 수 있는 진열대 모니터링은 소매점 자동화에 중요한 역량이지만, 기존의 품절 감지 방법은 주로 이미지 공간에서 작동하여 다운스트림 로봇 시스템을 위한 미터법 기준의 3D 위치 추정이 부족합니다. 본 연구는 진열대 모니터링을 객체 수준의 3D 변화 감지 문제로 공식화합니다. 서로 다른 시점에 촬영된 두 개의 RGB-D 관측치가 주어졌을 때, 목표는 변경된 상품을 식별하고 각 변화를 3D 경계 상자(bounding box)로 위치를 특정하는 것입니다. 이 작업을 지원하기 위해 객체 수준 3D 변화 어노테이션을 갖춘 14만 5천 개의 합성 및 5천 개의 실제 페어링된 RGB-D 관측치로 구성된 ShelfChange3D를 소개합니다. 또한, 쌍을 이루는 관측치에 대해 공동 추론하고 객체 수준의 3D 변화 상자를 예측하는 엔드투엔드(end-to-end) 프레임워크인 ChangeBox를 제안합니다. 위치 추정 정확도를 개선하기 위해, 깊이와 중력 사전 정보를 활용하여 상대적 포즈를 추정하고 예측된 상자를 정교화하는 기하학 기반 정제 단계를 도입합니다. 실험 결과 ChangeBox는 기존의 변화 감지 베이스라인보다 우수한 성능을 보였으며, 정제 단계를 통해 추가적인 성능 향상을 달성하고 합성 데이터에서 실제 관측치로 효과적인 전이가 이루어짐을 보여줍니다.
RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.
이 논문은 높은 계산 복잡도, 과도한 매개변수 수, 그리고 최적이 아닌 정확도를 포함한 현재 비전 기반 레일 결함 탐지 방법의 한계를 다룬다. 우리는 효율적이고 정확한 결함 식별을 위해 RGB-D 데이터를 활용하는 경량 피라미드 크로스-어텐션 네트워크(LPCANet)를 제안한다. 이 아키텍처는 RGB 특징 추출을 위한 백본으로 MobileNetv2를 통합하고, 깊이 처리를 위한 경량 피라미드 모듈(LPM)과, 다중 모달 융합을 위한 크로스-어텐션 메커니즘(CAM), 그리고 향상된 구조 분석을 위한 공간 특징 추출기(SFE)를 결합한다. 세 가지 비지도 RGB-D 레일 데이터셋(NEU-RSDDS-AUG, RSDD-TYPE1, RSDD-TYPE2)에 대한 포괄적인 평가 결과, LPCANet은 단 990만 개의 매개변수, 2.50 G FLOPs, 162.60 fps 추론 속도로 최첨단 성능을 달성한다. 18개의 기존 방법과 비교했을 때 LPCANet은 최고 성능 기준선 대비 $S_α$에서 +1.48\%, IOU에서 +0.86\%, MAE에서 +1.77\%의 유의미한 개선을 보인다. 절제 연구는 CAM과 SFE의 핵심적 역할을 확인하며, 비레일 데이터셋(DAGM2007, MT, Kolektor-SDD2)에 대한 실험은 일반화 능력을 검증한다. 제안된 프레임워크는 전통적 접근법과 심층 학습 접근법을 효과적으로 연결하여 산업 결함 검사에 실질적인 실용적 가치를 제공한다. 향후 연구는 실시간 배포를 위한 추가적인 모델 압축에 초점을 맞출 것이다.
고프레임률 RGB-D 비디오는 동작 분석, 동적 장면 이해, 3D 재구성 등 다양한 다운스트림 태스크에 필수적이다. 그러나 하드웨어 및 센싱의 제약으로 인해 실용적인 RGB-D 카메라는 일반적으로 낮은 프레임률로 제한되어 빠른 장면 역학을 포착하기 어렵다. 기존 비디오 보간 방법들은 RGB 데이터에서 강력한 성능을 달성했지만, RGB-D 시나리오에는 곧바로 적용하기 어려우며, 경계 흐림, 가시적 아티팩트, 기하학적 일관성 저하 등의 문제를 자주 야기한다. 더욱이 복잡한 동적 장면에서 두 경계 프레임만으로 동작을 추정하는 것은 본질적으로 제약이 부족한 문제이다. 반면 이벤트 카메라는 초고시간 해상도의 비동기 측정을 제공하여 밀도 높은 동작 단서를 제공한다. 본 논문에서는 RGB 외관, 깊이 기하, 이벤트 기반 시간적 단서를 공동으로 활용하는 RGB-D 비디오 보간을 위한 통합 멀티모달 프레임워크를 제안한다. 구체적으로, 먼저 RGB, 깊이 및 이벤트 단서를 추출하고 융합한 후, RGB에 대한 모션 기저 정제와 깊이에 대한 Z축 정제를 통해 양방향 플로우를 추정하고, 마지막으로 양방향 와핑과 소프트 블렌딩을 통해 목표 RGB-D 프레임을 합성한다. 또한, 세 가지 모달리티 학습 데이터의 부족을 해소하기 위해 새로운 RGB-D-Event 데이터셋을 구축한다. 공개 벤치마크와 제안된 데이터셋에 대한 광범위한 실험을 통해, 본 방법이 기존 접근법 대비 RGB 보간에서 우수한 측광 충실도와 깊이 보간에서 더 강력한 기하학적 정확도를 달성함을 입증한다.