PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2410.00713v5cs.CV공식 코드 · Papers with Code

RAD: 로봇 관측 기반 실생활 이상 탐지 데이터셋 및 벤치마크

RAD: A Dataset and Benchmark for Real-Life Anomaly Detection with Robotic Observations

이상 탐지(anomaly detection)는 로봇 인식과 산업 검사에 필수적이지만, 대부분의 벤치마크는 고정된 시점과 안정적인 조명 하의 통제된 조건에서 수집된다. 이러한 설정은 카메라 자세(pose), 조명, 표면 반사율(reflectance)이 지속적으로 변하는 로봇 배치 환경을 반영하지 못한다. 우리는 자세에 무관한(pose-agnostic) 이상 탐지를 위한 로봇 촬영 다중 시점(multi-view) 벤치마크인 RAD(Realistic Anomaly Detection)를 제안한다. RAD는 통제되지 않은 조명 하에서 Franka 로봇 팔과 RGB-D 카메라로 물체당 68개 시점에서 촬영한 13개 일상 물체 카테고리의 5,848장 RGB 이미지를 포함한다. 데이터셋은 긁힘(scratched), 결손(missing), 얼룩(stained), 압착(squeezed)의 네 가지 현실적 결함 유형을 다루며, 위치 파악(localization)을 위한 픽셀 수준 주석을 제공한다. 우리는 테스트 자세가 알려지지 않은 현실적 설정에서 대표적인 2D 특징(feature) 기반 방법, 3D 재구성 파이프라인, 비전-언어(vision-language) 모델을 벤치마킹한다. 결과는 기존 벤치마크와 RAD에서의 성능 사이에 뚜렷한 격차가 있음을 보여준다. 강력한 2D 특징 임베딩(feature-embedding) 방법은 이미지 수준 탐지에서 가장 신뢰할 만하게 유지되며, 3D 접근법은 픽셀 수준 위치 파악에서 더 경쟁력 있지만 반사 재료, 기하학적 대칭, 희소한 시점 커버리지에 취약하다. 비전-언어 모델은 분류(classification)와 위치 파악 모두에서 낮은 성능을 보인다. RAD는 견고한 로봇 검사를 위한 도전적인 테스트베드(testbed)를 제공하며, 외관(appearance), 기하(geometry), 시점 불확실성(viewpoint uncertainty)의 공동 모델링에서 남은 과제를 강조한다. 웹사이트와 코드는 https://chang-xinhai.github.io/rad-website/ 에서 제공된다.

arXiv:2408.10581v3cs.CV공식 코드 · Papers with Code

포인트 임베딩 트랜스포머 기반 다중 뷰 손 재구성

Multi-view Hand Reconstruction with a Point-Embedded Transformer

본 연구는 실제 세계의 손 모션 캡처 시나리오에서 실용적으로 사용할 수 있도록 설계된, 새롭고 일반화 가능한 다중 뷰 손 메쉬 재구성(HMR) 모델인 POEM을 제안한다. POEM 모델의 진전은 두 가지 주요 측면으로 구성된다. 첫째, 문제 모델링 측면에서 다중 뷰 스테레오 공간 내에 정적 기준점(basis point)을 임베딩하는 방법을 제안한다. 점은 3D 정보의 자연스러운 표현 형태이며, 각 뷰에서 서로 다른 투영을 갖기 때문에 다양한 뷰 간 특징을 융합하는 이상적인 매개체 역할을 한다. 따라서 본 방법은 간단하면서도 효과적인 아이디어를 활용한다. 즉, 복잡한 3D 손 메쉬는 다음 세 가지 조건을 만족하는 3D 기준점 집합으로 표현할 수 있다. 1) 다중 뷰 스테레오에 임베딩되고, 2) 다중 뷰 이미지로부터 특징을 담으며, 3) 손을 감싼다. 둘째 진전은 학습 전략에 있다. 다섯 개의 대규모 다중 뷰 데이터셋을 결합하여 활용하고, 카메라의 수, 순서, 포즈에 대한 무작위화를 적용한다. 이처럼 방대한 데이터와 다양한 카메라 구성을 처리함으로써, 본 모델은 실제 응용에서 뛰어난 일반화 성능을 보여준다. 그 결과 POEM은 좌우 양손 모두에 대해 사용자 친화적이고 비용 효율적인 다중 뷰 모션 캡처를 가능하게 하는, 매우 실용적인 즉시 사용 가능한(plug-and-play) 솔루션을 제시한다. 모델과 소스 코드는 https://github.com/JubSteven/POEM-v2 에서 이용할 수 있다.