Category-Level 6D Object Pose Estimation with Flexible Vector-Based Rotation Representation
원문 초록
In this paper, we propose a novel 3D graph convolution based pipeline for category-level 6D pose and size estimation from monocular RGB-D images. The proposed method leverages an efficient 3D data augmentation and a novel vector-based decoupled rotation representation. Specifically, we first design an orientation-aware autoencoder with 3D graph convolution for latent feature learning. The learned latent feature is insensitive to point shift and size thanks to the shift and scale-invariance properties of the 3D graph convolution. Then, to efficiently decode the rotation information from the latent feature, we design a novel flexible vector-based decomposable rotation representation that employs two decoders to complementarily access the rotation information. The proposed rotation representation has two major advantages: 1) decoupled characteristic that makes the rotation estimation easier; 2) flexible length and rotated angle of the vectors allow us to find a more suitable vector representation for specific pose estimation task. Finally, we propose a 3D deformation mechanism to increase the generalization ability of the pipeline. Extensive experiments show that the proposed pipeline achieves state-of-the-art performance on category-level tasks. Further, the experiments demonstrate that the proposed rotation representation is more suitable for the pose estimation tasks than other rotation representations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
현장(point-of-care) 유도 배치를 위한 실시간 EEG 캡 전극 검출
Real-Time EEG Cap Electrode Detection for Guided Point-of-Care Placement
우리는 라이브 웹캠 스트림에서 EEG 캡 전극을 검출하고 해부학적 배치를 실시간으로 검증하는 2단계 비전 시스템을 제안한다. 단일 클래스 YOLO 검출기가 전극을 위치 특정하고, 기하학적 단계가 얼굴 랜드마크로부터 각 검출 결과를 명명된 10-20 역할에 할당한다. 임상적으로 검증된 Small/Medium/Large 캡을 착용한 5명의 피험자에 대해 피험자 분리(subject-disjoint) leave-one-subject-out(LOSO) 교차 검증으로 평가한 결과, 검출기는 5개의 홀드아웃 fold에서 mAP@.5 = 0.94 +/- 0.07(pooled 0.96)를 달성한다. 전용 leave-one-cap-out 축에서 피험자와 무관하게 특정 캡의 모든 프레임을 홀드아웃하면 Medium과 Large의 mAP@.5는 LOSO 대비 0.01 이내(0.97, 0.97)인 반면 Small은 0.72 +/- 0.28로 하락하며, 이 격차는 캡 스타일보다 피험자 숙련도와 교란(confound)된다. 기하학적 증강(rotation, perspective, mixup)은 추론 비용 없이 평면 내 롤(in-plane-roll) 견고성과 측두(temporal) 전극 재현율을 향상시키며, 랜드마크 기반 머리 크롭(head crop)은 사용 가능 거리 범위를 확장하여 겉보기 스케일(apparent scale) 0.6배에서 mAP@.5를 0.23에서 0.45로 끌어올린다. 컴팩트한 모바일 후보 백본(YOLOv10n)은 640 px에서 범용 CPU 상에서 검출기를 실시간 처리량(19 FPS)으로 유지한다.
GNOCHI: 근접 인간-인간 상호작용을 위한 생성 신경 모델
GNOCHI: Generative Neural mOdel for Close Human-Human Interactions
가상 환경에서 사실적인 3D 인간-인간 상호작용을 생성하는 것은 인체의 높은 자유도와 서로 충돌하지 않는 물리적으로 정확한 자세가 필요하기 때문에 어렵다. 인간-인간 상호작용에 대한 전통적인 방법들은 모션 트래킹 또는 3D 신체 재구성에 기반하지만 생성 능력이 부족하다. 최근의 생성 방법들은 텍스트나 이미지 입력을 통해 개별 또는 상호작용하는 모션의 합성을 가능하게 하지만, 일반적으로 근접 상호작용 모델링에서는 한계를 보인다. 본 논문은 조건부 변분 오토인코더(cVAE)를 사용하여 근접 3D 인간-인간 상호작용을 위한 새로운 생성 모델을 소개하며, 이 모델은 다른 사람의 자세를 조건으로 한 사람의 자세를 생성하여 제어 가능하고 다양한 상호작용 합성을 가능하게 한다. 모델 학습을 위해 인간-인간 상호작용 분야의 두 가지 오랜 과제를 해결한다. 첫째, 데이터 부족 문제에 대해서는 합성적이면서도 사실적인 상호작용 자세를 생성하는 자동화된 지도 학습 기반 데이터 증강 전략을 제안하고, 둘째, 생성 접근법에서의 충돌 인식 문제에 대해서는 물리적으로 올바른 상호작용을 보장하기 위해 체적 프록시를 사용한 충돌 해소 기법에 기반한 자기지도 손실을 제안한다. 본 논문은 모델의 역량을 광범위하게 평가하고, 현재 최신 방법으로는 생성할 수 없는 다양하고 물리적으로 올바른 상호작용들을 시연한다.
자폐 관련 자기자극적 손 특이행동의 시퀀스 기반 분류에서 프레임 레이트 효과 평가
Evaluating the Effect of Frame Rate in Sequence-Based Classification of Autism-Related Self-Stimulatory Hand Idiosyncrasies
자폐 스펙트럼 장애(ASD)는 전 세계 7,500만 명 이상에게 영향을 미치지만, 원격 행동 선별을 위한 확장 가능한 계산적 방법은 여전히 제한적이다. 본 연구는 비디오에서 자폐 관련 자기자극적 행동을 자동으로 탐지하는 데 있어 두 가지 보완적 과제를 다룬다: (1) 최적의 시퀀스 기반 신경망 아키텍처와 시간적 샘플링 레이트 식별, (2) 소규모 행동 데이터셋 학습을 위한 데이터 증강 전략 특성화. 첫 번째 목표를 위해, 장단기 메모리(LSTM)와 게이트 순환 유닛(GRU) 모델을 Self-Stimulatory Behavior Diagnosis(SSBD) 데이터셋의 포즈 기반 특징에 대해 1, 5, 15, 30, 45, 90 프레임 샘플링 간격으로 학습시켰다. 두 아키텍처 모두 기존 합성곱 신경망(CNN) 베이스라인(정확도 62~76%)을 초과하였으며, 15프레임 간격 샘플링에서 최고 정확도 97.5%(LSTM)와 98.75%(GRU)를 달성하였다. 두 번째 목표를 위해, I3D 전이학습 파이프라인에 열 가지 데이터 증강 전략을 적용하고 각 기법의 한계 기여도를 정량화하는 절제 연구(ablation study)를 수행하였다. 수평 뒤집기(horizontal flip)가 단독으로 가장 높은 정확도(48.78%)를 달성한 반면, 증강 파이프라인에서 업샘플링을 제외했을 때 성능 저하가 가장 크게 나타나 복잡한 행동 비디오 증강에서 업샘플링의 필요성이 확인되었다. 각 비디오의 시간적으로 분할된 구간에서 피험자별 모델을 학습 및 평가하는 개인화된 기계학습 접근법은 일관된 예측을 산출하였다(평균 손실 1.84, 표준편차 0.79). 이러한 결과는 데이터가 부족한 임상 영역에서 비디오 기반 행동 분류를 위한 아키텍처 선택, 샘플링 레이트, 데이터 증강 전략에 관한 구체적인 지침을 실무자에게 제공한다.
GIRAF: 관절형 객체와의 일반화 가능한 인간 상호작용을 향하여
GIRAF: Towards Generalizable Human Interactions with Articulated Objects
관절형 객체와의 사실적인 전신 인간 상호작용을 합성하는 것은 구현된 AI 및 그래픽스의 근본적인 도전 과제로, 로봇 학습 및 가상 에이전트 응용 분야에서 활용됩니다. 기존 모델들은 여전히 한계가 있습니다: 일부는 정적 객체를 사용하는 단순한 활동에 초점을 맞추고, 다른 일부는 손만을 이용한 조작에만 주의를 제한합니다. 이로 인해 관절형 객체에 접근하고, 조작하고, 이동시키는 조율된 전신 동작을 사실적이고 일반화 가능한 방식으로 생성하는 문제가 미해결 상태로 남아 있습니다. 핵심 어려움은 이동(locomotion), 세밀한 접촉(contact), 그리고 객체 관절 운동에 대해 공동으로 추론하는 데 있습니다. 모델은 객체 형상에 걸쳐 전이 가능한 미묘한 손-객체 대응 관계를 포착하는 동시에, 내비게이션에서 조작으로의 매끄러운 전환을 생성해야 합니다. 아울러, 대규모 쌍을 이루는 모션-씬 데이터의 희소성으로 인해 다양한 객체 위치 및 형상에 걸친 일반화가 어렵습니다. 우리는 세 가지 핵심 아이디어를 통해 이러한 도전 과제를 해결하는 텍스트 조건부 확산 모델을 제안합니다: 손-객체 접촉을 객체 표면과 통합하는 객체 중심 표현, 이동과 상호작용의 균형을 맞추는 혼합 도메인 학습 전략, 그리고 학습 다양성을 확장하는 접촉 기반 증강 기법입니다. 실험을 통해, 우리의 방법은 미관측 객체 구성에 대한 강력한 일반화 능력을 입증하였으며, 현재의 최첨단 방법들을 능가하였습니다.
YOLOv5-6D: Advancing 6-DoF Instrument Pose Estimation in Variable X-Ray Imaging Geometries
토론
이 논문과 연결된 포럼 글이 아직 없습니다.