Unleashing the Power of Depth and Pose Estimation Neural Networks by Designing Compatible Endoscopic Images
원문 초록
Deep learning models have witnessed depth and pose estimation framework on unannotated datasets as a effective pathway to succeed in endoscopic navigation. Most current techniques are dedicated to developing more advanced neural networks to improve the accuracy. However, existing methods ignore the special properties of endoscopic images, resulting in an inability to fully unleash the power of neural networks. In this study, we conduct a detail analysis of the properties of endoscopic images and improve the compatibility of images and neural networks, to unleash the power of current neural networks. First, we introcude the Mask Image Modelling (MIM) module, which inputs partial image information instead of complete image information, allowing the network to recover global information from partial pixel information. This enhances the network' s ability to perceive global information and alleviates the phenomenon of local overfitting in convolutional neural networks due to local artifacts. Second, we propose a lightweight neural network to enhance the endoscopic images, to explicitly improve the compatibility between images and neural networks. Extensive experiments are conducted on the three public datasets and one inhouse dataset, and the proposed modules improve baselines by a large margin. Furthermore, the enhanced images we proposed, which have higher network compatibility, can serve as an effective data augmentation method and they are able to extract more stable feature points in traditional feature point matching tasks and achieve outstanding performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
현장(point-of-care) 유도 배치를 위한 실시간 EEG 캡 전극 검출
Real-Time EEG Cap Electrode Detection for Guided Point-of-Care Placement
우리는 라이브 웹캠 스트림에서 EEG 캡 전극을 검출하고 해부학적 배치를 실시간으로 검증하는 2단계 비전 시스템을 제안한다. 단일 클래스 YOLO 검출기가 전극을 위치 특정하고, 기하학적 단계가 얼굴 랜드마크로부터 각 검출 결과를 명명된 10-20 역할에 할당한다. 임상적으로 검증된 Small/Medium/Large 캡을 착용한 5명의 피험자에 대해 피험자 분리(subject-disjoint) leave-one-subject-out(LOSO) 교차 검증으로 평가한 결과, 검출기는 5개의 홀드아웃 fold에서 mAP@.5 = 0.94 +/- 0.07(pooled 0.96)를 달성한다. 전용 leave-one-cap-out 축에서 피험자와 무관하게 특정 캡의 모든 프레임을 홀드아웃하면 Medium과 Large의 mAP@.5는 LOSO 대비 0.01 이내(0.97, 0.97)인 반면 Small은 0.72 +/- 0.28로 하락하며, 이 격차는 캡 스타일보다 피험자 숙련도와 교란(confound)된다. 기하학적 증강(rotation, perspective, mixup)은 추론 비용 없이 평면 내 롤(in-plane-roll) 견고성과 측두(temporal) 전극 재현율을 향상시키며, 랜드마크 기반 머리 크롭(head crop)은 사용 가능 거리 범위를 확장하여 겉보기 스케일(apparent scale) 0.6배에서 mAP@.5를 0.23에서 0.45로 끌어올린다. 컴팩트한 모바일 후보 백본(YOLOv10n)은 640 px에서 범용 CPU 상에서 검출기를 실시간 처리량(19 FPS)으로 유지한다.
GNOCHI: 근접 인간-인간 상호작용을 위한 생성 신경 모델
GNOCHI: Generative Neural mOdel for Close Human-Human Interactions
가상 환경에서 사실적인 3D 인간-인간 상호작용을 생성하는 것은 인체의 높은 자유도와 서로 충돌하지 않는 물리적으로 정확한 자세가 필요하기 때문에 어렵다. 인간-인간 상호작용에 대한 전통적인 방법들은 모션 트래킹 또는 3D 신체 재구성에 기반하지만 생성 능력이 부족하다. 최근의 생성 방법들은 텍스트나 이미지 입력을 통해 개별 또는 상호작용하는 모션의 합성을 가능하게 하지만, 일반적으로 근접 상호작용 모델링에서는 한계를 보인다. 본 논문은 조건부 변분 오토인코더(cVAE)를 사용하여 근접 3D 인간-인간 상호작용을 위한 새로운 생성 모델을 소개하며, 이 모델은 다른 사람의 자세를 조건으로 한 사람의 자세를 생성하여 제어 가능하고 다양한 상호작용 합성을 가능하게 한다. 모델 학습을 위해 인간-인간 상호작용 분야의 두 가지 오랜 과제를 해결한다. 첫째, 데이터 부족 문제에 대해서는 합성적이면서도 사실적인 상호작용 자세를 생성하는 자동화된 지도 학습 기반 데이터 증강 전략을 제안하고, 둘째, 생성 접근법에서의 충돌 인식 문제에 대해서는 물리적으로 올바른 상호작용을 보장하기 위해 체적 프록시를 사용한 충돌 해소 기법에 기반한 자기지도 손실을 제안한다. 본 논문은 모델의 역량을 광범위하게 평가하고, 현재 최신 방법으로는 생성할 수 없는 다양하고 물리적으로 올바른 상호작용들을 시연한다.
자폐 관련 자기자극적 손 특이행동의 시퀀스 기반 분류에서 프레임 레이트 효과 평가
Evaluating the Effect of Frame Rate in Sequence-Based Classification of Autism-Related Self-Stimulatory Hand Idiosyncrasies
자폐 스펙트럼 장애(ASD)는 전 세계 7,500만 명 이상에게 영향을 미치지만, 원격 행동 선별을 위한 확장 가능한 계산적 방법은 여전히 제한적이다. 본 연구는 비디오에서 자폐 관련 자기자극적 행동을 자동으로 탐지하는 데 있어 두 가지 보완적 과제를 다룬다: (1) 최적의 시퀀스 기반 신경망 아키텍처와 시간적 샘플링 레이트 식별, (2) 소규모 행동 데이터셋 학습을 위한 데이터 증강 전략 특성화. 첫 번째 목표를 위해, 장단기 메모리(LSTM)와 게이트 순환 유닛(GRU) 모델을 Self-Stimulatory Behavior Diagnosis(SSBD) 데이터셋의 포즈 기반 특징에 대해 1, 5, 15, 30, 45, 90 프레임 샘플링 간격으로 학습시켰다. 두 아키텍처 모두 기존 합성곱 신경망(CNN) 베이스라인(정확도 62~76%)을 초과하였으며, 15프레임 간격 샘플링에서 최고 정확도 97.5%(LSTM)와 98.75%(GRU)를 달성하였다. 두 번째 목표를 위해, I3D 전이학습 파이프라인에 열 가지 데이터 증강 전략을 적용하고 각 기법의 한계 기여도를 정량화하는 절제 연구(ablation study)를 수행하였다. 수평 뒤집기(horizontal flip)가 단독으로 가장 높은 정확도(48.78%)를 달성한 반면, 증강 파이프라인에서 업샘플링을 제외했을 때 성능 저하가 가장 크게 나타나 복잡한 행동 비디오 증강에서 업샘플링의 필요성이 확인되었다. 각 비디오의 시간적으로 분할된 구간에서 피험자별 모델을 학습 및 평가하는 개인화된 기계학습 접근법은 일관된 예측을 산출하였다(평균 손실 1.84, 표준편차 0.79). 이러한 결과는 데이터가 부족한 임상 영역에서 비디오 기반 행동 분류를 위한 아키텍처 선택, 샘플링 레이트, 데이터 증강 전략에 관한 구체적인 지침을 실무자에게 제공한다.
GIRAF: 관절형 객체와의 일반화 가능한 인간 상호작용을 향하여
GIRAF: Towards Generalizable Human Interactions with Articulated Objects
관절형 객체와의 사실적인 전신 인간 상호작용을 합성하는 것은 구현된 AI 및 그래픽스의 근본적인 도전 과제로, 로봇 학습 및 가상 에이전트 응용 분야에서 활용됩니다. 기존 모델들은 여전히 한계가 있습니다: 일부는 정적 객체를 사용하는 단순한 활동에 초점을 맞추고, 다른 일부는 손만을 이용한 조작에만 주의를 제한합니다. 이로 인해 관절형 객체에 접근하고, 조작하고, 이동시키는 조율된 전신 동작을 사실적이고 일반화 가능한 방식으로 생성하는 문제가 미해결 상태로 남아 있습니다. 핵심 어려움은 이동(locomotion), 세밀한 접촉(contact), 그리고 객체 관절 운동에 대해 공동으로 추론하는 데 있습니다. 모델은 객체 형상에 걸쳐 전이 가능한 미묘한 손-객체 대응 관계를 포착하는 동시에, 내비게이션에서 조작으로의 매끄러운 전환을 생성해야 합니다. 아울러, 대규모 쌍을 이루는 모션-씬 데이터의 희소성으로 인해 다양한 객체 위치 및 형상에 걸친 일반화가 어렵습니다. 우리는 세 가지 핵심 아이디어를 통해 이러한 도전 과제를 해결하는 텍스트 조건부 확산 모델을 제안합니다: 손-객체 접촉을 객체 표면과 통합하는 객체 중심 표현, 이동과 상호작용의 균형을 맞추는 혼합 도메인 학습 전략, 그리고 학습 다양성을 확장하는 접촉 기반 증강 기법입니다. 실험을 통해, 우리의 방법은 미관측 객체 구성에 대한 강력한 일반화 능력을 입증하였으며, 현재의 최첨단 방법들을 능가하였습니다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.