End-to-End Tracking and Semantic Segmentation Using Recurrent Neural Networks
원문 초록
In this work we present a novel end-to-end framework for tracking and classifying a robot's surroundings in complex, dynamic and only partially observable real-world environments. The approach deploys a recurrent neural network to filter an input stream of raw laser measurements in order to directly infer object locations, along with their identity in both visible and occluded areas. To achieve this we first train the network using unsupervised Deep Tracking, a recently proposed theoretical framework for end-to-end space occupancy prediction. We show that by learning to track on a large amount of unsupervised data, the network creates a rich internal representation of its environment which we in turn exploit through the principle of inductive transfer of knowledge to perform the task of it's semantic classification. As a result, we show that only a small amount of labelled data suffices to steer the network towards mastering this additional task. Furthermore we propose a novel recurrent neural network architecture specifically tailored to tracking and semantic classification in real-world robotics applications. We demonstrate the tracking and classification performance of the method on real-world data collected at a busy road junction. Our evaluation shows that the proposed end-to-end framework compares favourably to a state-of-the-art, model-free tracking solution and that it outperforms a conventional one-shot training scheme for semantic classification.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MACD R-CNN: An Abnormal Cell Nucleus Detection Method
MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기
MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series
자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.
구조적으로 이종인 특징을 위한 코드북 기반 교차 모달 지식 증류
Codebook-Guided Cross-Modal Knowledge Distillation for Structurally Heterogeneous Features
교차 모달 지식 증류(cross-modal knowledge distillation)는 교사 모달리티에서 학생 모달리티로 지식을 전달한다. 기존의 특징 수준 정렬(feature-level alignment) 방법들은 일반적으로 교사와 학생의 특징이 구조적으로 정렬 가능한 표현 공간에 존재한다고 가정한다. 그러나 2D 공간 시각 그리드와 1D 시간 오디오 시퀀스처럼 교차 모달 특징이 구조적으로 이종이며 명확한 단위 수준 대응 관계가 결여된 경우에는 이러한 가정이 성립하지 않아 특징 수준 정렬의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 본 논문에서는 벡터 양자화(vector-quantized) 코드북을 통해 구조적으로 이종인 특징 공간 전반에서 효과적인 지식 전달을 가능하게 하는 교차 모달 증류 프레임워크를 제안한다. 구체적으로, 교사 특징은 본래의 특징 구조와 무관하게 일련의 벡터 형태 코드로 추상화되며, 선택된 코드는 학생 학습을 위한 개념 수준의 앵커(anchor) 역할을 한다. 코드 선택은 태스크 관련성과 학생 호환성 모두에 의해 유도되므로, 학생은 직접적인 단위 수준 특징 정렬 없이도 전달 가능한 교사 지식을 습득할 수 있다. 다양한 교차 모달 증류 시나리오에 걸친 실험 결과는 분류(classification) 및 시맨틱 분할(semantic segmentation) 태스크에서 제안된 프레임워크의 효과를 입증한다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
상대 방전 단계(RDS) 분류: 배터리 방전 진행 상황의 실용적 지표
Relative Discharge Stage (RDS) Classification: A Practical Indicator of Battery Discharge Progress
실제 배터리 응용 환경에서는 미래의 부하 프로파일을 알 수 없고 매우 동적이기 때문에, 정확한 잔여 방전 시간(RDT) 예측은 어려운 과제이다. 연속적인 RDT 회귀의 불확실성을 해결하기 위해, 본 논문은 잔여 방전 상태를 Normal, Good, Moderate, Low, Recharge Required의 다섯 가지 해석 가능한 클래스로 나타내는 배터리 관리 지표인 상대 방전 단계(Relative Discharge Stage, RDS)를 제안한다. 현재의 충전 수준을 반영하는 충전 상태(SOC)와 달리, RDS는 추론 시 미래 전류 정보 없이도 남은 방전 과정을 특성화한다. 이를 위해 SOC 추정과 경량 시간적 학습을 결합한 물리 기반(physics-informed) RDS 분류 프레임워크를 제안한다. SOC 추정 구성요소는 2차 ECM 상태 및 단자 전압 예측, 히스테리시스 및 OCV 온도 보정, 코어 온도 추정, AEKF 상태 보정을 포함하며, OCV 평가, 온라인 STC-ECM 매개변수 적응, 사전학습된 신경망 잔차 전압 보정이 이를 뒷받침한다. 측정된 전류, 단자 전압, 표면 온도, 그리고 추정된 SOC는 슬라이딩 관측 윈도우로 구성되어 경량 시간적 합성곱 신경망(temporal convolutional network)으로 처리된다. 두 개의 공개 리튬이온 배터리 데이터셋에 대한 실험을 통해, 다양한 부하 및 열 조건에서 80%를 초과하는 정확도로 견고한 RDS 분류 성능을 확인하였다.
CasCVS-Net: 안전 핵심 시야(Critical View of Safety) 평가를 위한 단계별 다중 작업 캐스케이드
CasCVS-Net: A Staged Multi-Task Cascade for Critical View of Safety Assessment
복강경 담낭절제술에서 안전 핵심 시야(Critical View of Safety, CVS)의 자동 평가는 세 가지 CVS 기준의 인식과, 크기가 작고 드물며 종종 가려진 담낭-간(hepatocystic) 구조에 대한 해부학적 그라운딩(grounding)을 모두 요구한다. 학습 기반 방법들은 이미지 수준 분류에서 검출, 분할, 또는 그래프 기반 추론에 이르기까지 사용하는 해부학적 정보가 다르지만, 안전에 중요한 해부학 구조의 그라운딩은 여전히 주요 병목으로 남아 있다. 우리는 Endoscapes 데이터셋으로 학습된, 객체 검출, 의미 분할(semantic segmentation), CVS 평가를 공동으로 수행하는 단계별 다중 작업 캐스케이드 CasCVS-Net을 제안한다. 모델은 예측된 해부학을 통해 작업들을 결합한다. 예측된 박스가 분할을 안내하고, 예측된 마스크가 CVS 분류를 위한 영역 수준 특징을 제공하므로, 추론 시 CVS 평가는 정답 주석(ground-truth annotation)이 아닌 모델 예측만을 사용한다. 이 결합 설정에서 최적화(optimization) 불안정성을 줄이기 위해 학습은 검출에서 검출-분할로, 이어서 전체 세 작업 캐스케이드로 진행한 뒤 작업별 미세조정을 수행한다. 공개된 미공개 테스트 세트에 대한 평가는 CasCVS-Net이 세 작업 모두에서 대응되는 단일 작업 기준선보다 개선되며, 검출 mAP 32.0, 의미 mIoU 46.8, 드문 해부학 mIoU 15.3, CVS mAP 67.2를 달성함을 보여준다. 최첨단 LG-CVS 및 SV2LSTG보다 상대 CVS mAP 기준 각각 6.3% 및 4.5% 우수하며, 이는 각각 4.0 및 2.9 mAP 포인트에 해당한다. 이러한 결과는 예측된 박스와 마스크를 통한 단계적 작업 결합이 CVS 평가, 특히 드문 담낭-간 구조에 대한 해부학적 그라운딩을 개선함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.