Ontology Based Global and Collective Motion Patterns for Event Classification in Basketball Videos
원문 초록
In multi-person videos, especially team sport videos, a semantic event is usually represented as a confrontation between two teams of players, which can be represented as collective motion. In broadcast basketball videos, specific camera motions are used to present specific events. Therefore, a semantic event in broadcast basketball videos is closely related to both the global motion (camera motion) and the collective motion. A semantic event in basketball videos can be generally divided into three stages: pre-event, event occurrence (event-occ), and post-event. In this paper, we propose an ontology-based global and collective motion pattern (On_GCMP) algorithm for basketball event classification. First, a two-stage GCMP based event classification scheme is proposed. The GCMP is extracted using optical flow. The two-stage scheme progressively combines a five-class event classification algorithm on event-occs and a two-class event classification algorithm on pre-events. Both algorithms utilize sequential convolutional neural networks (CNNs) and long short-term memory (LSTM) networks to extract the spatial and temporal features of GCMP for event classification. Second, we utilize post-event segments to predict success/failure using deep features of images in the video frames (RGB_DF_VF) based algorithms. Finally the event classification results and success/failure classification results are integrated to obtain the final results. To evaluate the proposed scheme, we collected a new dataset called NCAA+, which is automatically obtained from the NCAA dataset by extending the fixed length of video clips forward and backward of the corresponding semantic events. The experimental results demonstrate that the proposed scheme achieves the mean average precision of 58.10% on NCAA+. It is higher by 6.50% than state-of-the-art on NCAA.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기
MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series
자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
상대 방전 단계(RDS) 분류: 배터리 방전 진행 상황의 실용적 지표
Relative Discharge Stage (RDS) Classification: A Practical Indicator of Battery Discharge Progress
실제 배터리 응용 환경에서는 미래의 부하 프로파일을 알 수 없고 매우 동적이기 때문에, 정확한 잔여 방전 시간(RDT) 예측은 어려운 과제이다. 연속적인 RDT 회귀의 불확실성을 해결하기 위해, 본 논문은 잔여 방전 상태를 Normal, Good, Moderate, Low, Recharge Required의 다섯 가지 해석 가능한 클래스로 나타내는 배터리 관리 지표인 상대 방전 단계(Relative Discharge Stage, RDS)를 제안한다. 현재의 충전 수준을 반영하는 충전 상태(SOC)와 달리, RDS는 추론 시 미래 전류 정보 없이도 남은 방전 과정을 특성화한다. 이를 위해 SOC 추정과 경량 시간적 학습을 결합한 물리 기반(physics-informed) RDS 분류 프레임워크를 제안한다. SOC 추정 구성요소는 2차 ECM 상태 및 단자 전압 예측, 히스테리시스 및 OCV 온도 보정, 코어 온도 추정, AEKF 상태 보정을 포함하며, OCV 평가, 온라인 STC-ECM 매개변수 적응, 사전학습된 신경망 잔차 전압 보정이 이를 뒷받침한다. 측정된 전류, 단자 전압, 표면 온도, 그리고 추정된 SOC는 슬라이딩 관측 윈도우로 구성되어 경량 시간적 합성곱 신경망(temporal convolutional network)으로 처리된다. 두 개의 공개 리튬이온 배터리 데이터셋에 대한 실험을 통해, 다양한 부하 및 열 조건에서 80%를 초과하는 정확도로 견고한 RDS 분류 성능을 확인하였다.
동역학 및 불확실성을 고려한 트리 기반 가우시안 프로세스 분류기를 이용한 영상 기반 수술 기량 평가
Video-based Surgical Skill Assessment Using Dynamics-and-Uncertainty-Aware Tree-based Gaussian Process Classifier
제안된 파이프라인은 표현-흐름(representation-flow) 합성곱 신경망과 동역학 및 불확실성을 고려한 트리 기반 가우시안 프로세스(Gaussian Process) 분류기를 통합한다. 이 프레임워크에서 잠재적 운동 동역학(latent motion dynamics)은 판별적 표현(discriminative representation)으로 활용되는 동시에 입력 불확실성의 원천으로도 활용되어, 시간적 변화와 비정상적인 동작 전환에 대한 견고성을 향상시킨다. 기존의 심층 학습 접근법과 비교했을 때, 제안된 전략은 더 적은 학습 데이터를 필요로 하며 계산 효율성이 향상된다. 분류 성능을 더욱 향상시키기 위해, 수술 영상 특징에 내재된 의미론적(semantic), 흐름(flow), 동역학(dynamic) 정보를 효과적으로 포착하는 새로운 의미 인식 복합 커널(semantic-aware compound kernel)을 도입한다. 또한 복합 커널 프레임워크의 견고성과 실용적 적용 가능성을 강화하기 위해 불확실성 인식 커널(uncertainty-aware kernel)을 개발한다. 제안된 방법은 두 가지 벤치마크 데이터셋, 즉 JIGSAWS와 Cataract-LMM(Capsulorhexis) 데이터셋에서 평가되었다. 실험 결과는 두 데이터셋 모두에서 강력한 성능을 보여주며, JIGSAWS에서의 LOSO 및 LOUO 평가 프로토콜을 포함하여, 특히 JIGSAWS에서의 피험자 독립적(subject-independent) LOUO 프로토콜에서 프레임워크는 96.9%의 평균 정확도(mean accuracy)를 달성한다. 피험자 내(within-subject) LOSO 프로토콜 하의 결과는 선행 연구와의 비교 가능성을 위해 보고되었으며, 계산 비용을 크게 절감하면서도 경쟁력 있는 정확도를 달성한다. 전체적으로, 제안된 파이프라인은 영상 기반 수술 기량 평가를 위한 효율적이고 정확한 프레임워크를 제공한다.
멀티모달 분류에서 임의 모달리티 결손을 위한 공동 학습
Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification
멀티모달 분류는 다양한 데이터 소스에 걸친 상호 보완적 정보를 활용하여 예측 성능을 높인다. 그러나 센서 고장이나 개인정보 보호 제한과 같은 운영상 제약에 놓인 실제 환경에서는 학습과 추론 시점 간 모달리티 가용성이 불일치하게 된다. 결손 모달리티를 다루기 위해 기존 연구는 주로 이모달(bimodal) 데이터 설정을 다루었으며 견고한 퓨전(fusion) 프로세스 설계에 초점을 맞추었다. 이에 우리는 멀티모달 퓨전보다는 모달리티 간 협력을 우선시하는 멀티모달 공동 학습(co-learning) 프레임워크를 채택한다. 구체적으로, 사전 정의된 결손 모달리티 패턴을 가정하지 않고 임의의 모달리티 부분집합이 부재할 수 있는 상황을 고려하며, 이러한 추론 시나리오를 임의 모달리티 결손(missing arbitrary modalities)이라고 한다. 이 문제를 해결하기 위해 특징(feature) 수준과 결정(decision) 수준 모두의 정보를 활용하는 두 가지 대안적 접근법을 제안한다. 두 개의 멀티모달 분류 벤치마크에서의 실험은 다양한 모달리티 결손 조건에서 상당한 강건성 향상을 보여준다. 첫 번째 방법은 단일 모달리티가 부재하는 최소 결손 조건에서 더 견고한 동작을 보이는 반면, 두 번째 방법은 하나를 제외한 모든 모달리티가 부재하는 극단적 결손 조건에서 더 나은 성능을 보인다. 코드는 https://github.com/fmenat/Co4Miss 에서 확인할 수 있다.
ADABORD: 서열 분류를 위한 새로운 AdaBoost 접근법
ADABORD: a novel AdaBoost approach for ordinal classification
서열 분류(OC)는 클래스가 자연스러운 순서를 따르는 분류 작업을 다룬다. OC 분야의 진전에도 불구하고, 기존 접근법 중 많은 것들은 서열 정보를 충분히 활용하지 못하고 문제를 명목 분류로 취급하여 성능 잠재력을 잃는다. 본 연구에서는 서열 분류 문제를 위해 특별히 설계된 AdaBoost 프레임워크인 ADABORD를 제안한다. 클래스의 서열적 특성은 잘 알려진 AdaBoost 알고리즘의 두 가지 핵심 구성 요소에 통합된다: 1) 기본 추정기(base estimator)로, 서열 Gini 분할 기준을 갖는 의사결정 트리를 제안한다; 2) 각 단계에서 샘플 가중치를 업데이트하고 최종 앙상블 모델에서 분류기의 가중치를 갱신하는 데 사용되는 오차 함수로, 클래스 간 순서와 거리를 모두 고려하는 척도인 절대 순위 확률 점수(absolute ranked probability score)로 주어진다. ADABORD는 현재까지 OC를 위한 최대 규모의 벤치마크 컬렉션인 TOC-UCO 저장소에서 7개의 최신(state-of-the-art) 방법과 광범위하게 비교된다. 통계 분석으로 뒷받침된 실험 결과는 ADABORD가 경쟁 방법들을 유의미하게 능가함을 보여주며, 특히 서열 구조가 더 뚜렷해지는 5개 이상의 클래스를 갖는 데이터셋에서 그렇다. 소스 코드와 모든 실험 프로토콜은 재현성을 보장하고 OC의 향후 연구를 촉진하기 위해 공개적으로 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.