Grand Challenge: Real-time Destination and ETA Prediction for Maritime Traffic
원문 초록
In this paper, we present our approach for solving the DEBS Grand Challenge 2018. The challenge asks to provide a prediction for (i) a destination and the (ii) arrival time of ships in a streaming-fashion using Geo-spatial data in the maritime context. Novel aspects of our approach include the use of ensemble learning based on Random Forest, Gradient Boosting Decision Trees (GBDT), XGBoost Trees and Extremely Randomized Trees (ERT) in order to provide a prediction for a destination while for the arrival time, we propose the use of Feed-forward Neural Networks. In our evaluation, we were able to achieve an accuracy of 97% for the port destination classification problem and 90% (in mins) for the ETA prediction.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
사고 다양성의 정량화: 가중 LLM 앙상블 향상 효과에 대한 예측 법칙
Quantifying Diversity of Thought: A Predictive Law of Weighted LLM Ensemble Lift
본 논문에서는 대규모 언어 모델(LLM) 앙상블에서 사고의 다양성(diversity of thought)이 제공하는 성능 향상(uplift)을 계산하기 위한 실험적으로 검증된 형식 법칙을 제시합니다. 우리는 제1원리(first principles)로부터 LLM 앙상블 성능 향상 효과(lift)를 구제 질량(rescue mass)과 손상 질량(damage mass)으로 정확히 분해하고, 이를 바탕으로 성능 향상을 계산하는 간결한 휴리스틱을 도출합니다. 이를 통해 앙상블 성능을 예측하는 지표들을 추출하는데, 이는 정확도 조정 정답 상관관계인 $φ_{\mathrm{adj}}$와 함께 모델 쌍의 정확도 격차 및 집단적 정확도(collective accuracy)입니다. 우리는 두 개의 대학원 수준 과학 벤치마크와 네트워크가 격리된 샌드박스에서 다중 턴(multi-turn) 도구 사용을 통해 디지털 포렌식 조사를 수행하는 새로운 에이전트 기반 사이버 보안 벤치마크(기권을 포함한 23,520회의 채점 시험)에서 10개의 공개 가중치 모델로 생성한 767,520회의 추론을 바탕으로 이 법칙을 테스트하였으며, 모든 투표 데이터는 공개되어 있습니다. 40:60 투표 분할 비율로 SuperGPQA에서 한 번 캘리브레이션된 휴리스틱은 캘리브레이션 세트에서 스피어만 $ρ=0.84$로 성능 향상을 예측하며, 계수를 고정한 상태에서도 캘리브레이션에 사용되지 않은 두 데이터셋으로 전이(transfer)됩니다(GPQA Diamond에서 $ρ=0.51$, 포렌식 태스크에서 $0.84$). 반면 측정된 스왑 질량(swap mass)은 전체에 걸쳐 $R^2\ge 0.96$으로 실제 실현된 성능 향상을 추적합니다. 원시(raw) $φ$는 예측력이 거의 없는 반면(전체에 걸쳐 $R^2\le 0.09$), 정확도 조정 $φ_{\mathrm{adj}}$는 현저히 우수하며(SuperGPQA에서 $R^2=0.67$), 이러한 지표들을 결합한 휴리스틱은 세 데이터셋 전반에서 가장 안정적인 풀링(pooling) 이전 예측 인자입니다.
자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상
Enhancing Multiclass Malware Classification in Resource-Constrained Environments
랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.
상대 방전 단계(RDS) 분류: 배터리 방전 진행 상황의 실용적 지표
Relative Discharge Stage (RDS) Classification: A Practical Indicator of Battery Discharge Progress
실제 배터리 응용 환경에서는 미래의 부하 프로파일을 알 수 없고 매우 동적이기 때문에, 정확한 잔여 방전 시간(RDT) 예측은 어려운 과제이다. 연속적인 RDT 회귀의 불확실성을 해결하기 위해, 본 논문은 잔여 방전 상태를 Normal, Good, Moderate, Low, Recharge Required의 다섯 가지 해석 가능한 클래스로 나타내는 배터리 관리 지표인 상대 방전 단계(Relative Discharge Stage, RDS)를 제안한다. 현재의 충전 수준을 반영하는 충전 상태(SOC)와 달리, RDS는 추론 시 미래 전류 정보 없이도 남은 방전 과정을 특성화한다. 이를 위해 SOC 추정과 경량 시간적 학습을 결합한 물리 기반(physics-informed) RDS 분류 프레임워크를 제안한다. SOC 추정 구성요소는 2차 ECM 상태 및 단자 전압 예측, 히스테리시스 및 OCV 온도 보정, 코어 온도 추정, AEKF 상태 보정을 포함하며, OCV 평가, 온라인 STC-ECM 매개변수 적응, 사전학습된 신경망 잔차 전압 보정이 이를 뒷받침한다. 측정된 전류, 단자 전압, 표면 온도, 그리고 추정된 SOC는 슬라이딩 관측 윈도우로 구성되어 경량 시간적 합성곱 신경망(temporal convolutional network)으로 처리된다. 두 개의 공개 리튬이온 배터리 데이터셋에 대한 실험을 통해, 다양한 부하 및 열 조건에서 80%를 초과하는 정확도로 견고한 RDS 분류 성능을 확인하였다.
인공 숙의 군중의 지혜
The Wisdom of Artificial Deliberative Crowds
많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.
다중 클래스 분류를 위한 누출 없는 스택 앙상블 방법
A Leakage-Free Stacked Ensemble Method for Multiclass Classification
다중 클래스 분류는 다양한 영역에서 기본적인 문제이다. 높은 클래스 간 유사성, 클래스 불균형 데이터셋, 데이터 분포의 변동성으로 인해 여전히 어려운 과제이다. XGBoost와 같은 규칙 기반 분류기는 구조화된 특성에서 더 강한 성능을 달성하는 경우가 많지만, 변수 간의 매끄러운 함수적 관계를 포착하는 데는 한계가 있다. 마찬가지로 신경망 모델은 복잡한 비선형 상호작용을 표현할 수 있지만 과적합과 일반화 문제에 자주 취약하다. 이러한 한계를 해결하기 위해, 우리는 Kolmogorov-Arnold Networks(KAN)를 이용한 함수적 학습과 XGBoost를 통한 규칙 기반 학습을 통합하여 견고한 다중 클래스 분류를 수행하는 누출 없는 스택 앙상블 프레임워크 LFS-FRAME을 제안한다. 제안된 프레임워크는 엄격한 out-of-fold 스택킹 전략을 사용하여 편향되지 않은 메타 특성을 구성하고, 학습과 검증 데이터 간의 완전한 격리를 보장함으로써 성능 누출을 방지한다. 이질적인 기본 학습기의 확률적 출력 위에서 학습함으로써, 메타 분류기는 복잡한 데이터에 존재하는 전역적 함수 패턴과 날카로운 결정 경계를 모두 효과적으로 활용한다. 다중 클래스 데이터셋에 대한 실험 평가에서 LFS-FRAME은 성능 지표를 개선했으며, 전체 정확도는 주요 패밀리 식별에서 89.85%, 하위 패밀리 식별에서 81.74%로, 강력한 단일 모델 베이스라인 대비 향상되었다. 이러한 결과는 신뢰할 수 있고 일반화 가능한 다중 클래스 분류를 위해 누출 없는 함수적 및 규칙 기반 스택킹의 효과를 보여준다.
ADABORD: 서열 분류를 위한 새로운 AdaBoost 접근법
ADABORD: a novel AdaBoost approach for ordinal classification
서열 분류(OC)는 클래스가 자연스러운 순서를 따르는 분류 작업을 다룬다. OC 분야의 진전에도 불구하고, 기존 접근법 중 많은 것들은 서열 정보를 충분히 활용하지 못하고 문제를 명목 분류로 취급하여 성능 잠재력을 잃는다. 본 연구에서는 서열 분류 문제를 위해 특별히 설계된 AdaBoost 프레임워크인 ADABORD를 제안한다. 클래스의 서열적 특성은 잘 알려진 AdaBoost 알고리즘의 두 가지 핵심 구성 요소에 통합된다: 1) 기본 추정기(base estimator)로, 서열 Gini 분할 기준을 갖는 의사결정 트리를 제안한다; 2) 각 단계에서 샘플 가중치를 업데이트하고 최종 앙상블 모델에서 분류기의 가중치를 갱신하는 데 사용되는 오차 함수로, 클래스 간 순서와 거리를 모두 고려하는 척도인 절대 순위 확률 점수(absolute ranked probability score)로 주어진다. ADABORD는 현재까지 OC를 위한 최대 규모의 벤치마크 컬렉션인 TOC-UCO 저장소에서 7개의 최신(state-of-the-art) 방법과 광범위하게 비교된다. 통계 분석으로 뒷받침된 실험 결과는 ADABORD가 경쟁 방법들을 유의미하게 능가함을 보여주며, 특히 서열 구조가 더 뚜렷해지는 5개 이상의 클래스를 갖는 데이터셋에서 그렇다. 소스 코드와 모든 실험 프로토콜은 재현성을 보장하고 OC의 향후 연구를 촉진하기 위해 공개적으로 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.