arXiv:1603.04416

Criteria of efficiency for conformal prediction

Vladimir Vovk, Ilia Nouretdinov, Valentina Fedorova, Ivan Petej, Alex Gammerman

제출 2016-03-14

원문 초록

We study optimal conformity measures for various criteria of efficiency of classification in an idealised setting. This leads to an important class of criteria of efficiency that we call probabilistic; it turns out that the most standard criteria of efficiency used in literature on conformal prediction are not probabilistic unless the problem of classification is binary. We consider both unconditional and label-conditional conformal prediction.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27986v1cs.LG공통 태그 General Classification, Classification, Prediction

상대 방전 단계(RDS) 분류: 배터리 방전 진행 상황의 실용적 지표

Relative Discharge Stage (RDS) Classification: A Practical Indicator of Battery Discharge Progress

실제 배터리 응용 환경에서는 미래의 부하 프로파일을 알 수 없고 매우 동적이기 때문에, 정확한 잔여 방전 시간(RDT) 예측은 어려운 과제이다. 연속적인 RDT 회귀의 불확실성을 해결하기 위해, 본 논문은 잔여 방전 상태를 Normal, Good, Moderate, Low, Recharge Required의 다섯 가지 해석 가능한 클래스로 나타내는 배터리 관리 지표인 상대 방전 단계(Relative Discharge Stage, RDS)를 제안한다. 현재의 충전 수준을 반영하는 충전 상태(SOC)와 달리, RDS는 추론 시 미래 전류 정보 없이도 남은 방전 과정을 특성화한다. 이를 위해 SOC 추정과 경량 시간적 학습을 결합한 물리 기반(physics-informed) RDS 분류 프레임워크를 제안한다. SOC 추정 구성요소는 2차 ECM 상태 및 단자 전압 예측, 히스테리시스 및 OCV 온도 보정, 코어 온도 추정, AEKF 상태 보정을 포함하며, OCV 평가, 온라인 STC-ECM 매개변수 적응, 사전학습된 신경망 잔차 전압 보정이 이를 뒷받침한다. 측정된 전류, 단자 전압, 표면 온도, 그리고 추정된 SOC는 슬라이딩 관측 윈도우로 구성되어 경량 시간적 합성곱 신경망(temporal convolutional network)으로 처리된다. 두 개의 공개 리튬이온 배터리 데이터셋에 대한 실험을 통해, 다양한 부하 및 열 조건에서 80%를 초과하는 정확도로 견고한 RDS 분류 성능을 확인하였다.

arXiv:2609.34409v2cs.LG공통 태그 General Classification, Classification

MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기

MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series

자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.

arXiv:2610.02599v1cs.AI공통 태그 Classification, Prediction

TasteBench: 분자에서 지속 가능한 식품까지, 감각 예측을 위한 멀티모달 벤치마크

TasteBench: Multimodal Benchmark for Sensory Prediction, from Molecules to Sustainable Foods

지속 가능한 단백질 발굴에는 신약 및 소재 발굴을 가속화하는 분자 도킹이나 밀도 범함수 이론과 유사한 빠른 계산 대리 모델(proxy)이 부재합니다. 새로운 식품이 동물성 대상 식품과 비슷한 맛을 내는지 평가하려면 비용이 많이 드는 인간 관능 평가 패널이 필요하여 설계-구축-테스트 루프의 병목 현상을 초래합니다. 본 논문에서는 두 가지 과제로 구성된 감각 예측용 멀티모달 벤치마크이자 프라이버시 보존형 경진대회인 TasteBench를 소개합니다. 두 과제는 24개 제품 카테고리의 215개 식물성 식품에 대한 2만 1천 건 이상의 인간 평가를 기반으로 구축되어 카테고리 내 935개 순위 쌍을 생성하는 식품 수준 랭킹 과제와, 1만 5천 개 향미 분자를 다루는 보조적 분자 수준 맛 분류(classification) 과제입니다. 모델(model) 성능의 엄밀한 해석을 위해 본 연구에서는 정답 레이블(ground truth)의 특성을 규명했습니다. 패널 간 평가자 간 일치도는 낮았으며(Krippendorff's $α= .077$), 패널 집계 랭킹의 반분 신뢰도 상한선은 .825로 나타나 이 벤치마크에서 머신러닝 시스템을 평가해야 하는 범위를 설정했습니다. 네 가지 입력 모달리티에 걸쳐 베이스라인을 평가한 결과, 패널이 평가한 동일한 쌍에서 최고 성능 모델은 .661의 쌍별 정확도를 기록하여 개별 패널의 중앙값(.650)과 경쟁력 있는 성능을 보였고, 모든 카테고리 내 쌍에 대해서는 .683을 달성했습니다. TasteBench는 지속 가능한 단백질 발굴을 위한 계산 스크리닝의 발전을 측정할 수 있는 평가 인프라와 베이스라인을 제공합니다.

arXiv:2609.27950v1cs.CR공통 태그 General Classification, Classification

자원 제약 환경에서의 다중 클래스 악성코드 분류 성능 향상

Enhancing Multiclass Malware Classification in Resource-Constrained Environments

랜섬웨어, 스파이웨어, 트로이 목마 등과 같은 다중 클래스(multi-class) 악성코드 공격의 출현은 사이버 보안, 특히 사물인터넷(IoT) 기기와 같은 자원 제약 환경에 점점 더 심각한 위협이 되고 있다. 기존 머신러닝 모델들은 이진 악성코드 분류에서 거의 완벽한 정확도를 달성했으나, 악성코드 패밀리 및 개별 악성코드를 분류하는 데에는 미치지 못하고 있다. 또한, 다중 클래스 탐지는 일반적으로 높은 연산 능력을 필요로 하므로, 이러한 다중 클래스 악성코드 공격의 복잡성은 자원 제약 환경에서의 탐지에 상당한 어려움을 초래한다. 본 연구는 다중 클래스 악성코드 분류의 탐지 정확도를 향상시키는 동시에 자원 제약 기기에서 효율적으로 실행될 수 있는 경량 모델을 개발함으로써 이러한 격차를 해소한다. 본 논문에서는 데이터 균형을 위한 SMOTE 오버샘플링 및 SOM-US 언더샘플링 기법과 유전 알고리즘(Genetic Algorithm)을 통한 정교한 특징(feature) 선택을 특징으로 하는 LightGBM 분류기 기반의 강력하고 가벼운 머신러닝 모델을 제안한다. 이 모델은 동일한 데이터셋에서 개발된 기존 최고 수준(state-of-the-art)의 모델들보다 우수한 성능을 보여, 악성코드 패밀리 분류(4개 클래스) 및 개별 악성코드 유형 분류(16개 클래스)에서 각각 89.1%와 76%의 정확도를 기록하였다. 이를 통해 자원 제약 환경에서 분류 정확도와 연산 효율성 간의 균형을 유지한다. 나아가, 악성코드 패밀리 분류에서 91.2%, 개별 악성코드 분류에서 78.7%의 정확도를 달성한 Random Forest 분류기를 활용한 또 다른 모델을 제안하며, 기존 최고 수준의 모델 대비 정확도 측면에서 상당한 향상을 입증한다.

arXiv:2609.25388v1stat.ML공통 태그 Classification, Conformal Prediction

PICPIs: 예측 구간 조건부 예측 구간(Prediction-Interval-Conditional Prediction Intervals)

PICPIs: Prediction-Interval-Conditional Prediction Intervals

통계학의 고전적 질문 중 하나는, 관측 불가능한 대상에 대해 추론할 때 어떤 관측 가능한 양에 조건을 걸 것인가이다. 비모수적 불확실성 정량화에서 conformal prediction의 경우, 표준적인 주변(marginal) validity는 의사결정의 근거가 되는 예측값에서 제한된 해상도만 제공하며, 공변량(covariate)에 대한 완전 조건부 보장은 증명 가능하게 달성할 수 없다. 우리는 Prediction-Interval-Conditional Prediction Intervals(PICPIs)라 부르는 예측 기반 조건부화 프레임워크를 도입하여 이 공백을 메운다. 형식적으로 PICPI는 예측 모델 $p$, 맥락 공변량 $X$, 결과 $Y$에 대해 자기 일관성(self-consistency) 조건 $$\mathbb{E} [Y \mid p(X) \in I] \in I,$$를 만족하는 구간 $I$이다. 따라서 한 구간은 예측값의 층(stratum)을 동시에 정의하고, 그 층에서 결과의 평균이 동일한 구간 안에 있음을 보증한다. 이 자기 일관성 조건은 원래 예측을 바꾸지 않으면서 데이터 적응적(data-adaptive) 층을 만들어낸다. 이러한 구간은 실용적인 알고리즘으로 구성할 수 있다. 예측 분포의 regularity 하에서, 구성된 구간은 임의로 작은 비율을 제외한 모든 예측값을 덮으며, 너비는 대수(logarithmic) 인자와 예측 오차를 제외하면 $n^{-1/3}$ 비율로 감소한다. 더 나아가 이러한 지역적으로 보정(calibrated)된 구간을 식별하는 것은 하류 의사결정에 정보를 제공할 수 있다. 확률적 예측과 다중 클래스 분류에서 PICPI에 대한 추론 절차를 이론적 보장과 함께 유도한다. PICPIs를 기존 구간 기반 baseline과 비교한 실증 결과를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.