Efficient Classification for Metric Data
원문 초록
Recent advances in large-margin classification of data residing in general metric spaces (rather than Hilbert spaces) enable classification under various natural metrics, such as string edit and earthmover distance. A general framework developed for this purpose by von Luxburg and Bousquet [JMLR, 2004] left open the questions of computational efficiency and of providing direct bounds on generalization error. We design a new algorithm for classification in general metric spaces, whose runtime and accuracy depend on the doubling dimension of the data points, and can thus achieve superior classification performance in many common scenarios. The algorithmic core of our approach is an approximate (rather than exact) solution to the classical problems of Lipschitz extension and of Nearest Neighbor Search. The algorithm's generalization performance is guaranteed via the fat-shattering dimension of Lipschitz classifiers, and we present experimental evidence of its superiority to some common kernel methods. As a by-product, we offer a new perspective on the nearest neighbor classifier, which yields significantly sharper risk asymptotics than the classic analysis of Cover and Hart [IEEE Trans. Info. Theory, 1967].
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
분류 성능의 지표로서 라이프-유사 네트워크 오토마타 규칙의 형태 불규칙성
Shape irregularity of Life-Like Network Automaton rules as an indicator of classification performance
복잡 네트워크(Complex Network, CN) 분류는 스케일 불변(scale-invariant)이면서도 계산적으로 효율적인 고수준의 구조적 특성화를 필요로 합니다. 라이프-유사 네트워크 오토마타(Life-Like Network Automata, LLNA) 기반 방법은 사전에 제공된 특징 없이도 창발적 시간 패턴을 활용하여 네트워크 기술자(descriptor)를 추출하는 흥미로운 방식을 제공하지만, 그 효과는 오토마타 전이 규칙의 선택이라는 높은 비용의 조합 최적화 문제로 인해 병목 현상을 겪습니다. 기존 연구들은 대규모 응용에 실현 불가능한 전수 탐색(exhaustive search)에 의존하는 반면, 본 연구는 규칙 공간이 LLNA 전이 함수와 톱니 형태의 유사성을 정량화하는 '들쭉날쭉함(jaggedness)'이라는 특성으로 근본적으로 구조화되어 있음을 밝힙니다. 우리는 이 지표가 혼돈성(chaoticity)과 민감도(sensitivity)에 대한 이론적 대리 지표로 작용함을 입증하며, 이러한 특성은 네트워크 범주 간의 식별력 있는 동적 동작을 생성하는 데 필수적입니다. 나아가, 우리는 들쭉날쭉함을 활용하여 규칙 선택을 유도하는 휴리스틱 탐색 전략을 도입합니다. 실험 결과에 따르면 본 접근법은 전수 탐색 방식에 비해 계산 오버헤드를 90% 줄이면서도 전역 최적값 대비 5% 이내의 분류 정확도를 달성합니다. 우리의 발견은 패턴 인식을 위한 오토마타 기반 방법을 최적화하는 새롭고 효율적인 프레임워크를 제공합니다.
MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기
MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series
자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.
상대 방전 단계(RDS) 분류: 배터리 방전 진행 상황의 실용적 지표
Relative Discharge Stage (RDS) Classification: A Practical Indicator of Battery Discharge Progress
실제 배터리 응용 환경에서는 미래의 부하 프로파일을 알 수 없고 매우 동적이기 때문에, 정확한 잔여 방전 시간(RDT) 예측은 어려운 과제이다. 연속적인 RDT 회귀의 불확실성을 해결하기 위해, 본 논문은 잔여 방전 상태를 Normal, Good, Moderate, Low, Recharge Required의 다섯 가지 해석 가능한 클래스로 나타내는 배터리 관리 지표인 상대 방전 단계(Relative Discharge Stage, RDS)를 제안한다. 현재의 충전 수준을 반영하는 충전 상태(SOC)와 달리, RDS는 추론 시 미래 전류 정보 없이도 남은 방전 과정을 특성화한다. 이를 위해 SOC 추정과 경량 시간적 학습을 결합한 물리 기반(physics-informed) RDS 분류 프레임워크를 제안한다. SOC 추정 구성요소는 2차 ECM 상태 및 단자 전압 예측, 히스테리시스 및 OCV 온도 보정, 코어 온도 추정, AEKF 상태 보정을 포함하며, OCV 평가, 온라인 STC-ECM 매개변수 적응, 사전학습된 신경망 잔차 전압 보정이 이를 뒷받침한다. 측정된 전류, 단자 전압, 표면 온도, 그리고 추정된 SOC는 슬라이딩 관측 윈도우로 구성되어 경량 시간적 합성곱 신경망(temporal convolutional network)으로 처리된다. 두 개의 공개 리튬이온 배터리 데이터셋에 대한 실험을 통해, 다양한 부하 및 열 조건에서 80%를 초과하는 정확도로 견고한 RDS 분류 성능을 확인하였다.
Support-Compiled Feature Folding: 표 형식 파운데이션 모델 전반에서 더 적은 메모리로 더 많은 근거 확보
Support-Compiled Feature Folding: More Evidence at Lower Memory Across Tabular Foundation Models
표 형식(tabular) 파운데이션 모델은 특징(feature) 측면의 스케일링 딜레마에 직면해 있다. 전체 너비의 쌍별(pairwise) 혼합은 열(column) 수에 대해 2차적으로 증가하는 반면, 특징 선택은 근거를 버림으로써 메모리를 절약한다. 본 논문에서는 고정된(frozen) 백본을 변경하지 않고 이 딜레마를 해결하는, 학습이 필요 없는 추론(inference) 프레임워크인 Support-Compiled Feature Folding(SCFF)을 제안한다. SCFF는 서포트(support) 기준으로 순위를 매긴 특징을 네이티브 특징 인코더의 유한한(bounded) 리프(leaf)들로 라우팅하고, 잔여 근거를 서포트 기준으로 점검(support-check)한 뒤, 인코딩된 메시지들을 병합하여 단 한 번의 컨텍스트 기반 예측을 수행한다. 이를 통해 예측을 앙상블하거나 새로운 파라미터를 학습하지 않고도, 2차적인 특징 상호작용 연산을 유한한 국소 작업 집합(working set)을 갖는 너비에 대한 선형 연산으로 변환한다. 고정된 AMLB-29, TabZilla, TabArena 스냅샷의 전수 18개 데이터셋 와이드 테이블(wide-table) 슬라이스에서, SCFF는 평가한 6개 백본 모두에서 데이터셋 매크로 정확도와 NLL을 향상시킨다. 네 가지 동일 너비(matched-width) 비교 모두에서 고정된 폴드(locked folds)에 대한 95% 데이터셋 부트스트랩 구간이 유리하게 유지되며, 상대 오류 감소율은 최대 26.1%에 달한다. 쌍을 이룬 GPU 메모리 절감량의 중앙값은 2.09배에서 2.36배이며, 별도로 관측된 최대 피크 메모리의 비율은 34.3배에 이른다. 측정된 피크 메모리 상한이 주어진 조건에서 SCFF는 절약한 예산을 활용해 서포트 기준으로 선택된 더 많은 근거를 보존하며, TabICLv2와 TabPFN-3의 사전에 정의된(predeclared) 와이드 Core 층(strata)에서 실현 가능한 가장 넓은 단일 리프 대비 정확도를 각각 4.06포인트, 3.72포인트 향상시킨다.
Semi-Supervised Graph Prototypical Networks for Hyperspectral Image Classification
Generative Adversarial Minority Oversampling for Spectral-Spatial Hyperspectral Image Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.