PyTorchKR Papers

최신 논문

총 2,898편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1806.06232공식 코드 · Papers with Code

Binary Classification in Unstructured Space With Hypergraph Case-Based Reasoning

Binary classification is one of the most common problem in machine learning. It consists in predicting whether a given element belongs to a particular class. In this paper, a new algorithm for binary classification is proposed using a hypergraph representation. The method is agnostic to data representation, can work with multiple data sources or in non-metric spaces, and accommodates with missing values. As a result, it drastically reduces the need for data preprocessing or feature engineering. Each element to be classified is partitioned according to its interactions with the training set. For each class, a seminorm over the training set partition is learnt to represent the distribution of evidence supporting this class. Empirical validation demonstrates its high potential on a wide range of well-known datasets and the results are compared to the state-of-the-art. The time complexity is given and empirically validated. Its robustness with regard to hyperparameter sensitivity is studied and compared to standard classification methods. Finally, the limitation of the model space is discussed, and some potential solutions proposed.

arXiv:1806.06219공식 코드 · Papers with Code

GILE: A Generalized Input-Label Embedding for Text Classification

Neural text classification models typically treat output labels as categorical variables which lack description and semantics. This forces their parametrization to be dependent on the label set size, and, hence, they are unable to scale to large label sets and generalize to unseen ones. Existing joint input-label text models overcome these issues by exploiting label descriptions, but they are unable to capture complex label relationships, have rigid parametrization, and their gains on unseen labels happen often at the expense of weak performance on the labels seen during training. In this paper, we propose a new input-label model which generalizes over previous such models, addresses their limitations and does not compromise performance on seen labels. The model consists of a joint non-linear input-label embedding with controllable capacity and a joint-space-dependent classification unit which is trained with cross-entropy loss to optimize classification performance. We evaluate models on full-resource and low- or zero-resource text classification of multilingual news and biomedical text with a large label set. Our model outperforms monolingual and multilingual models which do not leverage label semantics and previous joint input-label space models in both scenarios.

arXiv:2410.05479v2cs.AI공식 코드 · Papers with Code

설명이 경쟁할 때: 불확실성 하에서의 정책 인지형 선택

When Explanations Compete: Policy-Aware Selection Under Uncertainty

불확실성을 인지하는 설명 방법들은 동일한 예측에 대해 종종 여러 대안을 생성합니다. 이들 중에서 선택하려면 예측 신뢰도, 불확실성, 그리고 애플리케이션의 제약 조건 간의 균형을 맞추는 정책이 필요합니다. 본 논문은 생성된 고정된 설명 집합에 이러한 정책을 적용하기 위한 프레임워크를 제시합니다. 후보들은 불확실성 변화, 예측 방향, 그리고 가능한 경우 결정 경계(decision boundary)에 대한 구간 위치로 특성화됩니다. 이 프레임워크는 이러한 속성들을 적격성 규칙, 선택적 양방향 파레토 스크리닝(bidirectional Pareto screening), 정책 인지형 순위 매기기와 결합합니다. 가상의 전립선암 예시를 통해 서로 다른 설명 목적이 동일한 후보 집합에서 어떻게 서로 다른 선택으로 이어지는지 보여줍니다. 우리는 분류(classification), 임계값 기반 회귀, 일반 회귀를 위한 Calibrated Explanations를 통해 이 프레임워크를 구체화합니다. 41개 벤치마크 데이터셋에 걸쳐 평균 후보 수는 단일 특징(feature) 설명의 경우 11.57개에서 21.75개, 결합(conjunction)이 포함된 경우 29.48개에서 69.53개에 이릅니다. 동일 가중치(equal-weight) 정책과 신뢰도 전용 정책은 동일한 신뢰도 방향을 선호하면서도 평균 28.7%의 선택 불일치율을 보입니다. 보조적인 δ-CLUE 실험은 두 번째 생성기와의 활용 가능성을 입증합니다. 선택 정책을 명시화함으로써, 본 프레임워크는 애플리케이션이 의도된 용도에 따라 설명을 비교하고 우선순위를 정할 수 있도록 합니다.

arXiv:2502.14424v4stat.ML공식 코드 · Papers with Code

생성 학습을 표현 학습으로 확장하기: 분포 매칭 관점의 자기지도 전이학습

Bringing Generative Learning to Representation Learning: Self-Supervised Transfer Learning as Distribution Matching

대부분의 자기지도학습(self-supervised learning) 목적 함수는 표현 붕괴(collapse)를 방지하지만, 목표 표현의 확률 법칙(representation law)은 명시하지 않은 채 남겨둡니다. 본 논문에서는 표현 학습을 분포 매칭(Distribution Matching, DM)으로 정식화하여, 인코더가 유도하는 분포가 명시적인 기하학적 기준 분포(reference law)와 일치하도록 증강 불변(augmentation-invariant) 인코더를 학습합니다. 기준 분포는 학습된 표현 분포가 어떤 형태를 띠어야 하는지 명시하며, 별도로 선택된 불일치도(discrepancy) 척도는 이 목표로부터의 편차를 어떻게 측정할지 결정합니다. 본 연구에서는 말로우스 거리(Mallows distance)를 사용합니다. DM 프레임워크는 방향의 역관계를 드러냅니다. 즉, 생성 학습이 다루기 쉬운 기준 분포를 데이터로 매핑하는 반면, 표현 학습은 데이터를 설계된 기준 분포로 매핑합니다. 본 연구는 모집단 목적 함수를 클래스 중심 분리 및 분류(classification) 오차와 연결하고, 비점근적 신경 시브(neural-sieve) 보장을 증명합니다. 시뮬레이션 및 이미지 벤치마크 결과는 다양체 정류(manifold rectification), 미세 구조 보존, 그리고 서로 다른 레이블 공간 간의 전이(transfer) 성능을 보여줍니다.

arXiv:2307.15691v4stat.ML공식 코드 · Papers with Code

ODTlearn: 예측과 처방을 위한 최적 의사결정나무 학습 패키지

ODTlearn: A Package for Learning Optimal Decision Trees for Prediction and Prescription

ODTlearn은 Aghaei et al. (2025)에서 제안된 최신 혼합 정수 최적화(mixed-integer optimization, MIO) 프레임워크를 기반으로, 고위험(high-stakes) 예측 및 처방 과제를 위한 최적 의사결정나무(optimal decision tree)를 학습하는 방법을 제공하는 오픈 소스 Python 패키지이다. 현재 버전의 패키지는 최적 분류(classification) 트리, 최적 공정성 분류 트리, 관측 데이터로부터 학습하는 최적 처방 트리, 그리고 분포 변화(distribution shift)에 강건한 최적 분류 트리의 학습 구현을 제공한다. 우리는 새로운 최적 의사결정나무 문제 클래스, 재정식화(reformulation) 전략, 해법 알고리즘이 도입되더라도 패키지를 쉽게 유지보수하고 확장할 수 있도록 설계하였다. 이를 위해 이 패키지는 객체 지향 설계 원칙을 따르며, 상용 솔버(Gurobi)와 오픈 소스 솔버(COIN-OR branch and cut)를 모두 지원한다. 패키지 문서, 사용자 가이드, 설치 방법, 소스 코드 링크, 버그 리포트 및 기능 요청 제출 방법은 모두 https://d3m-research-group.github.io/odtlearn/ 에서 확인할 수 있다.

arXiv:2105.03358v4eess.IV공식 코드 · Papers with Code

소프트 어텐션을 통한 피부암 분류 성능 향상

Soft-Attention Improves Skin Cancer Classification Performance

임상 응용 분야에서 신경망(neural network)은 입력 영상에서 가장 중요한 영역에 집중하고 이를 강조할 수 있어야 합니다. 소프트 어텐션(Soft-Attention) 메커니즘은 신경망이 이러한 목표를 달성할 수 있도록 합니다. 본 논문에서는 심층 신경망 구조에서 소프트 어텐션의 효과를 조사합니다. 소프트 어텐션의 핵심 목적은 중요한 특징의 가치를 높이고 노이즈를 유발하는 특징을 억제하는 것입니다. 저자들은 피부 병변을 분류(classification)할 때 소프트 어텐션 메커니즘을 적용한 경우와 적용하지 않은 경우의 VGG, ResNet, InceptionResNetv2, DenseNet 구조의 성능을 비교합니다. 기존 네트워크에 소프트 어텐션을 결합했을 때 HAM10000 데이터셋(dataset) [25]에서 93.7%의 정밀도(precision)를 달성하여 기준선(baseline)[16]보다 4.7% 향상된 성능을 보였습니다. 또한, 소프트 어텐션 결합을 통해 ISIC-2017 데이터셋 [2]에서 기준선[31] 대비 민감도 점수를 3.8% 개선하며 91.6%를 달성했습니다. 코드는 GitHub에서 공개되어 있습니다.

arXiv:2403.09281v3cs.CV공식 코드 · Papers with Code

CLIP-EBC: 개선된 블록별 분류를 통해 정확한 계수가 가능한 CLIP

CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification

본 논문에서는 정확한 군중 밀도 추정을 위한 최초의 완전한 CLIP 기반 모델인 CLIP-EBC를 제안합니다. CLIP 모델은 제로샷(zero-shot) 이미지 분류와 같은 인식 태스크에서 뛰어난 성과를 보여주었으나, 계수(counting)와 같은 회귀 문제를 인식 태스크로 변환하는 데 따르는 본질적인 어려움으로 인해 계수 태스크에서의 잠재력은 거의 탐색되지 않았습니다. 본 연구에서는 이미지로부터 군중 규모를 추정하는 태스크에 특히 초점을 맞추어 CLIP의 계수 능력을 탐구하고 개선합니다. 기존의 분류 기반 군중 계수 프레임워크는 계수 값을 인접한 실수형 빈(bin)으로 양자화하고 분류 오차에만 집중하는 등 심각한 한계를 가집니다. 이러한 방식은 인접 경계 근처에서의 레이블 모호성과 부정확한 계수 값 예측을 초래합니다. 따라서 기존 프레임워크에 CLIP을 직접 적용하면 차선의 성능을 보일 수 있습니다. 이러한 문제를 해결하기 위해, 먼저 개선된 블록별 분류(EBC, Enhanced Blockwise Classification) 프레임워크를 제안합니다. 이전 방법들과 달리 EBC는 정수형 빈을 사용하여 빈 경계 근처의 모호성을 효과적으로 줄입니다. 또한 밀도 맵(density map) 기반의 회귀 손실을 도입하여 계수 값 예측 정확도를 향상합니다. 백본에 구애받지 않는(backbone-agnostic) EBC 프레임워크 내에서, 해당 태스크에 CLIP의 인식 기능을 완전히 활용하는 CLIP-EBC를 소개합니다. 광범위한 실험을 통해 EBC의 효과와 CLIP-EBC의 경쟁력 있는 성능을 입증합니다. 구체적으로, 제안하는 EBC 프레임워크는 UCF-QNRF 데이터셋에서 기존 분류 기반 방법들의 성능을 최대 44.5% 향상하며, CLIP-EBC는 NWPU-Crowd 테스트 세트에서 MAE 58.2, RMSE 268.5를 기록하여 이전 최고 성능 방법인 STEERER 대비 각각 8.6% 및 13.3% 향상된 SOTA(state-of-the-art) 성능을 달성합니다. 코드와 가중치는 https://github.com/Yiming-M/CLIP-EBC 에서 확인할 수 있습니다.

arXiv:2505.06835v5cs.LG공식 코드 · Papers with Code

스트리밍 슬라이스 최적 수송

Streaming Sliced Optimal Transport

슬라이스 최적 수송(SOT), 즉 슬라이스 Wasserstein(SW) 거리는 통계적·계산적 확장성(scalability)으로 널리 알려져 있다. 본 연구에서는 샘플 스트림으로부터 SW를 추정하는 최초의 방법인 스트리밍 슬라이스 Wasserstein(Stream-SW)을 제안하여 계산적 확장성을 더욱 향상시킨다. Stream-SW를 정의하기 위해, 먼저 일차원 Wasserstein 거리(1DW)의 스트리밍 추정량을 도입한다. 1DW는 비교하는 분포들의 분위 함수(quantile function) 간 절대 차이의 적분으로 주어지는 폐형(closed-form) 표현을 갖기 때문에, 샘플 스트림에 대한 분위 근사 기법을 활용하여 스트리밍 1DW 추정량을 정의한다. 모든 투영(projection)에 스트리밍 1DW를 적용함으로써 Stream-SW를 얻는다. Stream-SW의 핵심 장점은 근사 오차에 대한 이론적 보장을 제공하면서도 메모리 복잡도가 낮다는 점이다. 스트리밍 샘플로부터 가우시안 분포 및 가우시안 혼합분포를 비교할 때, Stream-SW가 무작위 부분 샘플링(random subsampling)보다 더 정확한 SW 근사를 더 낮은 메모리 소비로 달성함을 보인다. 또한 포인트 클라우드 분류, 포인트 클라우드 그래디언트 흐름, 스트리밍 변화점 탐지(change point detection) 실험을 수행하여 제안한 Stream-SW의 우수한 성능을 추가로 입증한다.

arXiv:2312.17670v5cs.CV공식 코드 · Papers with Code

TopCoW 챌린지 -- CT 및 MR 혈관조영술을 위한 위상 인식 윌리스 고리(Circle of Willis) 분할

The TopCoW Challenge -- Topology-Aware Circle of Willis Segmentation for CT and MR Angiography

윌리스 고리(Circle of Willis, CoW)는 뇌의 주요 순환을 연결하는 중요한 동맥 네트워크이다. 그 혈관 구조는 심각한 신경혈관 질환의 위험, 중증도, 예후에 영향을 미치는 것으로 알려져 있다. 그러나 변이가 큰 CoW 해부 구조를 특성화하는 일은 여전히 수동적이고 시간이 많이 걸리는 전문가 작업으로 남아 있다. CoW는 자기공명 혈관조영술(MRA)과 전산화단층 혈관조영술(CTA)이라는 두 가지 비침습적 혈관조영 영상 방식으로 일반적으로 촬영되지만, 주석이 달린 CoW 해부학을 포함한 데이터셋은 거의 없으며, CoW 분할 알고리즘을 비교하기 위한 확립된 벤치마크도 없었다. 우리는 동일 환자의 125쌍 MRA 및 CTA 스캔으로 구성된 주석 CoW 데이터셋을 공개하면서 TopCoW 벤치마크 챌린지를 조직했다. 13개 혈관 구성요소에 대한 복셀 수준 주석은 가상현실 기술을 사용하여 생성되었으며 임상 전문가에 의해 검증되었다. 참가자들은 CoW 분할 및 변이체 분류 알고리즘을 제출했으며, 이를 5개 이상 센터의 226개 스캔으로 구성된 내부 및 외부 테스트 세트에서 평가했다. 벤치마크에는 복셀 수준 분할, CoW 구성요소 검출, CoW 변이체 분류, 그리고 두 가지 임상 응용 과제가 포함된다. 6개 대륙의 250명 이상 참가자로부터 제출물을 받았다. 최고 성능 팀은 CoW 분할에서 90% 이상의 Dice 점수, 주요 혈관 구성요소 검출에서 80% 이상의 F1 점수, 거의 모든 테스트 세트에서 CoW 변이체 분류 시 70% 이상의 균형 정확도(balanced accuracy)를 달성했다. 최상의 알고리즘은 또한 태아형 후대뇌동맥을 정확히 분류하고 CoW 해부학과 관련하여 동맥류를 정위하는 방식으로 임상적으로 관련된 하위 과제를 지원했다. 이 벤치마크는 설명 가능성과 함께 일부 하위 임상 응용에서 CoW 분할 알고리즘의 유용성을 입증했다.

arXiv:2112.02353v3cs.CV공식 코드 · Papers with Code

레이블 계층 전이: 심층 분류기 향상을 위한 클래스 계층 구조 탐구

Label Hierarchy Transition: Delving into Class Hierarchies to Enhance Deep Classifiers

계층적 분류에서 기존 멀티태스크 학습의 한계인 계층 간 범주 상관관계 미활용 문제를 해결하기 위해, 레이블 계층 전이 행렬을 명시적으로 학습하는 전이 네트워크와 confusion loss로 구성된 LHT(Label Hierarchy Transition) 프레임워크를 제안한다. 공개 벤치마크 및 피부 병변 진단 과제에서 기존 최신 기법을 상회하는 성능을 달성하였으며, 기존 딥러닝 분류 네트워크에 최소한의 수정으로 적용 가능하다.

arXiv:2405.07332v2cs.CV공식 코드 · Papers with Code

PotatoGANs: 생성적 적대 신경망(GAN), 인스턴스 분할 및 설명 가능한 AI를 활용한 향상된 감자 병해 식별 및 분류

PotatoGANs: Utilizing Generative Adversarial Networks, Instance Segmentation, and Explainable AI for Enhanced Potato Disease Identification and Classification

심층 학습(deep learning) 기법을 이용한 농업 병해 분할의 자동화는 다양한 응용 사례를 낳았다. 그러나 이러한 응용들은 새로운 환경에 적용될 때 과적합(overfitting) 문제에 자주 직면하여 분할 성능이 저하되는 어려움을 겪는다. 감자 농업에서는 병해가 수확량에 큰 영향을 미치므로, 신속하고 정확한 병해 식별이 농업 경제에 매우 중요하다. 회전, 반전, 이동과 같은 전통적인 데이터 증강(data augmentation) 방법은 한계가 있으며 강력한 일반화 결과를 제공하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 본 연구에서는 PotatoGANs이라 명명한 새로운 접근 방식을 제안한다. 이 새로운 데이터 증강 방법에서는 두 가지 유형의 생성적 적대 신경망(GAN)을 활용하여 건강한 감자 이미지로부터 합성 감자 병해 이미지를 생성한다. 이 접근 방식은 데이터셋(dataset)을 확장할 뿐만 아니라 다양성을 추가함으로써 모델(model) 일반화 향상에 기여한다. Inception score를 측정 지표로 사용한 실험 결과, PotatoGANs이 생성한 이미지의 우수한 품질과 사실성이 입증되었으며, 실제 병해 이미지와 밀접하게 유사한 이미지를 생성하는 능력이 강조되었다. CycleGAN 모델은 Pix2Pix GAN 모델보다 이미지 품질 면에서 우수한 성능을 보였는데, black scurf와 common scab에 대해 각각 1.2001과 1.0900의 더 높은 Inception score(IS)를 달성한 것이 그 근거이다. 이러한 합성 데이터는 대규모 신경망의 학습(training)을 크게 향상시킬 수 있다. 또한 데이터 수집 비용을 줄이는 동시에 데이터 다양성과 일반화 능력을 향상시킨다. 본 연구는 감자 병해 분류(classification)를 위해 세 가지 그래디언트(gradient) 기반 설명 가능한 AI 알고리즘(GradCAM, GradCAM++, ScoreCAM)을 세 가지 서로 다른 CNN 아키텍처(DenseNet169, ResNet152 V2, InceptionResNet V2)와 결합함으로써 해석 가능성을 향상시킨다.

arXiv:2502.15637v2cs.LG공식 코드 · Papers with Code

Mantis: Lightweight Foundation Model for Time Series Classification

While foundation models have revolutionized various domains, their application to time series classification remains rather under-explored, with existing literature predominantly focused on forecasting. To bridge this gap, we introduce \textbf{Mantis}, a transformer-based foundation model pre-trained exclusively on synthetic data via self-supervised contrastive learning. We demonstrate that effective tokenization is critical to unlocking the full potential of transformers, proposing a novel token generator unit. Furthermore, we introduce an enhanced test-time methodology that bridges the performance gap between Mantis and strong specialized approaches by leveraging intermediate-layer representations, self-ensembling, and cross-model embedding fusion. Extensive experiments demonstrate that Mantis establishes a new state-of-the-art, outperforming existing foundation models across four diverse dataset collections covering various application domains.

arXiv:2504.01882v2cs.LG공식 코드 · Papers with Code

CO-DEFEND: DoH 기반 보안 위협 탐지를 위한 연속 분산 연합 학습

CO-DEFEND: Continuous Decentralized Federated Learning for Secure DoH-Based Threat Detection

공격자가 DNS over HTTPS(DoH) 터널링을 사용해 암호화된 DNS 트래픽 속에 악성 활동을 숨기면, 악성 행위자가 기존 모니터링 및 침입 탐지 시스템을 우회하고 일반적인 트래픽 분석 기법의 탐지를 피할 수 있으므로 네트워크 보안에 심각한 위협이 된다. DoH 터널을 탐지하는 데 ML 기법을 사용할 수 있지만, 그 효과는 정상 트래픽과 악성 트래픽을 모두 포함하는 대규모 데이터셋에 달려 있다. 이러한 데이터셋을 여러 기관 간에 공유하는 것은 개인정보 보호 우려로 인해 어렵다. 본 연구에서는 여러 기관이 데이터 프라이버시를 보존하면서 DoH 위협 탐지를 위한 분류 머신러닝 모델을 협력적으로 학습하고, 확장성을 높이며 단일 장애점에 대한 복원력을 강화할 수 있는 CO-DEFEND 프레임워크를 제안한다. 제안된 DFL(분산 연합 학습) 프레임워크는 DoH 위협 탐지를 위한 현실적인 구현을 제공하며, 여러 기관이 처리되는 수신 DoH 플로우를 실시간 배치로 온라인에서 로컬 모델을 학습할 수 있게 한다. 이는 현대 인터넷 아키텍처에 자연스럽게 부합하는 접근 방식이다. 이 프레임워크는 서포트 벡터 머신, 로지스틱 회귀, 의사결정나무, 랜덤 포레스트의 네 가지 고전적 머신러닝 알고리즘을 연합 시나리오와 효율적 학습에 맞게 조정한다. 또한 CO-DEFEND의 핵심 방법론적 특징은 DT와 RF를 집계 메커니즘이 아닌 모델 선택 수단으로 사용하는 것으로, 각 참여자가 해석 가능하고 로컬 최적의 의사결정 구조를 유지하면서 집합 통신 업데이트의 이점을 누릴 수 있게 한다. CIRA-CIC-DoHBrw-2020 데이터셋을 사용해 신경망과 같이 계산적으로 더 복잡한 대안을 포함한 기존 머신러닝 접근법과 제안 방법을 비교하여, 확장성과 계산 효율성을 개선하면서 악성 DoH 터널을 탐지하는 효과를 입증한다.

arXiv:2409.13007v3cs.LG공식 코드 · Papers with Code

iCost: 인스턴스 복잡도 기반 비용 민감 학습의 새로운 프레임워크

iCost: A Novel Instance-Complexity-Based Cost-Sensitive Learning Framework

클래스 불균형은 분류 작업에서 상당한 도전 과제를 제기하며, 종종 표준 학습 알고리즘이 다수 클래스 쪽으로 바이어스되게 만든다. 비용 민감 학습(CSL)은 소수 클래스 오분류에 더 높은 페널티를 부여함으로써 이 문제를 해결한다. 그러나 기존 CSL은 일반적으로 모든 소수 클래스 인스턴스에 균일한 페널티를 적용하여, 소수 클래스 샘플이 지역적 안전성, 중첩, 경계 모호성, 이상치와 유사한 행동 측면에서 상당히 다를 수 있다는 사실을 무시한다. 따라서 균일한 페널티 부여는 부당한 바이어스를 유발하여 오분류 수를 증가시킬 수 있다. 본 연구에서는 소수 클래스 샘플의 추정 학습 난이도에 따라 적응적 페널티를 부여하는 인스턴스 복잡도 인식 CSL 프레임워크인 iCost를 제안한다. 이 세밀한 페널티 부여 전략은 더 공정한 가중을 보장하고, 불필요한 바이어스를 줄이며, 전반적인 분류 성능을 향상시킨다. 지역 이웃 구성에 기반한 Neighbor-iCost와 Gini 불순도 기반 특징 공간 분할에 기반한 Gini-iCost라는 두 가지 상보적인 복잡도 추정 전략을 도입한다. 65개의 이진 및 10개의 다중 클래스 불균형 데이터셋에 대한 광범위한 실험에서 iCost는 기존 CSL을 명확한 마진으로 능가하며, 널리 사용되는 리샘플링 방법과도 높은 경쟁력을 유지한다. 재현성과 실용적 도입을 지원하기 위해 제안 알고리즘은 PyPI를 통해 scikit-learn 호환 Python 패키지로 공개되었다. 본 연구는 학습 과정에 인스턴스 수준의 데이터 복잡도를 통합함으로써 불균형 학습에 대한 새로운 관점을 제공하며, 불균형 분류를 위한 적응적이고 복잡도 인식 전략 개발의 새로운 방향을 연다.

arXiv:2502.00168v5stat.ML공식 코드 · Papers with Code

지도 2차 특징 분석: 차원 축소를 위한 정보 기하학 접근

Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

정보 기하학(information geometry)을 지도 차원 축소(supervised dimensionality reduction)에 적용한 SQFA(Supervised Quadratic Feature Analysis)를 제안하며, 가우시안 가정 하에서 클래스 조건부 분포 간 Fisher-Rao 거리를 최대화하는 선형 특징을 학습한다. 여러 실제 데이터셋에서 SQFA는 LDA 등 기존 방법과 경쟁력 있는 분류 성능을 보이며, Hellinger 거리를 최대화하는 변형인 SQFA-H가 최고 정확도를 달성한다.

arXiv:2407.06136v4cs.CV공식 코드 · Papers with Code

Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning

Few-shot class-incremental learning (FSCIL) aims to incrementally learn novel classes from limited examples while preserving knowledge of previously learned classes. Existing methods face a critical dilemma: static architectures rely on a constant parameter space to learn from data that arrive sequentially, making them prone to overfitting to the current session, while dynamic architectures continually expand the parameter space, leading to increased complexity. In this study, we explore the potential of Selective State Space Models (SSMs) for FSCIL. Mamba leverages its input-dependent parameters to dynamically adjust its processing patterns and generate content-aware scan patterns without session-wise projector expansion. This enables it to configure distinct processing for base and novel classes, helping preserve existing knowledge while adapting to new ones. To leverage Mamba's potential for FSCIL, we design two key modules: First, we propose a dual selective SSM projector that generates input-conditioned state-space parameters from intermediate features for dynamic adaptation. The dual design structurally decouples base and novel-class processing, employing a frozen base branch to maintain stable base-class features and a dynamic incremental branch that adaptively learns distinctive feature shifts for novel classes. Second, we develop a class-sensitive selective scan mechanism to guide dynamic adaptation of the incremental branch. It reduces the disruption to base-class representations caused by training on novel data, and meanwhile, encourages the selective scan to perform in distinct patterns between base and novel classes. Extensive experiments on miniImageNet, CIFAR-100, and CUB-200 demonstrate that Mamba-FSCIL achieves state-of-the-art performance.

arXiv:2306.05239v3cs.CV공식 코드 · Papers with Code

Point-Voxel Absorbing Graph Representation Learning for Event Stream based Recognition

Sampled point and voxel methods are usually employed to downsample the dense events into sparse ones. After that, one popular way is to leverage a graph model which treats the sparse points/voxels as nodes and adopts graph neural networks (GNNs) to learn the representation of event data. Although good performance can be obtained, however, their results are still limited mainly due to two issues. (1) Existing event GNNs generally adopt the additional max (or mean) pooling layer to summarize all node embeddings into a single graph-level representation for the whole event data representation. However, this approach fails to capture the importance of graph nodes and also fails to be fully aware of the node representations. (2) Existing methods generally employ either a sparse point or voxel graph representation model which thus lacks consideration of the complementary between these two types of representation models. To address these issues, we propose a novel dual point-voxel absorbing graph representation learning for event stream data representation. To be specific, given the input event stream, we first transform it into the sparse event cloud and voxel grids and build dual absorbing graph models for them respectively. Then, we design a novel absorbing graph convolutional network (AGCN) for our dual absorbing graph representation and learning. The key aspect of the proposed AGCN is its ability to effectively capture the importance of nodes and thus be fully aware of node representations in summarizing all node representations through the introduced absorbing nodes. Extensive experiments on multiple event-based classification benchmark datasets fully validated the effectiveness of our framework.

arXiv:2407.13053v2cs.CY공식 코드 · Papers with Code

E2Vec: 전자책 시스템에서의 학생 행동 분석을 위한 시간 정보 기반 특징 임베딩

E2Vec: Feature Embedding with Temporal Information for Analyzing Student Actions in E-Book Systems

디지털 교과서(전자책) 시스템은 학생들의 교과서와의 상호작용을 EventStream 데이터라고 불리는 일련의 이벤트(event)로 기록합니다. 과거 연구자들은 EventStream에서 의미 있는 특징(feature)을 추출하여 성적 예측이나 학생 행동 모델링과 같은 다운스트림(downstream) 태스크의 입력으로 활용했습니다. 기존 연구는 조작 유형의 수나 접근 빈도와 같이 EventStream 로그에서 파생된 주로 통계 기반 특징을 사용하는 모델들을 평가했습니다. 이러한 특징들은 특정 통찰력을 제공하는 데 유용하지만, 학생 간의 학습 행동에 있는 세밀한 차이를 포착하는 시간 정보가 부족합니다. 본 연구는 단어 임베딩(word embedding) 기반의 새로운 특징 표현 방법인 E2Vec을 제안합니다. 제안된 방법은 각 학생에 대한 조작 로그와 시간 간격을 문자의 문자열 시퀀스(sequence)로 간주하여, 시간 정보를 통합한 학습 활동 특징의 학생 벡터를 생성합니다. 우리는 2년간의 컴퓨터 과학 강의에서 수집된 데이터셋(dataset)에 있는 305명의 학생 각각에 대해 임베딩 벡터를 생성하도록 fastText를 적용했습니다. 그 후, 위험군 탐지 태스크(task)에서 E2Vec의 효과를 조사하여 일반화 가능성과 성능에 대한 잠재력을 입증했습니다.