arXiv:2606.29951v1 cs.LG

로컬 피델리티 정규화를 활용한 메소모픽 신경망의 예측 성능 및 해석 가능성 향상

Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

Hugo L. Hammer, Vajira Thambawita, Kristoffer Herland Hellton, Pål Halvorsen

제출 2026-06-29

한국어 초록

해석 가능한 메소모픽 신경망(IMN)은 심층 신경망의 예측력과 선형 모델의 해석 가능성을 결합한 유망한 프레임워크를 제공합니다. 그러나 원래 공식화 방식에는 학습된 해석이 실제로 신뢰할 수 있음을 보장하는 안전장치가 없습니다. 특히, 네트워크는 선형 출력 층의 단일 가중치에 모든 설명적 분산을 집중시켜, 대체로 무의미한 해석을 생성하면서도 강력한 예측 성능을 달성할 수 있습니다. 역설적이게도, 희소 해(sparse solution)를 장려하기 위해 제안된 L1 페널티는 이러한 퇴화된 구성을 더욱 조장함으로써 이 문제를 악화시킵니다. 이 취약점을 해결하기 위해, 우리는 로컬 피델리티 정규화(LFR, Local Fidelity Regularization)를 도입합니다. 이는 선형 출력 가중치를 로컬 데이터 변동과 정렬시켜 퇴화된 가중치 붕괴를 방지하는 새로운 페널티 항입니다. 이 구조적 제약은 충실한 설명을 보장하고 모델 해석의 신뢰성을 실질적으로 향상시킵니다. 더 나아가, OpenML 벤치마크 스위트에 대한 실험적 평가는 LFR이 해석 가능성을 위해 정확도를 희생하지 않음을 보여줍니다. 오히려 정규화되지 않은 IMN 대비 향상된 AUROC를 달성하였습니다. 최신 블랙박스 모델과 매우 경쟁력 있는 결과를 산출함으로써, LFR은 신뢰할 수 있는 해석 가능성과 우수한 예측 성능이라는 이중적 이점을 제공합니다. 소스 코드 및 사용 방법은 https://github.com/hugohammer/LFR-IMN.git 에서 확인할 수 있습니다.

원문 초록

Interpretable Mesomorphic Neural Networks (IMNs) offer a promising framework that combines the predictive power of deep neural networks with the interpretability of linear models. However, the original formulation lacks safeguards to ensure that the learned interpretations are in fact reliable. In particular, the network is free to concentrate all explanatory variance into a single weight of the linear output layer, achieving strong predictive performance while producing interpretations that are largely meaningless. Paradoxically, the L1 penalty proposed to encourage sparse solutions exacerbates this problem by further incentivizing such degenerate configurations. To address this vulnerability, we introduce Local Fidelity Regularization (LFR), a novel penalty term that prevents degenerate weight collapse by aligning the linear output weights with local data variations. This structural constraint guarantees faithful explanations and substantially improves the reliability of model interpretations. Furthermore, empirical evaluations across the OpenML benchmark suite demonstrate that LFR does not compromise accuracy for explainability; rather, it achieved improved AUROC over the unregularized IMN. By yielding results highly competitive with state-of-the-art black-box models, LFR provides the dual benefit of reliable interpretability and superior predictive performance. Source code and usage instructions are available at https://github.com/hugohammer/LFR-IMN.git.

요약

해석 가능한 메소모픽 신경망(IMN)은 선형 출력 층의 가중치가 단일 값에 편중되는 퇴화 문제로 신뢰할 수 없는 해석을 생성할 수 있는데, 이를 해결하기 위해 로컬 피델리티 정규화(LFR)를 도입하여 선형 출력 가중치를 로컬 데이터 변동에 정렬시키는 구조적 제약을 추가하였다. OpenML 벤치마크 평가에서 LFR은 해석 가능성을 보장하면서도 기존 IMN 대비 AUROC를 향상시키고 CatBoost, TabNet 등 최신 블랙박스 모델과 경쟁력 있는 예측 성능을 달성하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29951v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13599v1cs.LG공통 태그 Representation Learning, Classification

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.13644v1cs.LG공통 태그 Classification, feature selection

SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크

SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data

정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.

arXiv:2610.10615v1stat.ML공통 태그 Classification, feature selection

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2610.11057v1cs.CV공통 태그 Representation Learning, Classification

노이즈가 있는 지도 환경의 멀티모달 학습에서 신뢰할 대상을 학습하기

Learning What to Trust in Multimodal Learning under Noisy Supervision

멀티모달 분류(multimodal classification)는 보다 정확한 예측을 달성하기 위해 여러 모달리티의 정보를 처리하고 연계합니다. 그러나 기존 방법들은 일반적으로 실제 환경에서 얻기 어려운 고품질의 정답 라벨에 의존합니다. 노이즈 라벨 환경에서의 학습을 위한 샘플 선택 방법들은 노이즈가 포함된 데이터에서 올바르게 라벨링된 예제를 식별하는 것을 목표로 하지만, 전통적인 방식들은 주로 단일 모달(unimodal) 설정에 초점을 맞추어 멀티모달 정보를 완전히 활용하지 못합니다. 이는 멀티모달 학습에서 더 신뢰할 수 있는 노이즈 탐지기를 구축하도록 동기를 부여합니다. 이를 위해 본 연구에서는 표현 구조와 노이즈 탐지 능력 간의 관계를 이론적으로 분석합니다. 이러한 분석을 바탕으로, 라벨 노이즈 탐지를 위해 융합된 표현과 단일 모달 표현을 함께 사용하는 멀티모달 라벨 노이즈 탐지 프레임워크인 REFINE을 제안합니다. 구체적으로, REFINE은 타깃 클래스와 배경 클래스의 판별 분석을 통해 판별 고유벡터(discriminative eigenvector)를 구성하고, 각 클래스별로 노이즈 탐지 능력이 더 우수한 신뢰할 수 있는 표현 공간을 선택합니다. 각각의 신뢰할 수 있는 공간 내에서 REFINE은 각 인스턴스 표현과 판별 고유벡터 간의 정렬(alignment)을 측정합니다. 그런 다음 이러한 공간에서 선택된 하위 집합들을 결합합니다. 결합된 집합은 멀티모달 분류기를 업데이트하기 위한 더 깨끗한 지도 신호를 제공함으로써 학습(training) 중 잘못 라벨링된 예제의 영향을 줄이고 모델(model) 일반화를 향상시킵니다. 다양한 태스크에 걸친 광범위한 실험을 통해 기준선(baseline) 방법들과 비교하여 REFINE의 우수성을 입증합니다. 소스 코드는 공개될 예정입니다.

arXiv:2610.01188v1cs.AI공통 태그 Classification, feature selection

운동별 관절 선택은 언제 도움이 되는가? 평가 및 대조군 설계에 대한 감사

When Does Exercise-Specific Joint Selection Help? An Audit of Evaluation and Control Design

운동별 관절 선택(joint selection)은 골격 기반 정확도 분류(classification) 성능을 향상시킬 수 있지만, 그러한 향상이 입증하는 바는 무엇일까? 본 연구는 평가 집계, 부분집합 구조, 시간적 표현을 분리하여 10명의 REHAB24-6 피험자로부터 얻은 1,057회의 반복 동작을 감사(audit)한다. 수동 부분집합 kNN 이득은 풀링된 폴드 외부(pooled out-of-fold) AUROC 기준 0.055에서 동일 가중치(weight) 개인 내(within-person) AUROC 기준 0.020으로 변화하며, 두 대응 구간 모두 0을 포함한다. 차원이 일치하는 1,000개의 무작위 맵 중 14개가 수동 풀링 결과와 일치하거나 이를 초과한 반면, 양측 구조와 몸통 포함 여부까지 일치시킨 경우에는 145개가 이를 초과하거나 일치했다. RBF-SVM은 양의 개인 내 이득을 유지하지만, 로지스틱 회귀와 무작위 합성곱(convolution) 비교 대상은 해당 추정량(estimand) 하에서 음의 점 이득을 보인다. 시퀀스 순서 및 대응 시드(paired-seed) 대조군은 해석을 더욱 한정한다. 이러한 탐색적 감사는 관절 선택 주장이 명시적인 추정량과 구조적으로 적절한 대조군을 요구하는 이유를 보여주며, 새로운 알고리즘이나 임상적 이점을 확립하는 것은 아니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.