PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23561v1cs.CV

시각적 설명의 전이: 아키텍처 간 지식 증류가 모델 해석 가능성에 미치는 영향

Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability

자원이 제한된 환경에서는 효율적인 신경망을 배포하는 것이 필수적이지만, 소형 모델은 자율주행 및 의료와 같은 안전성(safety)이 중요한 영역에서 핵심적인 요소인 해석 가능성을 희생하는 경우가 많습니다. 본 연구는 지식 증류(KD)가 대규모 교사(teacher) 네트워크의 공간적 특징 귀속(feature attribution)을 소형 학생(student) 모델로 전이하는지 조사합니다. KD 방식이 해석 가능성에 미치는 영향을 평가하기 위해, 증류 온도와 소프트 레이블 손실 가중치를 체계적으로 변화시키면서 5가지 설정에 걸쳐 ImageNet-1K에서 ResNet-152 교사 모델을 ResNet-34 학생 모델로 증류합니다. 모델들은 top-1 정확도와 함께 두 가지 해석 가능성 지표인 Relevance Mass Accuracy(RMA) 및 Relevance Rank Accuracy(RRA)로 평가됩니다. 이러한 지표는 정답(ground-truth) 객체 마스크를 기준으로 벤치마크된 Grad-CAM 히트맵을 통해 계산됩니다. 연구 결과에 따르면 top-1 정확도는 71.6%에서 74.0% 범위를 보입니다. Grad-CAM의 경우 RMA는 7.7%에서 9.7%, RRA는 7.3%에서 10.1% 범위이며, Guided Grad-CAM의 경우 RMA는 16.1%에서 18.6%, RRA는 15.9%에서 21.5% 범위입니다. 해석 가능성은 온도보다 소프트 레이블 가중치에 훨씬 더 민감한 것으로 입증되었습니다. 즉, 학생 모델을 하드 레이블에 고정(anchor)하면 정확도와 대략적인(coarse) 위치 파악을 모두 보존하지만, 교사 모델에 큰 가중치를 부여하면 두 가지 모두 저하됩니다. 그러나 세밀한(fine-grained) 귀속은 테스트된 모든 구성에서 증류되지 않은 기준선 아래로 떨어졌으며, 이는 로짓 증류가 어텐션의 픽셀 수준 구조보다는 모델이 어디에 주목(attend)하는지를 더 쉽게 전달함을 나타냅니다. 우리는 합성곱(convolutional) 및 트랜스포머 기반 모델의 12가지 아키텍처 간 조합을 평가하여, 세밀한 공간 추론의 계승이 근본적으로 학생 모델 고유의 구조적 편향에 의해 병목 현상을 겪는다는 것을 밝혀냅니다. 우리가 아는 한, 이전에 신경망 가지치기에 사용되었던 이 해석 가능성 인식 평가 프레임워크를 KD에 적용한 것은 이번이 처음입니다.

arXiv:2609.22631v1cs.CV

X-Beat: 심전도 이미지 분류를 위한 설명 가능한 프레임워크

X-Beat: An Explainable Framework for ECG Image Classification

심근경색 및 부정맥과 같은 심장 질환의 조기 발견을 위해서는 심전도(ECG)의 정확한 자동 판독이 필수적입니다. 그러나 뛰어난 성능을 보이는 많은 심층 학습(deep learning) 모델은 제한된 투명성과 신뢰도 검증(validation) 부재로 인해 실제 임상 환경에 배포되기 어렵습니다. 본 연구에서는 의료 분야에서 신뢰할 수 있는 AI 시스템을 지원하도록 설계된 심전도 이미지 분류(image classification)를 위한 설명 가능하고 신뢰도를 고려한 벤치마크(benchmark) 프레임워크인 X-Beat를 제시합니다. 제안된 프레임워크는 전이학습(transfer learning)과 사후 설명 가능성(post-hoc explainability), 그리고 이상 심박(Abnormal Heartbeat), 심근경색 병력(History of Myocardial Infarction), 심근경색(Myocardial Infarction), 정상 심박(Normal Heartbeat)의 네 가지 심장 질환 범주 전반에 걸친 체계적인 신뢰도 평가(evaluation)를 결합합니다. EfficientNet-B0, ResNet-50, DenseNet-121, MobileNetV3-Large를 포함한 여러 ImageNet 사전학습(pre-training) CNN 백본(backbone)을 통합된 학습(training) 프로토콜 하에서 평가합니다. 표준 성능 지표를 넘어, 모델(model) 예측이 임상적으로 유의미한 근거에 기반하는지 검토하기 위해 설명 안정성, 영역 민감도, 신뢰도 기반 신뢰성 평가를 포함한 추가 분석과 함께 Grad-CAM 기반 시각적 설명을 통합합니다. 실험 결과에 따르면 ResNet-50이 가장 우수한 성능을 달성하여 91.94%의 정확도와 0.9098의 매크로 F1 점수를 기록했으며, 강력한 클래스 분리도(AUC 최대 0.995)를 보였습니다. 설명 분석 결과 모델은 주로 파형(waveform) 관련 영역에 초점을 맞추는 것으로 나타났으며, 신뢰도 평가에서는 대부분의 부정확한 예측이 낮은 신뢰도에서 발생하는 것으로 나타났습니다. 종합적으로, 본 연구는 심전도 이미지 분류에서 예측 성능과 설명 신뢰도를 모두 평가할 수 있는 체계적이고 재현 가능한 벤치마크를 제공하며, 임상 의사 결정 지원 시스템을 위한 신뢰할 수 있고 해석 가능한 AI 구성요소 개발에 기여합니다.

arXiv:2607.22872v1cs.LG

같은 예측, 다른 근거: 양자화가 모델 설명에 미치는 영향

Same Predictions, Different Reasons: The Effect of Quantization on Model Explanations

사후 학습 양자화(PTQ)는 재학습 없이 고정밀도 부동소수점 가중치를 저정밀도 표현으로 압축함으로써, 자원이 제한된 엣지 디바이스에 심층 학습 모델을 배포하는 실용적인 해결책이 되었다. 기존 연구는 양자화가 분류 정확도를 대체로 유지한다는 것을 보여 주었지만, 모델의 내부 추론(reasoning)도 보존되는지는 여전히 열린 질문이다. 본 연구는 정적 PTQ가 INT8 및 INT4 정밀도에서 다섯 가지 널리 사용되는 CNN 아키텍처(VGG19, ResNet18, EfficientNet-B0, DenseNet161, MobileNetV2)의 해석 가능성/설명 가능성에 어떤 영향을 미치는지에 대한 체계적 평가를 제시한다. Grad-CAM을 이용한 공간적 어텐션 분석과 LIME을 이용한 입력 수준 특징 귀속(feature attribution)을 결합한 이중 해석 가능성 프레임워크를 사용하여, 두 개의 이진 분류 데이터셋에서 전정밀도 모델과 양자화 모델을 체계적으로 비교한다. 해석 가능성은 모델 설명의 분포적·구조적 변화를 포착하기 위해 Pearson 상관계수, 구조적 유사도 지수(SSIM), 상위 20% IoU라는 세 가지 보완적 지표로 평가하며, 삭제/삽입 충실도(faithfulness) 분석을 보조적으로 수행한다. 결과는 저정밀도 환경에서 분류 정확도가 해석 가능성 안정성의 신뢰할 수 있는 지표가 아님을 보여 준다. DenseNet161은 두 정밀도 수준 모두에서 강한 특징 일관성을 유지하는 반면, EfficientNet-B0는 INT8 정밀도에서 경쟁력 있는 공간적 어텐션과 분류 정확도를 달성했음에도 입력 수준 특징 귀속에서 상당한 저하를 보인다. 이러한 결과는 해석 가능성 요구가 높은 응용에서 양자화 모델의 신뢰할 수 있는 배포에 직접적인 함의를 가지며, 아키텍처 선택이 양자화 전략만큼 중요함을 보여 준다.

arXiv:2607.20814v1cs.AI

가이드 그라운딩 멀티모달 LLM을 활용한 설명 가능한 심장 진단 향상

Enhancing Explainable Cardiac Diagnosis with Guide-Grounded Multimodal LLMs

심전도(ECG)는 심장 평가의 핵심이지만, 심층 학습 모델의 임상 배포는 해석 가능성의 제한과 대규모 언어 모델(LLM)의 환각(hallucination) 위험으로 인해 여전히 제약을 받고 있다. 기존 CNN+Grad-CAM+멀티모달 LLM 프레임워크는 ECG 보고서를 생성할 수 있지만, 그 설명은 종종 확립된 진단 기준에 약하게만 그라운딩(grounding)되어 신뢰성과 재현성을 떨어뜨린다. 우리는 보고서 생성을 선별된 임상 지식에 명시적으로 고정하는 가이드 그라운딩 멀티모달 프레임워크를 제안한다. 합성곱 신경망(CNN)과 Grad-CAM이 먼저 12-lead ECG 이미지로부터 클래스 확률과 클래스별 히트맵을 생성한다. 병행하여, 권위 있는 ECG 교과서와 가이드라인 자료를 오프라인에서 구조화된 ECG Interpretation Guide로 증류하여, 이를 모든 샘플에 대해 고정된 지식 블록으로 주입한다. ECG 이미지, Grad-CAM 오버레이, CNN에서 파생된 fact pack, 주입된 가이드를 조건으로 하여, 멀티모달 LLM이 가이드라인과 일관된 용어 및 기준 사용을 갖춘 구조화된 진단 보고서를 생성한다. PTB-XL 테스트 세트 전체에 대한 실험은 가이드 그라운딩이 경쟁력 있는 분류 성능을 유지하면서 생성된 보고서의 의미적 품질과 지각된 일관성을 향상시킴을 보여준다. 특히, 우리 방법은 강력한 CNN+Grad-CAM+MLLM 기준선 대비 생성된 impression의 평균 BERTScore를 0.818에서 0.953으로 높여, 참조 보고서와의 더 밀접한 정렬(alignment)을 나타낸다. 이러한 결과는 증류된 해석 가이드를 멀티모달 프롬프팅 파이프라인에 주입하는 것이 환각을 줄이고 LLM 기반 ECG 설명의 임상적 타당성을 높이는 실용적인 경로를 제공하며, 설명 가능한 심장 진단을 실제 배포에 더 가깝게 이끈다는 것을 시사한다.

arXiv:2607.00385v1eess.IV

MalariAI: A Label-Resilient Decoupled Framework for Universal Cell Segmentation and Explainable Stage Classification in Dense Malaria Blood Smears

MalariAI는 혈액 도말(blood smear) 현미경 이미지에서 말라리아 자동 진단 시스템의 세 가지 핵심 문제(불완전한 어노테이션, 밀집 영역에서의 NMS 오탐 억제, 세포 단위 설명 가능성 부재)를 해결하기 위해 거리 변환 기반 watershed 세포 분리와 EfficientNet-B0 분류를 결합한 2단계 분리형 파이프라인을 제시한다. BBBC041 테스트셋에서 어노테이션 없이 75.95%의 세포 복원율을 달성하고, 희귀 단계인 schizont와 gametocyte에서 각각 87.5%, 75.0%의 분류 정확도를 기록하며, Grad-CAM++ 히트맵으로 세포별 공간적 근거를 임상 감사에 제공한다.

arXiv:2606.12252v1cs.LG

효율적인 심전도 분류를 위한 학습 시 신뢰성 신호로서 설명 가능성 활용

Using Explainability as a Training-Time Reliability Signal for Efficient ECG Classification

임상 시계열 분석을 위한 심층 신경망(deep neural networks) 학습은 계산 비용이 많이 드는데, 많은 의료 환경에서는 반복적인 모델 개발 및 배포에 필요한 리소스가 부족합니다. 이러한 문제는 대규모 데이터셋과 긴 학습 시간으로 인해 효율성이 실질적으로 중요한 심전도 분류에서 특히 두드러집니다. 진행형 데이터 드롭아웃(Progressive Data Dropout)은 학습된 샘플을 그래디언트 업데이트에서 제외하여 학습 비용을 줄이지만, 모델 신뢰도에 의존하므로 유용한 신호보다는 노이즈나 모호성으로 인해 어려운 샘플을 유지할 수 있습니다. 본 연구에서는 효율적인 심전도 분류를 위한 설명 가능성 기반 신뢰성 학습 신호인 ERTS를 소개합니다. ERTS는 학습 중 설명 품질을 사용하여 정보성 있는 불확실성과 신뢰할 수 없는 불확실성을 구별합니다. 진행형 데이터 선택을 기반으로, 후보 샘플에 대한 Grad-CAM 어텐션 맵(attention maps)을 계산하고 모델 예측이 일관되고 국소화된 패턴에 의해 지지되는지 측정하는 포커스 점수(focus score)를 도출합니다. 포커스 점수가 낮은 샘플은 필터링되고, 의미 있는 어텐션을 가진 샘플은 그래디언트 업데이트를 위해 우선시됩니다. 우리는 세 가지 심전도 데이터셋과 여러 백본 아키텍처에 걸쳐 ERTS를 평가했으며, 유효 학습 비용 감소와 함께 macro-F1에서 일관된 개선을 보였습니다. 이러한 결과는 설명 품질이 임상 시계열 학습에서 효율성과 신뢰성을 모두 향상시키는 실용적인 신호가 될 수 있음을 시사합니다. 코드는 공개될 예정입니다.