arXiv:2610.02116v1 cs.AI

제로샷 의학 논문 초록 분류에서 DeBERTa-v3를 위한 비교 설명가능성 프레임워크

A Comparative Explainability Framework for DeBERTa-v3 in Zero-Shot Medical Abstract Classification

Javier Diaz Esteban-Herreros, David Muñoz-Valero, Raquel Martínez-España, Jose M. Juarez, Juan Moreno-Garcia

제출 2026-10-01

저자 비고

arXiv Comments

18 pages, 6 figures

한국어 초록

본 연구에서는 의학 논문 초록의 제로샷(zero-shot) 분류 환경에서 DeBERTa-v3를 감사(audit)하기 위한 비교 설명가능성(explainability) 프레임워크를 제시한다. 이 연구는 서로 다른 기여도 산출(attribution) 방식이 동일한 입력과 예측에 대해 상이한 설명을 생성하는 설명가능한 인공지능(XAI)의 불일치 문제를 다룬다. Medical Abstracts 말뭉치를 기반으로 진단 범주당 5개의 보강된 가설과 클래스당 1,000개의 균형 잡힌 텍스트 샘플을 활용하여 자연어 추론(NLI) 엔진을 구현한다. 모델 불가지론적(model-agnostic) 접근법인 SHAP과 LIME, 딥러닝 특화 접근법인 오클루전(occlusion)과 Input x Gradient, 트랜스포머 특화 접근법인 Attention x Gradient 등 다섯 가지 설명 방법을 비교한다. 설명은 상위 토큰 기여도를 통해 표준화되며, 쌍별 일치도는 자카드 지수(Jaccard index)를 사용하여 정량화된다. 잘 정의된 임상 영역에서는 높은 예측 정확도를 달성하지만, 의미적 모호성이 높은 상황에서는 성능이 저하된다. 설명의 안정성은 예측 확신도를 직접적으로 반영하여 일가적(univalent) 범주에서는 강한 수렴을 보이고 진단 불확실성 하에서는 뚜렷한 하락을 나타낸다. 나아가 정성적 오류 감사를 통해 어휘적 과민성, 의미적 중첩, 기여도 일관성 손실이라는 세 가지 시스템적 실패 메커니즘을 밝혀낸다. 이러한 결과는 의학 텍스트 분류에서 트랜스포머 기반 모델을 감사할 때 여러 설명 방법과 정량적 일치도 지표를 결합하여 사용할 것을 지지하며, 광범위한 진단 레이블보다 구체적인 임상 온톨로지를 우선시할 것을 시사한다.

원문 초록

A comparative explainability framework is presented to audit DeBERTa-v3 under zero-shot classification of medical abstracts. The work addresses the disagreement problem in Explainable Artificial Intelligence, where different attribution methods produce divergent explanations for the same input and prediction. A natural language inference engine is implemented over the Medical Abstracts corpus with five enriched hypotheses per diagnostic category and a balanced sample of one thousand texts per class. Five explanation methods are compared: SHAP and LIME as model-agnostic approaches, occlusion and Input x Gradient as deep-learning-specific approaches, and Attention x Gradient as a transformer-specific approach. Explanations are standardized through top-token attribution, and pairwise agreement is quantified using the Jaccard index. High predictive accuracy is achieved across well-defined clinical domains, whereas performance degrades under high semantic ambiguity. Explanatory stability directly mirrors predictive certainty, exhibiting strong convergence in univalent categories and a marked drop under diagnostic uncertainty. Furthermore, qualitative error auditing uncovers three systemic failure mechanisms: lexical hypersensitivity, semantic overlap, and loss of attribution coherence. The results support the combined use of several explanation methods and quantitative agreement metrics when auditing transformer-based models in medical text classification, and suggest prioritizing specific clinical ontologies over broad diagnostic labels.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02116v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24574v2cs.CL공통 태그 Uncertainty Quantification, Text Classification, Zero-Shot Learning

계산사회과학 텍스트 어노테이션을 위한 의사결정 모델 평가

Evaluating Decision Models for Text Annotation in Computational Social Science

계산사회과학(computational social science)은 텍스트 어노테이션(annotation)에 대규모 언어 모델(LLM)에 점점 더 의존하고 있으며, 발표된 연구 결과의 타당성은 이제 이러한 모델이 생성한 레이블에 달려 있다. 범주형 질의응답을 위해 만들어진 새로운 모델 클래스인 의사결정 모델(decision model)은 자유 형식 텍스트 대신 선택지, 레이블 집합에 대한 확률 분포, 그리고 신뢰도 점수로 유형화된 질문에 답하며, 그 비용은 프런티어 모델 추론 가격의 극히 일부에 불과하다. 이러한 모델의 답변이 정확한지, 그리고 모델이 제시하는 신뢰도를 사회과학 구성 개념(construct)에서 신뢰할 수 있는지는 알려져 있지 않다. 본 연구에서는 18개 계산사회과학 분류 과제(7,977개 항목)에 대해 Ziems et al.(2024)의 평가를 재현하여, 최초의 상용 의사결정 모델과 두 개의 오픈 가중치(open-weight) 모델을 19개의 프런티어 및 오픈 가중치 언어 모델과 동일한 제로샷 프로토콜 하에서 비교하고, 의사결정 모델 비교를 그 이후 일주일 동안 공개된 11개의 오픈 가중치 시스템으로 확장한다. 의사결정 모델은 15개 평가 과제 중 14개에서 과제별 최고 성능 LLM에 뒤처졌으며, 매크로 F1 기준 중앙값 격차는 11.6점이었고, 측정된 비용은 중앙값 기준 44배 낮았다. 이 모델의 신뢰도는 19개 LLM 중 16개의 언어화된(verbalized) 신뢰도보다 더 잘 보정되어 있으나, 세 개의 프런티어 모델은 더 낮은 중앙값 보정 오차를 보인다(0.157 대 0.066). 신뢰도 0.9를 초과하는 항목은 일반적으로 정확하게 레이블링되지만(중앙값 정확도 0.815), 또래 지원 대화에서의 공감(empathy) 과제 하나에서는 모델이 높은 신뢰도를 보고하면서도 무작위 수준에 가까운 성능을 보였다. 그럼에도 본 연구 결과는 의사결정 모델이 어노테이션 파이프라인의 첫 단계로서 유용함을 시사한다. 신뢰도가 낮은 항목을 LLM으로 라우팅하면 LLM 단독 사용과 같거나 더 나은 성능을 LLM 비용의 4분의 1에서 절반 수준으로 달성할 수 있다.

arXiv:2609.24625v1cs.AI공통 태그 Text Classification, Natural Language Inference, Zero-Shot Learning

글로벌 보건 문헌을 위한 맞춤형 개체명 인식 및 주제 분류

Custom Named Entity Recognition and Topic Classification for Global Health Publications

주석이 달린 데이터와 연산 자원이 제한된 환경에서 글로벌 보건 문헌을 위한 자연어 처리(NLP) 모델을 어떻게 선정하고 적응시켜야 하는가? 본 학위논문은 의미론적 태그 발견, 개체명 인식(NER), 다중 레이블 주제 분류에 대한 실험을 통해 이러한 과제를 조사한다. 먼저, 점진적으로 커지는 전문 코퍼스로 학습된 skip-gram word2vec 모델들을 BioWordVec과 비교하여 코퍼스 크기와 도메인 문맥이 태그 발견에 미치는 영향을 평가한다. 어휘 커버리지와 정성적 평가는 더 넓은 커버리지가 반드시 더 유용한 도메인 특화 연관성으로 이어지지는 않음을 나타낸다. 이어 분석은 개체 추출로 전환되어, 1,000개의 주석이 달린 문장에서 합성곱 spaCy 모델들과 RoBERTa 기반 트랜스포머를 비교한다. 관대한 점수 산정 프로토콜 하에서 트랜스포머는 5~6초 대신 82초가 소요되지만 합성곱 모델의 0.65~0.69에 비해 0.80의 micro-F1을 달성한다. 이러한 트레이드오프는 합성곱 모델의 미세조정과 NCBI 질병 코퍼스에서 81.33%의 테스트 F1을 달성하는 질병 인식기의 통합을 동기부여한다. PDF 전처리, 개체 필터링, MeSH 강화와 결합되어, 최종 파이프라인은 문서 수준 색인을 지원한다. 개체 추출을 주제별 주석으로 보완하기 위해 50개 주제와 1,000개의 수작업 제작 테스트 문장에 걸쳐 MiniLM 기반 퓨샷 분류와 BART-MNLI 제로샷 추론을 비교한다. 부분적 수동 평가 하에서 BART-MNLI는 59% 대비 95.2%의 단일 레이블 정확도를 달성하며, 보고된 다중 레이블 정확도는 각각 88%와 32%이다. 그러나 더 높은 추론 비용은 실제 통합을 제한한다. 본 연구 결과는 도메인 특화와 경량 적응이 실질적인 가치를 제공하는 영역과, 트랜스포머의 정확도가 더 높은 추론 비용을 정당화하는 영역을 보여주며, 자원 제약 하에서 지식 시스템을 구축하기 위한 실증적 기반을 제공한다.

arXiv:2610.15742v1cs.CV공통 태그 Uncertainty Quantification, Zero-Shot Learning

RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리

RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification

멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.

arXiv:2609.39166v3cs.AI공통 태그 Uncertainty Quantification, Zero-Shot Learning

기억된 세계를 넘어서: 진화하는 세계에서의 지속적 내비게이션을 위한 예측적 4D 신념

Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds

지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.

arXiv:2610.02516v1cs.LG공통 태그 Natural Language Inference, Zero-Shot Learning

효율적인 LLM 작업 라우팅을 위한 학생 모델 주도 교사 증류: Jev 방식 System-1 분류기와의 포지셔닝

Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers

제로샷(zero-shot) 분류기는 사용자 요청을 특화된 LLM 작업으로 라우팅하는 데 유용하지만, 모든 요청을 대규모 후보 집합에 대해 채점하는 것은 비용이 많이 든다: 제로샷 NLI(자연어 추론) 분류기는 레이블마다 전제-가설(premise-hypothesis) 쌍을 하나씩 평가해야 하므로, 비용이 분류 체계(taxonomy) 크기에 선형적으로 증가한다. 우리는 60개의 LLM 작업 범주로 구성된 고정된 분류 체계에 대해 학생 모델 주도 교사 증류 파이프라인을 연구한다: 소형 ModernBERT 분류기가 한 번의 순전파(forward pass)로 전체 범주 분포를 예측하고 소규모 top-k 후보 집합을 검색하며, 더 큰 DeBERTa-v3 제로샷 NLI 분류기는 60개 레이블 전체가 아니라 이 후보들만 재순위화(rerank)한다; 그 결과로 생성된 교사 레이블은 반복적으로 학생 모델을 개선하며, 이는 다음 라운드에서 더 정교한 후보를 생성한다. 극단적 다중 레이블 분류(extreme multi-label classification)에서 사용되는 일반적인 임베딩 검색이나 클러스터링 기반 숏리스트와 달리, 우리의 후보 생성기는 대상 분류 체계에 대해 종단간(end-to-end)으로 학습되며, 프로덕션 트래픽을 모델 서빙(model serving)하는 것과 동일한 모델이다. 이는 후보 모델들 사이를 라우팅하는 LLM 라우팅 연구와, 학습 방법론이 문서화되지 않았거나 강화학습(RL) 기반인 동시대의 System-1 인코더-분류기 제안들(예: TypeSafe AI의 Jev 및 오픈소스 Laya 프로젝트)과 구별된다. 우리의 최고 성능 학생 체크포인트는 200개 예제로 구성된 평가셋에서 77.5%의 교사 일치율(teacher agreement)을 달성하며, 예비 커버리지(coverage) 측정 결과 Coverage@16이 91-100%로 나타나, top-k 집합이 교사의 결정에 관련된 정보 대부분을 유지함을 시사한다. 우리는 또한 잘린(truncated) top-k 교사 점수를 KL 증류를 위한 전체 60개 클래스 소프트 타겟(soft target)으로 취급해서는 안 됨을 보인다: 잘리지 않은 클래스를 0으로 만드는 것은 소프트 레이블 증류가 의존하는 다크 지식(dark knowledge)을 파괴하며, 이는 무해한 희소 근사(sparse approximation)가 아니라 체계적인 바이어스(bias)를 유발한다. 보류 평가셋(held-out set)에서 여러 k 값에 대한 커버리지, 임베딩 검색 기준선(baseline), 그리고 사람이 검토한 더 큰 테스트셋을 포함하는 완전한 평가는 아직 진행 중이다.

arXiv:2609.27387v1cs.CL공통 태그 Text Classification, Zero-Shot Learning

AraGenre 2026: 계층적 정의 기반 아랍어 장르 분류 공유 과제

AraGenre 2026: A Hierarchical Definition-Guided Arabic Genre Classification Shared Task

AraGenre는 아랍어 및 기타 저자원 언어에서의 주석 데이터 부족 문제를 해결하기 위해 고안된 계층적 정의 기반(definition-guided) 아랍어 장르 분류(classification) 공유 과제이다. 시스템은 각 아랍어 텍스트 세그먼트에 광범위한 의사소통 장르와 세부 장르를 모두 부여한다. 공개된 학습(training) 및 개발 데이터셋(dataset)은 주로 합성 및 통제된 제한된 예시를 포함하는 반면, 블라인드 평가용 최종 벤치마크(benchmark)는 현대 표준 아랍어(Modern Standard Arabic), 고전 아랍어(Classical Arabic), 그리고 다양한 방언에 걸친 잡음이 많은 자연 발생 텍스트를 포함한다. 참가자들에게는 이전에 본 적 없는 74개 세부 장르에 대한 자연어 정의가 제공되어, 시스템이 고정된 레이블-특징(feature) 연관성을 암기하기보다 클래스 의미론을 추론해야 하는 제로샷(zero-shot) 레이블 일반화 환경이 조성되었다. 이 과제에는 46개 팀이 등록하고 373건이 제출되었으며, 17개 팀이 최종 평가(evaluation)를 완료했다. Thakaa 팀이 계층적 매크로 F1(Hierarchical Macro F1) 0.7352로 1위를 차지했고, HoangPhong (HP) 팀이 0.7169로 그 뒤를 이었으며, NAMAA 팀이 0.7013을 기록했다. 결과는 광범위한 장르 인식에서는 강력한 성능을 보였으나, 언어적 및 도메인 변이가 존재하는 환경에서의 세부 장르 분류에서는 상당한 성능 격차가 존재함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.