PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02116v1cs.AI

제로샷 의학 논문 초록 분류에서 DeBERTa-v3를 위한 비교 설명가능성 프레임워크

A Comparative Explainability Framework for DeBERTa-v3 in Zero-Shot Medical Abstract Classification

본 연구에서는 의학 논문 초록의 제로샷(zero-shot) 분류 환경에서 DeBERTa-v3를 감사(audit)하기 위한 비교 설명가능성(explainability) 프레임워크를 제시한다. 이 연구는 서로 다른 기여도 산출(attribution) 방식이 동일한 입력과 예측에 대해 상이한 설명을 생성하는 설명가능한 인공지능(XAI)의 불일치 문제를 다룬다. Medical Abstracts 말뭉치를 기반으로 진단 범주당 5개의 보강된 가설과 클래스당 1,000개의 균형 잡힌 텍스트 샘플을 활용하여 자연어 추론(NLI) 엔진을 구현한다. 모델 불가지론적(model-agnostic) 접근법인 SHAP과 LIME, 딥러닝 특화 접근법인 오클루전(occlusion)과 Input x Gradient, 트랜스포머 특화 접근법인 Attention x Gradient 등 다섯 가지 설명 방법을 비교한다. 설명은 상위 토큰 기여도를 통해 표준화되며, 쌍별 일치도는 자카드 지수(Jaccard index)를 사용하여 정량화된다. 잘 정의된 임상 영역에서는 높은 예측 정확도를 달성하지만, 의미적 모호성이 높은 상황에서는 성능이 저하된다. 설명의 안정성은 예측 확신도를 직접적으로 반영하여 일가적(univalent) 범주에서는 강한 수렴을 보이고 진단 불확실성 하에서는 뚜렷한 하락을 나타낸다. 나아가 정성적 오류 감사를 통해 어휘적 과민성, 의미적 중첩, 기여도 일관성 손실이라는 세 가지 시스템적 실패 메커니즘을 밝혀낸다. 이러한 결과는 의학 텍스트 분류에서 트랜스포머 기반 모델을 감사할 때 여러 설명 방법과 정량적 일치도 지표를 결합하여 사용할 것을 지지하며, 광범위한 진단 레이블보다 구체적인 임상 온톨로지를 우선시할 것을 시사한다.

arXiv:2609.11870v2cs.CL

Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것

Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model

언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.

arXiv:2607.10312v1cs.CL

극화 탐지: 저자원 및 고자원 환경을 위한 AfroXLMR-Social과 DeBERTa의 하이브리드 접근법

Polarization Detection: A Hybrid Approach with AfroXLMR-Social and DeBERTa for Low- and High-Resource Settings

온라인 극화(polarization)의 급속한 확산은 사회적 결속을 위협하며, 다양한 언어적 맥락에서 효과적으로 작동하는 강건한 자동화 탐지 시스템의 필요성을 높이고 있다. 본 논문은 영어와 하우사어(Hausa)에서의 극화된 담론 탐지 및 특성화에 초점을 맞춘 POLAR Shared Task 2026에 대한 시스템 설명을 제시한다. 우리는 하이브리드 모델링 전략을 제안한다: 영어 이진 탐지에는 DeBERTa의 단일 언어 강점을 활용하고, 하우사어 및 모든 세분화된 하위 과제(유형 및 발현 양상)에는 AfroXLMR-Social을 사용한다. 이 도메인 적응 다국어 모델은 소셜 미디어 텍스트에서 극화의 뉘앙스를 포착하는 데 핵심적인 역할을 했다. 계산 제약과 데이터 부족 문제를 추가로 해결하기 위해 저랭크 적응(LoRA)과 nlpaug를 통한 텍스트 데이터 증강을 구현했다. 우리는 세 가지 하위 과제 전반에 걸쳐 경쟁력 있는 결과를 보고하며, 특정 하위 과제 요구사항에 맞춰 조정된 모델 선택이 최적의 성능 균형을 달성함을 입증한다.