PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08490v1cs.AI

생물의학 텍스트의 적응형 의미 모델링을 위한 드리프트 인식 시간적 그래프 재배선(DATGR)

Drift-Aware Temporal Graph Rewiring (DATGR) for Adaptive Semantic Modeling in Biomedical Text

생물의학 텍스트의 의미 드리프트(semantic drift) 문제를 해결하기 위해, 임베딩 재학습 없이 공기(co-occurrence) 그래프의 에지 가중치를 로지스틱 업데이트 규칙으로 동적으로 재배선하는 DATGR 프레임워크를 제안한다. BIOMRC 데이터셋에서 정적 기준선 대비 AUROC를 0.633에서 0.699로 향상시키면서 AUPRC는 유사한 수준(~0.74)을 유지해, 경량의 에지 수준 적응만으로도 시간적 의미 변화를 효과적으로 포착할 수 있음을 보인다.

arXiv:2607.01444v1cs.LG

On the Utility and Factual Reliability of Pruned Mixture-of-Experts Models in the Biomedical Domain

전문가 혼합(MoE) 모델에서 구조적 전문가 가지치기(expert pruning)가 유용성(utility)뿐 아니라 사실적 신뢰성(factual reliability)에 미치는 영향을 생의학 도메인 중심으로 체계적으로 분석하였다. 4개 MoE 모델과 6가지 가지치기 방법을 평가한 결과, 적절한 수준의 가지치기는 도메인 내 성능을 유지하면서 신뢰성 저하 없이 동작하지만, 극단적 가지치기 비율에서는 환각(hallucination) 위험이 증가하고 도메인 이동 시 유용성과 신뢰성 모두 급격히 저하되어, 고위험 도메인 배포 시 유용성 평가만으로는 불충분함을 보였다.

arXiv:2606.11208v1cs.CL

BioDivergence: 생물의학 초록의 숨겨진 문맥적 모순을 위한 벤치마크 및 평가 프레임워크

BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts

생물의학적 연구 결과는 연구 간에 충돌하는 것처럼 보이는 경우가 많지만, 많은 차이점은 진정한 모순이라기보다는 문맥 의존적입니다. 코호트, 지리적 위치, 어세이 프로토콜, 질병 아형, 임상 환경의 차이는 두 주장 모두 각 문맥에서 타당하게 만들 수 있습니다. 기존 자연어 추론(NLI) 및 과학적 주장 검증 벤치마크는 이러한 사례를 함의(entailment), 모순(contradiction), 또는 중립(neutral)으로 단순화하여, 차이 이면의 문맥적 구조를 포착하지 못합니다. 이를 해결하기 위해 우리는 6개 클래스 갈등 분류 체계(taxonomy), 13개 축 차이 온톨로지(ontology), 그리고 주장 쌍당 4가지 구조화된 출력(갈등 유형, 차이 축, 주요 교란 변수(confounder), 조정 설명)을 갖춘 평가 프레임워크인 BioDivergence를 소개합니다. 우리는 5개 생물의학 도메인에 걸친 11,865개 주장 쌍으로 구성된 논문 분리(article-disjoint) 실버 벤치마크인 BioDivergence-Silver-v1.0을 비교를 위한 기존 중복 제거 변형(variant)과 함께 공개합니다. 결과는 두 변형 간에 현저한 순위 차이를 보여주며, 파인튜닝된 참조 모델은 논문 분리(article-disjoint) 설정에서 약 12포인트 하락한 반면, Mistral-7B-Instruct-v0.3은 842개 예제의 기본 테스트 세트에서 0.5523 정확도와 0.3894 문맥-F1(contextual-F1)을 달성했습니다. BioDivergence는 문맥적 차이와 직접 모순을 구별하고, 논문 수준의 암기와 진정한 과제 학습을 분리하는 더 충실한 방법을 제공합니다.

arXiv:2408.02600v3cs.CL공식 코드 · Papers with Code

BioMamba: 도메인 적응 바이오의학 언어 모델

BioMamba: Domain-Adaptive Biomedical Language Models

Mamba2 모델에 PubMed, C4, Wikipedia의 균형 잡힌 데이터를 사용하여 지속 사전학습을 수행한 BioMamba는 바이오의학 문헌 및 임상 텍스트에서의 성능을 향상시키면서 일반 언어 모델링 유창성을 유지합니다. 파인튜닝 후 MIMIC-IV 및 PubMedQA 벤치마크에서 기존 모델과 동등하거나 우수한 성능을 달성했습니다.