arXiv:2606.12854v1 cs.CL

바이오메디컬 주장 검증을 위한 소형 LLM: 비용 효율적인 미세조정, 데이터셋 구조적 지름길, 그리고 교차 도메인 일반화

Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization

Gaurav Kumar

제출 2026-06-11

한국어 초록

GPT-4o 및 GPT-5와 같은 대규모 언어 모델(LLM)은 바이오메디컬 주장 검증에서 강력한 제로샷(zero-shot) 성능을 달성하지만, 비용과 불투명성으로 인해 확장 가능한 사용이 제한됩니다. 우리는 SciFact와 HealthVer에서 QLoRA를 통해 Phi-3-mini (3.8B), Qwen2.5-3B, Mistral-7B의 세 가지 소형 LLM을 미세조정(fine-tuning)하여, GPT-4o 및 미세조정된 BioLinkBERT 인코더에 대한 QLoRA 모델의 첫 번째 연구를 제공합니다. Mistral-7B QLoRA는 단 1,008개의 학습(training) 예제만을 사용하여 극히 낮은 비용으로 GPT-4o와 GPT-5 모두를 능가합니다(최대 12% F1 향상). 우리는 광범위한 인도메인(in-domain) 및 교차 도메인(cross-domain) 평가를 수행했습니다. 즉, SciFact에서 학습된 모델을 HealthVer에서 테스트하고 그 반대의 경우도 수행하며, 데이터셋(dataset) 구조를 데이터 양과 분리하기 위해 크기를 일치시켰습니다. 우리는 SciFact에서 인도메인 점수를 부풀리는 이전에 보고되지 않은 구조적 인공물(artifact)을 식별했으며, 양방향 아웃오브도메인(out-of-domain) 평가를 통해 구조적으로 건전한 데이터에 대한 학습이 견고한 교차 도메인 전이를 가능하게 함을 보여줍니다. 우리는 모든 코드와 어댑터 체크포인트를 공개할 계획입니다.

원문 초록

Large Language Models such as GPT-4o and GPT-5 achieve strong zero-shot performance on biomedical claim verification, but cost and opacity limit scalable use. We fine-tune three small LLMs: Phi-3-mini (3.8B), Qwen2.5-3B, and Mistral-7B, via QLoRA on SciFact and HealthVer, providing the first study of QLoRA models against GPT-4o and fine-tuned BioLinkBERT encoders. Mistral-7B QLoRA surpasses both GPT-4o and GPT-5 (up to 12% F1 gain) at a fractional cost using just 1,008 training examples. We conduct extensive in-domain and cross-domain evaluation: models trained on SciFact tested on HealthVer and vice versa, at matched sizes to isolate dataset structure from data quantity. We identify a previously unreported structural artifact in SciFact that inflates in-domain scores, and show through bidirectional out-of-domain evaluation that training on structurally sound data enables robust cross-domain transfer. We plan to release all code and adapter checkpoints.

요약

바이오메디컬 사실 검증(biomedical claim verification)을 위해 QLoRA를 활용하여 소형 언어 모델을 효율적으로 파인튜닝(fine-tuning)하여 Mistral-7B가 소량의 학습 데이터로 GPT-4o 및 GPT-5를 능가하는 비용 효율적인 성능을 달성했습니다. 또한 데이터셋의 구조적 특성이 도메인 간 일반화(cross-domain generalization)에 중요한 영향을 미침을 규명하고 구조적으로 건전한 데이터 학습의 필요성을 제시했습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12854v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2609.24894v2cs.CV공통 태그 Computational Efficiency

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.