고정된 언어 모델 위에 구축한 의학 객관식 문제용 System 1 의사결정 모델
A System 1 Decision Model for Medical Multiple-Choice Questions Built on Frozen Language Models
한국어 초록
System 1 모델은 객관식 문제에 한 번의 처리 과정으로 답한다. 고정된(frozen) 언어 모델이 질문과 각 선택지를 벡터로 변환하고, 학습된 두 개의 작은 헤드가 이들을 공유 공간에 배치하여 가장 가까운 선택지를 정답으로 선택한다. 이 설계는 에이전트 의사결정에서 효과가 입증되었으나, 정답 선택지가 오답보다 질문과 더 유사하지 않은 경우가 많은, 의학 지식이 필요한 시험 문제에서 어디까지 통하는지에 대한 연구는 알려진 바 없다. 본 연구는 MedMCQA를 위해 이 방식을 처음부터 다시 구성하였고, 고정된 Qwen3.5-0.8B, Granite-4.2-3B, Qwen3-8B 위에서 두 개의 투영 헤드와 하나의 온도 파라미터만 학습하였으며, 배치 내 네거티브와 하드 네거티브를 사용하는 대조 손실과 반복 답변에 대한 마스크를 적용하였다. 단순한 마지막 토큰 벡터를 사용했을 때 두 소형 인코더는 약 세 문제 중 한 문제를 맞혔다(보류된 3,842개 문제에서 33.1%와 33.0%이며, 우연 수준은 25.0%이다). 각 텍스트를 한 단어 요약 프롬프트 안에 넣고 헤드의 학습률을 낮추자, 두 소형 인코더에서는 41.7%와 42.5%로, Qwen3-8B에서는 46.0% ±0.2(시드 3개)로 향상되었다. 질문과 선택지를 섞으면 정확도가 우연 수준으로 돌아가므로, 헤드가 실제로 질문을 사용한다. Flan-PaLM과 Med-PaLM 2는 다른 프로토콜에서 MedMCQA 57.6%와 72.3%를 보고하였으므로, 본 모델은 저렴하고 빠른 기준선이며 경쟁력 있는 시스템은 아니다. 또한 본 연구의 증거로 보일 수 없는 점도 밝힌다. 검증 성능 향상은 테스트 성능 향상의 약 1.7~2배였으며, 여러 인코더 계층을 읽는 효과를 다른 변경 사항과 분리할 수 없었다.
원문 초록
A System 1 model answers a multiple-choice question in a single pass. A frozen language model turns the question and each option into vectors, two small, trained heads place them in a shared space, and the closest option wins. The design has been shown on agent decisions, but we are not aware of a study of how far it goes on exam questions that need medical knowledge, where the right option is often no more similar to the question than the wrong ones. We rebuilt the recipe from scratch for MedMCQA and trained only two projection heads and one temperature on top of frozen Qwen3.5-0.8B, Granite-4.2-3B and Qwen3-8B, using a contrastive loss with in-batch and hard negatives and a mask for repeated answers. With plain last-token vectors, both small encoders answer about one question in three correctly (33.1% and 33.0% on 3,842 held-out questions, where chance is 25.0%). Writing each text inside a one-word-summary prompt and lowering the learning rate of the heads raised this to 41.7% and 42.5% for the two small encoders and to 46.0% +-0.2 (three seeds) for Qwen3-8B. Shuffling the questions against the options returns accuracy to chance, so the heads do use the question. Flan-PaLM and Med-PaLM 2 report 57.6% and 72.3% on MedMCQA under a different protocol, so ours is a cheap, fast baseline and not a competitive system. We also say what our evidence cannot show: validation gains were about 1.7 to 2 times the test gains, and we could not separate the effect of reading several encoder layers from the other changes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23832v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.