BiomedXPro: 의생명 비전-언어 모델을 활용한 설명 가능한 진단을 위한 프롬프트 최적화
BiomedXPro: Prompt Optimization for Explainable Diagnosis with Biomedical Vision Language Models
한국어 초록
의생명 비전-언어(vision-language) 모델의 임상 도입은 해석 불가능한 잠재 벡터나 단일 텍스트 프롬프트만을 생성하는 기존 프롬프트 최적화(prompt optimization) 기술로 인해 저해되고 있습니다. 이러한 투명성 부족과 다양한 관찰 결과를 통합하는 데 의존하는 임상 진단의 다면적 특성을 포착하지 못하는 한계는 고위험 환경에서 모델의 신뢰성을 제한합니다. 이를 해결하기 위해, 본 논문에서는 대규모 언어 모델(LLM)을 의생명 지식 추출기이자 적응형 옵티마이저(optimizer)로 활용하여 질병 진단을 위한 해석 가능한 자연어 프롬프트 쌍의 다양한 앙상블(ensemble)을 자동으로 생성하는 진화형 프레임워크인 BiomedXPro를 제안합니다. 여러 의생명 벤치마크(benchmark)에 대한 실험 결과, BiomedXPro는 특히 데이터가 희소한 퓨샷(few-shot) 설정에서 최신 프롬프트 튜닝(prompt-tuning) 기법들을 일관되게 능가하는 것으로 나타났습니다. 또한, 분석을 통해 발견된 프롬프트와 통계적으로 유의미한 임상 특징 간의 강력한 의미론적 정렬(semantic alignment)을 입증하여, 검증 가능한 개념에 모델 성능을 그라운딩(grounding)했습니다. 해석 가능한 프롬프트의 다양한 앙상블을 생성함으로써, BiomedXPro는 모델 예측에 대한 검증 가능한 근거를 제공하며, 더욱 신뢰할 수 있고 임상적으로 정렬된 AI 시스템 개발을 향한 중요한 진전을 제시합니다.
원문 초록
The clinical adoption of biomedical vision-language models is hindered by prompt optimization techniques that produce either uninterpretable latent vectors or single textual prompts. This lack of transparency and failure to capture the multi-faceted nature of clinical diagnosis, which relies on integrating diverse observations, limits their trustworthiness in high-stakes settings. To address this, we introduce BiomedXPro, an evolutionary framework that leverages a large language model as both a biomedical knowledge extractor and an adaptive optimizer to automatically generate a diverse ensemble of interpretable, natural-language prompt pairs for disease diagnosis. Experiments on multiple biomedical benchmarks show that BiomedXPro consistently outperforms state-of-the-art prompt-tuning methods, particularly in data-scarce few-shot settings. Furthermore, our analysis demonstrates a strong semantic alignment between the discovered prompts and statistically significant clinical features, grounding the model's performance in verifiable concepts. By producing a diverse ensemble of interpretable prompts, BiomedXPro provides a verifiable basis for model predictions, representing a critical step toward the development of more trustworthy and clinically-aligned AI systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹
Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets
멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.
문장 수준에서의 법해석 기준 분류: 독일 연방헌법재판소 판결 기반 벤치마크
Classifying Interpretive Canons at the Sentence Level: A Benchmark from the German Federal Constitutional Court
사법적 추론은 대규모 언어 모델(LLM)이 분석하기에 여전히 까다로운 영역입니다. 본 논문은 사비니(Savigny)의 전통에 입각해 라렌츠(Larenz)가 체계화한 법해석 기준(interpretive canons)을 분류하는 LLM의 능력을 평가하기 위한 문장 수준의 벤치마크를 제시합니다. 본 연구의 기여는 세 가지입니다. 첫째, 이러한 법해석 개념을 분류(classification) 기준으로 구체화하여 작동 가능하게 만들었습니다. 둘째, 문장 수준에서 주석이 달린 독일 연방헌법재판소 결정 데이터셋(dataset)을 제공합니다. 셋째, 유전-파레토(Genetic-Pareto, GEPA)로 최적화된 프롬프트와 비교하여, 전문가가 직접 작성한 프롬프트 환경에서 3개 모델 계열의 4개 LLM에 대한 기준선(baseline) 평가를 보고합니다. 7개의 이진 하위 과제에 대한 평균 F1 점수는 모델(model) 전반에서 70.4에서 79.2 사이에 분포하며, 문법적 해석이 대체로 식별하기 가장 쉬운 기준인 반면 체계적 해석은 일반적으로 가장 어려웠습니다. 테스트된 구성에서는 GEPA로 최적화된 프롬프트가 직접 작성된 프롬프트를 일관되게 능가하지 못했으며, 이는 전문가 프롬프트가 유의미한 기준선을 제공함을 시사합니다.
시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?
Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.
다국어 저자원 감정 탐지를 위한 멀티 에이전트 LLM에서 토폴로지와 다양성의 분리 분석
Disentangling Topology and Diversity in Multi-Agent LLMs for Multilingual Low-Resource Emotion Detection
멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.
ClusterFewshot: LLM 워크플로를 위한 퓨샷 최적화 개선
ClusterFewshot: Improving Few-shot Optimization for LLMs workflow
대규모 언어 모델(LLM) 워크플로의 성능은 새로운 태스크에서 모델의 동작을 유도하기 위해 소수의 문맥 내 데모(in-context demonstration)를 선택하는 데 좌우되는 경우가 많다. 최근 방법들은 성공적인 추론 경로를 프롬프트에 덧붙여 이 과정을 개선한다. 그러나 이들의 데모 선택은 무작위 샘플링이나 지표 기반 순위에 의존하므로 태스크의 의미론적 구조를 간과한다. 본 논문은 의미론적 구조화와 효용 인식 점수화(utility-aware scoring)를 결합하여 대표성이 있고 효과적인 퓨샷 데모 집합을 구성하는 전략인 ClusterFewshot을 제안한다. DSPy 기반 파이프라인에서 평가한 결과, ClusterFewshot은 여러 벤치마크에서 최적화 비용을 크게 줄이면서, 프롬프트 튜닝 단독 방식과 프롬프트-가중치 하이브리드 최적화 방식 모두에서 기존 부트스트랩 기반 방법보다 일관되게 정확도를 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
4 Pages + 15 Supplementary Material Pages, 4 figures