Are Large Language Models Really Robust to Word-Level Perturbations?
원문 초록
The swift advancement in the scales and capabilities of Large Language Models (LLMs) positions them as promising tools for a variety of downstream tasks. In addition to the pursuit of better performance and the avoidance of violent feedback on a certain prompt, to ensure the responsibility of the LLM, much attention is drawn to the robustness of LLMs. However, existing evaluation methods mostly rely on traditional question answering datasets with predefined supervised labels, which do not align with the superior generation capabilities of contemporary LLMs. To address this issue, we propose a novel rational evaluation approach that leverages pre-trained reward models as diagnostic tools to evaluate the longer conversation generated from more challenging open questions by LLMs, which we refer to as the Reward Model for Reasonable Robustness Evaluation (TREvaL). Longer conversations manifest the comprehensive grasp of language models in terms of their proficiency in understanding questions, a capability not entirely encompassed by individual words or letters, which may exhibit oversimplification and inherent biases. Our extensive empirical experiments demonstrate that TREvaL provides an innovative method for evaluating the robustness of an LLM. Furthermore, our results demonstrate that LLMs frequently exhibit vulnerability to word-level perturbations that are commonplace in daily language usage. Notably, we are surprised to discover that robustness tends to decrease as fine-tuning (SFT and RLHF) is conducted. The code of TREval is available in https://github.com/Harry-mic/TREvaL.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
의학 분야에서의 Jev: 벤치마크 평가
Jev in Medicine: A Benchmark Evaluation
Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.
개인화된 건강검진 결과 해석 및 안내를 위한 멀티 에이전트 LLM 프레임워크
A Multi-Agent LLM Framework for Personalized Health Checkup Interpretation and Guidance
건강검진 결과의 개인화된 해석에는 종단적 기록, 의학 지식, 생활 습관 안내 및 의료 서비스 내비게이션 전반에 걸친 추론이 요구됩니다. 본 논문에서는 여러 의도를 식별하고, 각 의도를 작업별 전문 에이전트(agent)에 매핑하며, 이를 병렬로 실행한 후 결과를 종합하는 멀티 에이전트 대규모 언어 모델(LLM) 시스템을 제시합니다. 저자들은 합성 건강검진 기록을 활용하여 2개에서 4개의 요구사항이 결합된 120개의 한국어 복합 질의를 대상으로 단일 에이전트(Single Agent)와 멀티 에이전트(Multi Agent) 환경에서 생성된 답변을 비교했습니다. 멀티 에이전트는 가중치 적용 LLM 심사위원 점수를 1.695점에서 1.797점으로 향상시켰으며(p = 0.027), 3개의 추가 LLM 심사위원 평가에서도 일관된 향상($Δ$ = +0.111 ~ +0.186, 모두 p < 0.05)을 보였습니다. 이러한 성능 향상은 유용성, 일관성, 그리고 복합 질의의 모든 요구사항 처리에 기인한 반면, 수치적 정확도와 그라운딩(grounding)은 4개의 심사위원 중 1개에서만 유의미하게 향상되었고, 의학적 안전성(safety)에는 차이가 없었으며, 치명적 실패 발생률 또한 유사한 수준(단일 에이전트 15.0% 대 멀티 에이전트 13.3%)을 보였습니다. 두 명의 인간 평가자는 쌍별 비교에서 각각 66.7%와 68.3%의 비율로 멀티 에이전트를 선호했습니다. 멀티 에이전트 실행은 지연 시간과 비용을 각각 1.31배 및 2.02배 증가시켰습니다. 탐색적 하위 그룹 분석에서 이러한 개선 효과는 개인 기록 조회가 포함된 질의에 집중된 것으로 나타났습니다.
정보 탐색을 넘어서: 능동적 의료 대화를 위한 심각도 인식 질문 지도(Severity-Aware Question Supervision)
Beyond Information Seeking: Severity-Aware Question Supervision for Proactive Medical Dialogue
능동적 의료 대화(proactive medical dialogue)는 에이전트가 불완전한 환자 정보를 바탕으로 무엇을 질문할지 결정해야 한다. 기존의 정보 탐색 접근법은 일반적으로 진단 불확실성을 가장 많이 줄이는 질문을 우선시하지만, 이 기준은 의료 진단의 중요한 특성, 즉 진단 오류마다 그 결과가 크게 다를 수 있다는 점을 간과한다. 따라서 가장 많은 정보를 주는 질문이 후속 의사결정에 가장 가치 있는 질문과 다를 수 있다. 우리는 각 후보 질문을 심각도를 반영한 최종 위험(severity-aware terminal risk)의 기대 감소량으로 평가하는, 결과 인식 질문 지도(question-supervision) 목적 함수인 Expected-Severity-Risk(ESR)를 제안한다. 질문은 그에 대한 답변이 관측되기 전에 선택되어야 하므로, ESR은 학습 데이터만으로 계산한 모집단 통계를 사용하여 가능한 답변에 대해 주변화(marginalize)한다. 이렇게 얻은 순위는 접두 문맥(prefix)만 사용하는 언어 정책으로 증류되므로, 배포 시에는 교사 측 위험 계산이 필요하지 않다. DDxPlus에서 짝을 맞춘 세 개의 Qwen3-4B 학습 시드에 걸쳐, ESR은 평균 고위험 진단 누락률을 0.0645에서 0.0455로 낮추고(29.5% 상대 감소), 평균 진단 정확도를 0.9123에서 0.9320으로 향상시켰으며, 이때 대화당 추가로 필요한 질문은 0.14개에 불과했다. 고정 예산 분석에서는 질문 수를 통제하더라도 이러한 차이가 유지됨을 보였고, 짝을 맞춘 기대 0/1 위험(expected-0/1-risk) 학생 모델 대조군은 비대칭적 심각도 가중치의 기여를 추가로 분리해 보여준다. 이러한 결과는 능동적 의료 대화를 불확실성 감소에서 벗어나 결과 인식 증거 수집(consequence-aware evidence acquisition)으로 발전시켜야 한다는 주장을 뒷받침한다.
베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델
Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality
AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.
PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧
PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue
대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.