arXiv:2606.23992v1 cs.CL

RASC+: Retrieval-Constrained LLM Adjudication for Clinical Value Set Authoring

Sumit Mukherjee

제출 2026-06-22

원문 초록

Clinical value sets define the standardized terminology codes used in quality measurement, phenotyping, cohort construction, and clinical decision support. The recently introduced Retrieval-Augmented Set Completion (RASC) benchmark showed that direct zero-shot large language model (LLM) generation is poorly suited to this task: clinical code systems are large, version-controlled, and not reliably memorized by language models. We study a stage-wise alternative in which candidate-pool construction is optimized for recall and a constrained LLM adjudicator is optimized for candidate selection. On the full 3,744-value-set RASC test split, Qwen3-based retrieval with vocabulary-aware expansion and code-display rescue retrieval increases candidate-pool recall from the original RASC retrieval baseline of 0.553 to 0.730; on the held-out-publisher stratum, pool recall is 0.655. The higher-recall pool alone is not sufficient: applying the original SAPBert cross-encoder to this expanded pool gives full-test macro F1 of 0.287 and held-out-publisher macro F1 of 0.233. Replacing the stage-2 selector with blinded GPT-5 adjudication over the same pool increases full-test macro F1 to 0.549 and held-out-publisher macro F1 to 0.533. These results show that retrieval-constrained LLM adjudication can substantially improve value set completion while preserving the safety constraint that all returned codes must come from an auditable candidate pool.

요약

임상 value set 작성에서 제로샷 LLM 생성의 한계를 보완하기 위해, 후보 풀 구축 단계는 재현율(recall)을 높이고 2단계는 검색으로 제한된 LLM 판정(adjudication)으로 후보를 고르는 RASC+ 파이프라인을 제안한다. Qwen3 기반 검색, 어휘 인식 확장, code-display 구조 검색으로 후보 풀 재현율을 0.553에서 0.730으로 올렸고, 확장된 풀에 GPT-5 블라인드 판정을 적용하면 전체 테스트 macro F1이 0.287에서 0.549로 개선되며 반환 코드가 모두 감사 가능한 후보 풀 안에만 남도록 안전 제약을 유지한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.23992v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13889v1cs.AI공통 태그 Retrieval, Benchmarking, Information Retrieval

RATED: 실행 역학을 통한 신뢰성 인식 AI 에이전트 도구 검색

RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics

AI 에이전트(agent)의 외부 도구 의존도가 높아짐에 따라, 신뢰할 수 있는 동작을 위해서는 정확한 도구 검색이 필수적입니다. 기존 방식들은 의미적 관련성을 최적화하지만 실행 중 도구의 가용성은 대체로 무시합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 강건한 의미적 매칭과 동적 신뢰성 적응을 결합한 검색 프레임워크인 RATED(Reliability-Aware Tool Retrieval via Execution Dynamics)를 제안합니다. RATED는 의미적 매칭을 위해 대조 미세조정(contrastive fine-tuning)이 적용된 고정된(frozen) 듀얼 인코더를 사용하며, 실시간 실행 피드백을 기반으로 후보군을 재순위화하는 경량 맥락적 밴딧(contextual bandit) 모듈을 사용합니다. 이러한 설계를 통해 모델의 값비싼 재학습 없이도 런타임 도구 실패에 신속하게 적응할 수 있습니다. 또한 오프라인 검색 및 동적 신뢰성 평가를 위해 5,172개의 실제 도구와 210,000개 이상의 쿼리-도구 쌍으로 구성된 벤치마크인 EcoAgent를 소개합니다. 실험 결과에 따르면, RATED는 실제 쿼리에서 ToolLLM API 검색기 대비 52.2%의 상대적 MRR 향상을 달성하고, 30%의 실패율을 보이는 심각한 API 장애 시나리오에서 오류 선택률을 86.2%에서 2.9%로 낮추는 동시에 인코딩 전용 추론(inference) 대비 1ms 미만의 미미한 지연 시간 오버헤드만을 발생시킵니다. 코드와 데이터셋은 https://github.com/Elliotes/EcoAgent 에서 확인할 수 있습니다.

arXiv:2610.13948v1cs.AI공통 태그 Benchmarking, Information Retrieval, Large Language Model

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.10608v1cs.CR공통 태그 Retrieval, Benchmarking, Large Language Model

조사 실패로부터 신뢰할 수 있는 SOC 에이전트로: LLM 기반 경보 분류의 이해와 개선

From Investigation Failures to Reliable SOC Agents: Understanding and Improving LLM-Based Alert Triage

보안관제센터(SOC)는 대량의 경보를 분류(triage)해야 하지만 이들 대부분은 무해하며, 그 과정에서 놓친 공격은 조사되지 않은 채 방치될 수 있습니다. 도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 분류 중에 증거를 수집할 수 있지만, 추론 전략이 무엇을 수집할지 결정하는 방식과 경보를 종결하기에 조사가 충분한 시점을 결정하는 방식은 여전히 명확하지 않습니다. 본 연구에서는 단일 패스 도구 사용, 반복적 검색, 샘플링된 조사, 자체 검토, 명시적 검증에 걸친 다섯 가지 대표적인 접근 방식을 조사합니다. 이 연구를 지원하기 위해 실시간 SIEM을 통해 엔터프라이즈 텔레메트리를 재생하고 각 시스템이 증거를 검색하도록 요구하는 인터랙티브 벤치마크인 ALERT-BENCH를 구축했습니다. 다단계 공격 시나리오에서 발생한 1,247개의 경보 전반에서 모든 접근 방식은 공격 관련 경보의 최소 40.4%를 놓쳤습니다. 추적 분석 결과, 검색에서 레코드가 반환되지 않을 때 공격 경보가 기각될 가능성이 더 높고, 동일 컨텍스트 검토는 순 보정 효과가 음수(-)이며, 기각이 에스컬레이션보다 일관되게 더 강력한 조사를 거치지 않는 것으로 나타났습니다. 이러한 발견을 바탕으로, 독립적인 이의 제기 전에 명시적으로 제안된 결정을 요구하고 기각 전 더 엄격한 증거 요건을 요구하는 멀티 에이전트 프레임워크인 AIDA(Adversarial Investigation and Dialectical Analysis)를 설계했습니다. AIDA는 추가 전용 조사 원장(Investigation Ledger)에 조사 기록을 보존하고 이의 제기 과정을 별도의 추론 컨텍스트로 유지합니다. 별도의 판정관(Judge)은 제안된 결정과 이의 제기를 증거와 대조하여 판정하며, 경보를 해결하거나 증거가 누락된 경우 추가 라운드를 요청합니다. 동일한 경보에서 AIDA는 연구된 접근 방식들의 0.371~0.744와 비교하여 0.958의 F1 점수를 달성했으며, 경보의 18.4%를 분석가에게 에스컬레이션하면서도 위음성률(false-negative rate)을 40.4%에서 3.1%로 낮췄습니다. 이러한 결과는 증거 검색과 결정 검토를 구조화함으로써 에이전트 기반 SOC 분류를 실질적으로 개선할 수 있음을 보여줍니다.

arXiv:2610.03020v1cs.AI공통 태그 Retrieval, Benchmarking, Large Language Model

DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크

DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users

장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.

arXiv:2610.15884v4cs.AI공통 태그 Benchmarking, Large Language Model

RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리

RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use

외부 도구를 호출하는 LLM 에이전트는 도구 호출이 시간 초과될 때 어떻게 할지 결정해야 한다. 재시도는 중복 부작용의 위험이 있고, 재시도하지 않으면 작업이 미완료로 남을 수 있다. 본 연구는 도구를 사용하는 LLM 에이전트의 재시도 결정과 실패 복구를 위한 평가 프로토콜인 RetryBench를 제시한다. 각 결정은 관측과 일치하는 모든 숨겨진 실행 세계에서 재생하여 재시도 허용 여부(재시도가 멱등성 키 보장이나 미실행 증명으로 정당화되는가?), 확정된 효과(중복과 누락), 완료 여부에 대해 채점된다. 네 가지 합성 소프트웨어 엔지니어링 과제에서 두 가지 통제된 프롬프트 민감도 연구(1,728건의 결정)를 수행한다. 연구 1(멱등성 키 설명): 계약을 고정한 상태에서 GPT-5.6 Luna는 추가 키가 "Candidate recovery key"로 설명될 때 40건 중 10건에서 유효한 멱등성 키를 재사용하지만, "Alternative key string"으로 설명될 때는 40건 중 39건에서 재사용한다. 계열별로 세 가지 표현을 추가했을 때 격차는 27/120 대 113/120이다. GPT-5.6 Sol과 Terra는 상한에 도달해 있다(40/40). 연구 2(행동 순서): 조회 보장이 불충분하게 명시된 조건에서, 재시도가 먼저 나열될 때 GPT-5.6 Terra와 GPT-5.4의 재시도율이 주로 두 과제에서 17~27 퍼센트포인트 낮아지며(선택지 순서 편향), 어느 행동이 더 나은지에 대해서는 주장하지 않는다. 연구 결과는 연구자가 선택한 표현, 네 가지 과제, 고정되지 않은 모델 별칭에 한정된다. 코드와 모든 모델 응답을 공개한다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.