Vibe Medicine을 향하여: 임상 의사결정 지원을 위한 자가 진화 멀티 에이전트 프레임워크
Toward Vibe Medicine: A Self-Evolving Multi-Agent Framework for Clinical Decision Support
한국어 초록
최근 대규모 언어 모델(LLM)과 자율 에이전트의 발전은 의료 분야에 혁명을 일으켜 진단을 용이하게 하고 치료 결과를 개선했습니다. 그러나 대부분의 기존 AI 시스템은 사전 학습된 지식과 사전 정의된 파이프라인에 의존하므로, 환자 결과와 과거 실패가 포함된 대화형 채팅 세션 기록에서 동적으로 학습하는 데 어려움을 겪습니다. 이러한 한계를 해결하기 위해 우리는 견고한 임상 의사결정 지원을 위한 내장된 자가 진화 메커니즘과 아키텍처 수준의 안전 샌드박스를 갖춘 멀티 에이전트 프레임워크인 VIBEMed를 제안합니다. 이 시스템은 가설 생성을 위한 임상 진단 에이전트(CDA), 치료 계획 수립을 위한 치료 실행 에이전트(TEA), 그리고 종단적 임상 피드백을 재사용 가능한 지식으로 증류하여 멀티모달 환자 정보를 개인화된 의료 결정으로 변환하는 임상 진화 관리 에이전트(CEMA)를 포함하여 세 가지 전문 에이전트를 통합합니다. 자가 진화 메커니즘을 통해 이 프레임워크는 메모리, 모델 행동 및 의사결정 전략에 걸쳐 반복적인 업데이트를 가능하게 하여 시간이 지남에 따라 시스템이 개선되도록 합니다. 실험 결과에 따르면 VIBEMed는 복잡한 임상 사례, 특히 통합적 의사결정과 종단적 계획 수립이 필요한 작업에서 진화 메커니즘을 통해 우수한 성능을 보여줍니다. 이 프레임워크는 종양학 치료 계획 수립과 같은 도전적인 시나리오에서 신뢰할 수 있는 엔드 투 엔드(end-to-end) 결정을 지원하며, 실제 임상 환경에서의 실현 가능성을 강조합니다. 전반적으로 VIBEMed는 정적인 AI 시스템을 넘어 적응형이고 경험 기반의 임상 의사결정 지원으로 나아가는 실용적인 경로를 제공하며, 정밀 의학을 발전시키기 위해 멀티 에이전트 협업과 지속적인 진화를 결합하는 가치를 입증합니다.
원문 초록
In recent years, the advances of large language models and autonomous agents have revolutionized the healthcare field, facilitating diagnosis and improving treatment results. However, most existing AI systems rely on pre-trained knowledge and predefined pipelines, which struggle to learn dynamically from the interactive chat session history that contains patient outcomes and past failures. To address this limitation, we propose VIBEMed, a multi-agent framework with a built-in self-evolution mechanism and architecture-level safety sandbox for robust clinical decision support. The system integrates three specialized agents, including a Clinical Diagnostic Agent (CDA) for hypothesis generation, a Therapeutic Execution Agent (TEA) for treatment planning, and a Clinical Evolution Manager Agent (CEMA) that distills longitudinal clinical feedback into reusable knowledge, transforming multimodal patient information into personalized medical decisions. Through self-evolution mechanism, the framework enables iterative updates across memory, model behavior, and decision strategies, allowing the system to improve over time. Experimental results show that VIBEMed demonstrates superior performance through its evolving mechanism in complex clinical cases, particularly in tasks that require integrated decision-making and longitudinal planning. The framework also supports reliable end-to-end decisions in challenging scenarios such as oncology treatment planning, highlighting its feasibility in real-world clinical contexts. Overall, VIBEMed provides a practical path beyond static AI systems toward adaptive, experience-driven clinical decision support, demonstrating the value of combining multi-agent collaboration with continuous evolution for advancing precision medicine.
요약
기존 의료 AI가 대화형 세션의 환자 결과와 실패 기록에서 동적으로 학습하기 어렵다는 한계를 해결하기 위해, VIBEMed는 임상 진단·치료 실행·임상 진화 관리 세 전문 에이전트와 메모리·모델·코드 수준의 자가 진화 메커니즘, 아키텍처 수준 안전 샌드박스를 결합한 멀티 에이전트 임상 의사결정 지원 프레임워크를 제안한다. 실험에서 복잡한 임상 사례와 종양학 치료 계획 등 통합적·종단적 의사결정이 필요한 과제에서 진화 메커니즘을 통해 우수한 성능과 신뢰할 수 있는 엔드투엔드 결정을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.15504v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
이종 AI 모델 간의 동료 영향력
Peer Influence across Heterogeneous AI Models
두 AI 에이전트의 의견이 불일치할 때, 누가 누구를 설득하는가? 멀티 에이전트 시스템에서 서로 다른 계열과 크기의 언어 모델을 결합하는 사례가 증가함에 따라, 이 질문에 대한 답은 상호작용 후 어떤 판단이 살아남는지를 결정할 수 있다. 본 연구에서는 반대 의견을 가진 동료 에이전트와의 한 차례 상호작용 후 발생하는 확률적 결정 변화로 설득(persuasion)을 측정하며, 세 가지 언어 이해 태스크에 걸쳐 7개의 공개 가중치(open-weight) 모델을 테스트한다. 실험 결과 설득 효과는 강력하게 나타났다. 모델 간 의견이 불일치할 때, 수신자 에이전트는 동료의 답변과 설명을 확인한 후 기존 판단을 포기하는 경우가 많았다. 그러나 놀랍게도 개별 모델의 확신도나 모델 규모 모두 설득 역학을 신뢰성 있게 예측하지 못했다. 단독으로 평가할 때 거의 완벽하게 일관된 결정을 내리는 모델이라도 설득에 가장 취약한 모델 중 하나가 될 수 있었으며, 소형 모델 역시 설득자로서 대형 모델 못지않은 성능을 보이고 대형 모델의 영향력에 동일하게 효과적으로 저항할 수 있었다. 나아가 결정 변화의 크기는 화자의 설득력보다 청자의 수용성에 더 크게 의존함을 보인다. 따라서 설득 양상은 각 모델의 조합마다 고유하게 나타나며, 이종성(heterogeneity)은 특정 조합에서는 설득을 증폭시키고 다른 조합에서는 억제하여 소형 모델 기반의 반대 에이전트가 훨씬 더 큰 모델의 판단을 뒤집을 수도 있게 한다. 이러한 발견은 상호작용하는 모델들의 동작이 개별 특성만으로는 추론될 수 없으며, 실제로 운용될 조합 내에서 평가되어야 함을 보여준다.
최종 정확도를 넘어서: LLM 멀티 에이전트 시스템 내 소통 감사
Beyond Final Accuracy: Auditing Communication in LLM Multi-Agent Systems
멀티 에이전트 소통은 에이전트들이 서로의 정보를 활용하여 이득을 얻도록 돕는 것을 목표로 합니다. 그러나 시스템 성능의 향상은 근본적인 모호함을 남깁니다. 즉, 이것이 효과적인 소통을 반영하는 것인지, 유리한 에이전트 구조 덕분인지, 아니면 단순히 추가적인 추론(reasoning) 때문인지 불분명합니다. 소통 방식은 보통 해당 방식이 설계된 시스템 내에서 평가되기 때문에 이러한 요인들을 분리해 파악하기 어렵습니다. 나아가 최종 정확도는 수정된 오류와 훼손된 정답을 단일 결과로 합쳐버려, 소통이 의사결정을 어떻게 변화시키는지 가려버립니다. 본 논문에서는 독립적인 추론 후의 답변 수정을 통해 소통을 평가하는 통제된 프레임워크인 ICR(Independent--Communicate--Revise)을 소개합니다. ICR은 초기 추론 궤적을 고정하고, 두 에이전트의 초기 정답 여부를 조건으로 하여 오류 수정(correction) 및 정답 유지(preservation)를 측정하며, 메시지 없는 수정 대조군을 사용하여 추가 추론을 넘어서는 이득을 정량화합니다. 네 가지 추론 벤치마크에 걸쳐 텍스트 및 잠재(latent) 소통을 감사한 결과, 유사한 종합 정확도 뒤에 실질적으로 다른 수정 행동이 숨겨져 있을 수 있음을 밝혀냈습니다. 정답만 전송하는 것과 비교했을 때, 전체 추론을 전달하면 네 가지 벤치마크 모두에서 오류 수정은 증가하지만 정답 유지는 감소하므로, 더 풍부한 메시지는 유익한 영향과 유해한 영향을 모두 증폭시킵니다. 또한 MedQA 및 GPQA-D에서의 수신자 정책 비교는 구조화된 검증 정책이 모든 채널을 더 높은 정답 유지와 더 낮은 오류 수정 방향으로 유도하는 반면, 선택성(selectivity)에 미치는 영향은 채널과 태스크에 따라 상이함을 보여줍니다. 이러한 발견은 소통 품질을 채널 고유의 특성으로 취급하는 기존 관점에 의문을 제기합니다. 따라서 ICR은 평가의 초점을 선택적 수정에 다시 맞추어, 메시지 내용과 수신자 정책이 어떻게 상호작용하여 이득과 피해를 낳는지 조사할 수 있는 통합 프레임워크를 제공합니다.
스킬 기반 스마트 제조를 위한 LLM 기반 다중 에이전트 제어
LLM-Driven Multi-Agent Control for Skill-Based Smart Manufacturing
공장은 높은 수준의 제품 맞춤화를 갖춘 소량 생산 체제로 전환되고 있으며, 이에 따라 유연하고 재구성 가능한 자동화 시스템의 빈번한 재프로그래밍이 요구됩니다. 대규모 언어 모델(LLM) 기반 에이전트(agent)는 상호보완적인 두 가지 역할로 배치될 수 있습니다. 오프라인에서는 결정론적 생산 시퀀스를 생성하여 프로그래밍 노력을 줄이고, 온라인에서는 실제 기계를 운영하며 정적 프로그램이 예측할 수 없는 런타임 오류를 처리합니다. 본 논문에서는 각 공장 모듈을 전용 LLM 기반 에이전트 및 OPC UA 메서드 호출을 통해 모듈의 스킬을 노출하는 MCP 툴 서버와 결합하고, 에이전트들이 MQTT를 통해 조율하며 공장 상태의 실시간 업데이트를 바탕으로 그라운딩(grounding)되는 솔루션을 제안합니다. 실제 6개 모듈 육각형 공장의 시뮬레이션 환경에서 무음 하드웨어 결함 감지를 포함하여 복잡성이 증가하는 9가지 생산 과제를 대상으로 세 가지 에이전트 아키텍처(오케스트레이터, 피어투피어, 모놀리식)를 비교합니다. 모놀리식 및 피어투피어 아키텍처는 모두 가장 높은 평균 해결률(93%)을 달성한 반면, 오케스트레이터는 차단된 구간 주변으로 플레이트 경로를 자율적으로 재지정함으로써 10회 실행 모두에서 무음 컨베이어 벨트 결함을 유일하게 해결했습니다. 모든 아키텍처는 명시적인 장애 처리 로직 없이도 창발적(emergent) 결함 진단 동작을 보이며, 표준화된 MCP 툴링, MQTT 기반 에이전트 간 통신, 실시간 상태 주입이 LLM으로 프로그래밍되는 스마트 제조를 위한 실용적이고 재현 가능한 기반임을 입증합니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
제안된 것은 대체된 것이 아니다: 메모리 폐기(memory-retirement) 게이트로서의 시스템원(System One) 모델에 대한 사전등록 평가
Suggested Is Not Superseded: A Pre-Registered Evaluation of a System-One Model as a Memory-Retirement Gate
어시스턴트의 장기 기억(long-term memory)에는 새로운 발화(utterance)가 기존에 저장된 주장(claim)을 언제 폐기(retire)할지 결정하는 게이트(gate)가 필요하다. 이 단계에 대한 벤치마크 레이블은 쌍(pair)을 변경되었는지 아닌지로만 표시하므로, 확정된 변경(established change)에 따라 작동하는 게이트와 단서(hint)에 따라 작동하는 게이트를 구별하지 못한다. 우리는 이 둘을 구분하는 태스크 계약(task contract)을 작성하여(SUPERSEDED 대 NEEDS-CONFIRMATION 대 COMPATIBLE), STALE(변경 쌍과 동일 사용자 대조군으로 구성)로부터 만들어진 500개의 테스트 쌍에 대해 세 명의 LLM 주석자(annotator)와 두 명의 인간 심판자(저자 1명과 추가 주석자 1명; 출처(provenance)를 명시함)로 레이블을 부여하고, 사전등록된 가설(pre-registered hypotheses) 하에서 타입이 지정된(typed) "시스템원(System One)" 결정 모델인 Jev를 평가한다. STALE이 변경되었다고 표시한 179개의 테스트 쌍 중 72개가 계약에서 정한 확정된 변경의 기준을 충족한다. Jev는 동일 대화 내 변경되지 않은 141개의 사례에서 단 한 번도 주장을 폐기하지 않았다. Jev의 실패는 조기 폐기(premature retirement)이다: 이진 게이트(binary gate)는 변경이 단지 제안(suggested)된 것에 불과한 주장의 39.2%를 폐기한다. 삼항 결정(three-way decision)은 이를 15.3포인트(point)의 탐지 비용(detection cost)으로 15.5%까지 낮추는데, 이는 우리가 사전등록한 10포인트 예산(budget)을 초과하며, 이진 게이트 자체의 임계값 프런티어(threshold frontier) 위에 위치한다; 이러한 판정(verdict)은 골드 레이블(gold label)에 대한 세 가지 해석(readings) 모두에서 유지된다. 두 번째 주석자의 레이블을 기준으로 채점한 보류된(held-out) 볼트(vault)에서, 불확실한 사례를 추론 모델(reasoning model)로 에스컬레이션(escalate)하고 개발(development) 데이터에서 가장 우수했던 캐스케이드(cascade)는 단순히 임계값을 높이는 것과 구별되지 않았다(조기 폐기 비율 26.8% 대 개발 데이터에서의 6.5%). 이 격차(gap)의 일부는 골드 레이블에서 비롯된다: 해당 주석자의 해석에 비추어 볼 때, LLM 다수결(majority) 골드는 동일 계열(same-family)의 에스컬레이션 모델과 오류 대부분을 공유하며, 이진 레이블에 대한 한 아이덴티티(identity)는 이러한 공유된 오류가 얼마나 가려지는지를 보여준다. 나머지는 개발 데이터에서의 소규모 샘플 선택(small-sample selection)에 기인한다. 빌더(builder)들에게 이는 이진 점수(binary score)를 삭제(delete) 동작에 바로 연결해서는 안 된다는 것을 의미한다: 제안된 변경은 보류 중인 증거(pending evidence)로 라우팅(route)하고, 이 정도 규모의 개발 데이터에서 선택된 캐스케이드를 신뢰하지 말아야 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.