대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
배경: 질병 중증도는 전자 의료 기록(EHR)에서 규칙 기반 접근법으로 포착하기 어려운 다차원적 구성 개념이다. 에이전트 기반 대규모 언어 모델(LLM) 시스템은 임상 근거를 종합하고 EHR에 대해 추론할 수 있으나, 이 과제에 대해서는 아직 평가되지 않았다.
방법: MOSAIC는 제2형 당뇨병(T2D)을 개념 증명으로 사용하는 중증도 표현형 분류를 위한 2단계 에이전트 기반 LLM 프레임워크이다. MOSAIC는 합성 코호트(SyntheticMass; 오픈 가중치 N = 4,886; 클로즈드 가중치 N = 200)에서 세 가지 알고리즘 기준 정답(DCSI, DiSSCo, Cooper) 및 전체 원인 사망률과 사건 합병증에 대해 평가되었다. 오픈 가중치(로컬 배포 가능) 파이프라인과 독점 파이프라인도 비교되었다.
결과: 생성된 프레임워크는 바이오마커 기반 혈당 병기 분류, 베타세포 기능, 건강의 사회적 결정 요인을 포함하여 비교 대상에 없는 영역을 포괄하였다. 오픈 가중치 MOSAIC는 독점 파이프라인과 일치하였으며(클로즈드 대 오픈 가중치 가중 카파 = 0.773), Cooper와는 중등도 일치(kappa = 0.597), DCSI와는 중등도 일치(kappa = 0.534), DiSSCo와는 보통 일치(kappa = 0.320)에 도달하였다. 에이전트 기반(유형 1) 등급은 전체 원인 사망률에서 유의미한 분리를 보였으며(log-rank p < 0.001; 비기준선 등급의 조 위험비 1.6–2.4), 상위 등급에서는 비단조적 분리가 나타났고, 사건 합병증에 대해서는 역방향 그래디언트(log-rank p < 0.001)가 관찰되어 감수성 있는 개체의 고갈과 일치하였다. 에이전트 기반 분류는 동일한 루브릭의 결정론적 실행(MOSAIC Frozen; kappa = 0.428)과도 차이를 보여, 고정된 규칙을 넘어선 추론이 이루어짐을 시사하였다.
결론: MOSAIC는 에이전트 기반 LLM 시스템이 T2D의 구조화된 EHR 데이터로부터 임상적으로 의미 있는 중증도 표현형을 생성하고 적용할 수 있음을 보여준다. 유사하게 다차원적 중증도를 가진 다른 질환으로의 확장은 추가 연구가 필요하다.
개별 태스크에 특화된 강화학습(RL) 전문가 모델들을 지식 증류(distillation)로 통합할 때, 오프-정책 증류는 순방향 KL의 모드 포괄 특성으로 인해 멀티태스크 환경에서 성능이 저하되고 온-정책 증류는 강한 초기화가 필요하다는 한계를 분석하여, 두 방식을 순차적으로 결합한 2단계 증류 방법을 제안한다. 대화형 에이전트와 텍스트 기반 게임 벤치마크에서 제안 방법이 단일 태스크 RL 전문가 수준의 성능을 회복함을 검증하였다.