Sepsis World Model: A MIMIC-based OpenAI Gym "World Model" Simulator for Sepsis Treatment
원문 초록
Sepsis is a life-threatening condition caused by the body's response to an infection. In order to treat patients with sepsis, physicians must control varying dosages of various antibiotics, fluids, and vasopressors based on a large number of variables in an emergency setting. In this project we employ a "world model" methodology to create a simulator that aims to predict the next state of a patient given a current state and treatment action. In doing so, we hope our simulator learns from a latent and less noisy representation of the EHR data. Using historical sepsis patient records from the MIMIC dataset, our method creates an OpenAI Gym simulator that leverages a Variational Auto-Encoder and a Mixture Density Network combined with a RNN (MDN-RNN) to model the trajectory of any sepsis patient in the hospital. To reduce the effects of noise, we sample from a generated distribution of next steps during simulation and have the option of introducing uncertainty into our simulator by controlling the "temperature" variable. It is worth noting that we do not have access to the ground truth for the best policy because we can only evaluate learned policies by real-world experimentation or expert feedback. Instead, we aim to study our simulator model's performance by evaluating the similarity between our environment's rollouts with the real EHR data and assessing its viability for learning a realistic policy for sepsis treatment using Deep Q-Learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Delphos: 이산 선택 모델 명세를 지원하기 위한 강화학습 프레임워크
Delphos: A reinforcement learning framework for assisting discrete choice model specification
본 논문에서는 이산 선택 모델(discrete choice model) 명세 과정을 지원하기 위한 심층 강화학습(deep reinforcement learning) 프레임워크인 Delphos를 소개합니다. Delphos는 데이터 기반의 자동화된 모델 명세 제안을 제공하여 모델러를 지원하고, 이를 통해 효용 함수(utility function)를 개발하고 개선하는 데 필요한 노력을 줄이는 것을 목표로 합니다. Delphos는 인간 선택 모델러가 일련의 논리적 명세 결정을 통해 모델을 반복적으로 구축하는 방식에서 영감을 얻어, 모델 명세를 순차적 의사결정 문제로 개념화합니다. 이러한 환경에서 에이전트(agent)는 대안별 상수(alternative-specific constants) 추가, 일반 및 대안별 선호 파라미터 수용, 속성에 대한 비선형 변환 적용, 공변량과의 상호작용 포함 등 일련의 모델링 작업을 선택하여 후보 모델 명세를 지정하는 법을 학습합니다. 그 결과 도출된 각 후보 모델은 통계적 모델 적합도뿐만 아니라 행동적 기대를 반영할 수 있는, 모델러가 정의한 보상(reward) 함수를 사용하여 추정 및 평가됩니다. 구체적으로 Delphos는 심층 Q 네트워크(Deep Q-Network)를 활용하여 개별 명세 결정이 최종 모델의 결과적 품질에 어떻게 기여하는지, 그리고 어떤 모델링 결정 시퀀스가 우수한 성능의 후보를 도출하는 경향이 있는지를 학습합니다. 저자들은 대안적 보상 함수를 사용하여 시뮬레이션 및 실증 데이터셋 모두에서 Delphos를 평가합니다. 시뮬레이션 사례에서 학습 곡선, Q-값 패턴 및 성능 지표는 Delphos가 실행 가능한 모델링 공간의 극히 일부만을 탐색하면서도 효과적인 명세 전략을 학습함을 보여줍니다. 또한 벤치마크 및 실제 활용성을 입증하기 위해 두 개의 실증 데이터셋에 이 프레임워크를 적용합니다. 이러한 실험은 경쟁력 있고 행동적으로 타당한 모델을 생성하는 Delphos의 능력을 입증하며, 모델 명세 과정을 지원하는 이 적응형 학습 기반 프레임워크의 잠재력을 강조합니다.
Investigating the Performance and Reliability, of the Q-Learning Algorithm in Various Unknown Environments
Robust Multi-Agent Reinforcement Learning with Model Uncertainty
미분 가능한 비선형 모델 예측 제어
Differentiable Nonlinear Model Predictive Control
매개변수적 해 민감도의 효율적인 계산은 학습 강화 방법을 비선형 모델 예측 제어와 통합하는 데 있어 핵심 과제이며, 이는 많은 학습 알고리즘에서 민감도의 가용성이 필수적이기 때문이다. 본 논문은 음함수 정리와 내점법(IPM)에서 다루는 평활화된 최적성 조건을 이용하여 일반 비선형 계획법의 해 민감도를 계산하는 방법을 논한다. 장벽 매개변수가 지정된 비음수 목표값에 접근하도록 허용하여 SQP와 IPM 이차계획법(QP) 풀이기를 일반화하고, 이 목표값이 0일 때 고전적 SQP를 복원하는 순차 장벽 이차계획법(sequential barrier quadratic programming, SBQP)을 도입한다. 기존 연구는 볼록 또는 제약 없는 정식화에 한정되거나 효율적인 민감도 평가를 위한 구현이 부족하다. 본 발표는 `acados` 프레임워크 내의 효율적인 오픈소스 구현을 동반하며, 일반 최적 제어 문제에 대해 순방향 및 수반(adjoint) 민감도를 모두 제공하고 최신 풀이기인 `mpc.pytorch` 및 `cvxpygen` 대비 3배를 넘는 속도 향상을 달성한다.
Making Language Model a Hierarchical Classifier and Generator
Personalized Exercise Recommendation with Semantically-Grounded Knowledge Tracing
토론
이 논문과 연결된 포럼 글이 아직 없습니다.