OCMDP: Observation-Constrained Markov Decision Process
원문 초록
In many practical applications, decision-making processes must balance the costs of acquiring information with the benefits it provides. Traditional control systems often assume full observability, an unrealistic assumption when observations are expensive. We tackle the challenge of simultaneously learning observation and control strategies in such cost-sensitive environments by introducing the Observation-Constrained Markov Decision Process (OCMDP), where the policy influences the observability of the true state. To manage the complexity arising from the combined observation and control actions, we develop an iterative, model-free deep reinforcement learning algorithm that separates the sensing and control components of the policy. This decomposition enables efficient learning in the expanded action space by focusing on when and what to observe, as well as determining optimal control actions, without requiring knowledge of the environment's dynamics. We validate our approach on a simulated diagnostic task and a realistic healthcare environment using HeartPole. Given both scenarios, the experimental results demonstrate that our model achieves a substantial reduction in observation costs on average, significantly outperforming baseline methods by a notable margin in efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술
AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.
ARGOS: 컴퓨팅 연속체에서의 서비스 오케스트레이션을 위한 강화학습 기반 다차원 탄력성
ARGOS: Reinforcement Learning-Driven Multidimensional Elasticity for Service Orchestration in the Computing Continuum
컴퓨팅 연속체(Computing Continuum)의 데이터 집약적 서비스는 용량이 제한적이고 불균등한 이기종 노드 전반에서 분석 품질, 자원 사용량, 비용 간의 균형을 유지해야 합니다. 자원 스케일링이 용량 한계에 도달하면 수요 변화와 클러스터 압박을 클라이언트가 정의한 품질 범위를 위반하지 않으면서 흡수해야 하므로 이러한 균형을 맞추기가 특히 어려워집니다. 기존 오케스트레이터는 주로 자원, 배치 또는 복제본을 조정하는 반면, 커버리지, 샘플, 최신성과 같은 분석 요구사항은 고정된 상태로 유지합니다. 본 논문에서는 용량 인식 승인 제어(capacity-aware admission)의 지원을 받아 분석 품질 및 클러스터 압박에 대한 요청별 마르코프 결정 과정(MDP)으로 다차원 탄력성을 정형화하는 엔드투엔드 컨트롤러인 ARGOS(Adaptive Reinforcement Learning-Driven Governance for Orchestrated Services)를 제시합니다. ARGOS는 이기종 클러스터에서 통제된 워크로드와 시간에 따라 변하는 다중 테넌트 유입 환경을 바탕으로 평가되었습니다. 통제된 시나리오 전반에서 심층 강화학습 정책은 비학습 기반 베이스라인을 일관되게 능가하며 독립적으로 튜닝된 최적 고정 참조 모델에 근접했습니다. 별도의 실제 환경 평가에서는 현실적이고 포화된 유입 조건에서 정적 중간값 대비 성능 향상을 보였으며, 기록된 CPU 또는 메모리 위반은 없었으나 커버리지 위반은 일부 남아 있었습니다. 이러한 결과는 자원 스케일링만으로는 불충분할 때 심층 강화학습이 다차원 탄력성을 위한 적응형 메커니즘으로 유효함을 뒷받침합니다.
검증자가 정답을 유출할 수 있다: 폐루프 에이전트 디버깅에서 최적화에 앞선 진단 가능성
A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging
에이전트(agent) 개발자들은 시뮬레이터 기반 검증자(verifier)를 통해 프롬프트, 도구, 정책 및 진단 알고리즘을 비교하는 방식을 점점 더 많이 활용하고 있습니다. 그러나 검증자는 솔버(solver) 비교를 무의미하게 만들 수도 있습니다. 즉, 검증자의 프로브(probe)나 술어(predicate)가 타깃의 식별 정보를 인코딩하고 있다면, 정확한 옵티마이저(optimizer)는 어떠한 실질적인 모호성도 해결하지 못한 채 효과적인 것처럼 보일 수 있습니다. 본 연구에서는 폐루프(closed-loop) 의사결정 에이전트를 위한 집계 트레이스 디버거에서 발생하는 이러한 실패 사례를 보고합니다. 정확한 최소 적중 집합(Minimum Hitting Set, MHS)과 전파 인식 탐욕 알고리즘(propagation-aware greedy method)은 12개 개발 사례 모두에서 동일한 지지 집합(support)을 반환했으며, 9/12 사례에서 동일한 주입 결함(planted fault) 복구를 달성했습니다. 후속 감사 결과, 정확한 앵커(exact-anchor) 술어가 9/9 사례에서 주입된 쌍을 생성한 것으로 확인되었습니다. 해당 앵커들을 제거한 후 전체 주입 쌍 복구율은 8/9였습니다. 그럼에도 불구하고 하드 프로브 싱글톤(hard-probe singleton) 쌍은 9/9 사례에서 주입된 쌍과 일치했으며, 전파 후 비어 있지 않은 잔여 충돌군(residual conflict family)이 유지된 사례는 전무했습니다(0/9). 옵티마이저는 올바르게 작동했으나, 검증자가 이미 정답을 노출하고 있었던 것입니다. 이에 본 논문에서는 솔버 우선 평가 방식을 지지 집합 기반 게이팅(support-gated) 검증 규약으로 대체합니다. 먼저 클린 참조 맵(clean reference map)을 통해 반복적인 컴포넌트 노출을 입증해야 하며, 그다음 일치된 참조/현재 게이트를 통해 비교 가능한 런타임 증거를 확립해야 하고, 그 이후에만 독립적으로 보정된 신호 규칙이 탐지 결과를 반환할 수 있습니다. 1,440개의 사례와 21,600개의 파티션 행으로 구성된 사전 등록된 홀드아웃(heldout) 평가에서, 55/72 체제-컴포넌트(regime-component) 단위가 참조 게이트를 통과했고, 54/55가 런타임 게이트를 통과했으며, 표현된 컴포넌트의 안정적 위허용(stable false admission)은 단측 정확 95% 상한선 0.1391과 함께 0/20을 기록했습니다. 승인된 단위 내에서는 영향을 받은 정상 트래픽이 공칭 결함 셀 비율(nominal fault-cell fraction)보다 탐지를 더 잘 예측했습니다. 본 연구의 핵심적인 구조적 교훈은 컴포넌트 선택기를 최적화하기 전에 증거의 적격성과 비공개성(non-revelation)을 먼저 검증해야 한다는 점입니다. 그렇지 않으면 더 강력한 솔버가 단지 더 강력한 검증자 아티팩트(artifact)를 인증하는 것에 불과할 수 있습니다.
SCOPE-AD: 진단 에이전트를 위한 에너지 기반 모델 기반 순차적 비용 인지 순서-신념 계획
SCOPE-AD: Sequential cost-aware ordinal-belief planning with energy-based models for diagnostic agents
알츠하이머병(AD) 진단은 서로 다른 검사 비용과 환자 부담 속에서 순차적인 증거 수집을 필요로 합니다. 고정된 양식(fixed-modality)을 사용하는 예측 모델은 어떤 검사를 수집해야 할지, 혹은 언제 확보된 증거가 진단에 충분한지를 함께 결정하지 못합니다. 본 논문에서는 인지 정상(CN), 경도 인지 장애(MCI), 알츠하이머병 사례의 비용 인지 분류를 위한 SCOPE-AD(Sequential Cost-Aware Ordinal-Belief Planning with Energy-Based Models for Diagnostic Agents)를 제안합니다. 마스크 인지 순서 모델은 순서화된 CN-MCI-AD 연속선 상의 불확실성을 표현합니다. 후향적 학습 기록은 에너지 기반 티처를 위한 표본화된 벨만 목표를 제공하며, 이 티처의 행동 분포는 Qwen 정책으로 증류됩니다. 실제 배포 환경에서 에이전트는 미수집된 값에 접근하지 않고 가용성 및 예산 제약 조건 하에서 수집 또는 진단 행동을 선택합니다. 각 수집 단계 후에는 다음 결정을 내리기 전에 증거와 순서-신념이 업데이트됩니다. ADNI 데이터셋에서 SCOPE-AD는 평균 수집 비용 $50.46로 77.70%의 Macro-F1을 달성하여, 평가된 가장 강력한 기준선보다 9.34%포인트 높은 성능을 기록했습니다. 모든 양식을 활용한 평가는 수집 비용을 116.7배 증가시키면서도 Macro-F1은 단 1.89%포인트 올리는 데 그쳤습니다. 이러한 결과는 비용 효율적인 진단을 위한 선택적 수집 전략을 뒷받침합니다.
PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧
PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue
대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.
SynSeq: 관상동맥 조영술 비디오 기반의 엔드투엔드 SYNTAX 점수 예측
SynSeq: End-to-End SYNTAX Score Prediction from Coronary Angiography Videos
SYNTAX 점수는 관상동맥 질환을 평가하고 혈관재개통술 치료 결정을 안내하는 데 널리 사용되는 도구입니다. 그러나 임상 전문가가 관상동맥 조영술 비디오를 통해 이를 수동으로 추정하는 방식은 시간이 많이 소요되며 판독자 간 변동성(inter-reader variability)의 영향을 받습니다. 머신러닝이 이 과정을 자동화하는 데 유망한 가능성을 보여주었지만, 기존 연구는 주로 병변 검출, 특성화 또는 이진 질환 분류에 집중되어 있어 직접적인 SYNTAX 점수 예측은 상대적으로 거의 연구되지 않았습니다. 본 논문에서는 직접적인 SYNTAX 점수 예측을 위한 비디오 기반 방법인 SynSeq을 제안합니다. SynSeq은 맞춤형 전처리와 함께 영과잉(zero-inflation)을 고려한 손실 및 선형 타깃 스케일링을 활용하는 맞춤형 학습 전략을 결합합니다. 공개 CardioSyntax 데이터셋에서 평가한 결과, SynSeq은 이전 최신(state-of-the-art) 방법들을 크게 능가하여 $R^2$를 0.55 향상시키고 예측 바이어스를 93.1% 줄였으며, 세 명의 독립적인 전문가 평가자의 주석 전반에서 더욱 일관된 성능을 달성했습니다. 또한, SynSeq은 혈관재개통술 치료 권고에서 가중 $F_1$-점수 0.80을 달성하여 전문가 간 일치도보다 약간 낮은 수준을 보였습니다. 이러한 결과는 SynSeq이 일관되고 자동화된 SYNTAX 점수 평가를 제공하며 관상동맥 혈관재개통술 계획을 위한 신뢰할 수 있는 의사결정 지원을 제공할 수 있는 잠재력을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.