본 논문은 고차원의 부분 관측 가능한 환경에서 강화학습을 구조화하고 개선하기 위한 실용적인 프레임워크로서 범주론(category theory)을 제안합니다. 저자들은 대칭 궤도(symmetry orbit)에 의해 유도된 동치류로 상태 공간을 분할하여 환경 상태 간의 대칭성을 모델링하고, 지정된 표준 대표원(canonical representative)을 갖는 그루포이드(groupoid)로 각 동치류를 구성합니다. 이를 통해 에이전트는 모든 방향이나 위치를 완전히 새로운 문제로 취급하는 대신, 유사한 여러 환경 상태에 걸쳐 학습한 내용을 동시에 공유할 수 있습니다. 따라서 학습은 각 궤도가 한 번씩만 표현되는 대칭 축소 상태 공간에서 수행되며, 구조를 보존하는 동시에 중복성을 제거하고 표본 효율성(sample efficiency)을 향상시킵니다. 저자들은 이 프레임워크를 표준 강화학습 파이프라인 내에 구현하고 부분 관측 가능한 벤치마크에서 두 가지 서로 다른 접근 방식을 평가하여, 궤도 기반 분할이 잠재적 대칭성을 나타내는 환경에서 일관된 성능 향상을 가져옴을 입증합니다. 이러한 실증적 결과를 넘어, 본 접근 방식은 범주론적 구조가 추상적 강화학습 정식화와 계산적 응용 사이의 원리적인 가교를 어떻게 제공하는지 보여주며, 이를 통해 더 구조화되고 확장 가능한 학습 시스템으로 나아가는 경로를 확립합니다.
LLM 에이전트는 비용을 결정하는 상태가 직접 관측되지 않는 다주간 의사결정 과제에서 점점 더 많이 평가되고 있다. 이러한 과제에서는 최종 비용만으로 에이전트가 왜 실패했는지 알 수 없다. 세계를 잘못 읽었을 수도 있고, 올바르게 읽었음에도 행동하지 못했을 수도 있다(아는 것과 하는 것의 간극, knowing-doing gap). 기존 평가는 이 두 실패를 분리할 수 없다. 참조 정책이 에이전트가 보지 못하는 특권 정보를 읽거나, 아예 존재하지 않기 때문이다. 우리는 STOCKTAKE를 소개한다. 이는 6개의 숨겨진 요인 과정을 갖춘 분해된 부분 관측 마르코프 결정 과정으로 구축된 26주 공급망 보충 벤치마크이며, 공정한 참조 정책을 계산할 수 있도록 설계되었다. 각 요인마다 정확한 베이즈 필터가 에이전트가 받는 것과 동일한 관측 스트림에서 롤아웃 정책을 구동한다. 각 실행을 증상 맹목적 base-stock 하한(0)과 이 오라클(1) 사이에서 채점하면 skill score가 산출되며, 매주 작성된 근거를 채점하면 진술된 신념 탐지 지연(stated-belief detection lag)과 knowing-doing rate가 산출되어, 상태 추정과 제어가 별도로 측정된다. 큐레이션된 스트레스 프로필이 적용된 50개 시드에서 Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro, Grok 4.5는 숨겨진 실패의 84-88%를 일반적으로 발생 후 일주일 이내에 탐지하지만, skill score는 0.62에서 -0.23까지 분포한다. 네 모델 중 두 모델은 증상 맹목적 하한 이하로 끝나면서도, 하한을 넘긴 두 모델보다 요인을 약간 더 빠르게 지목한다. 실패에는 두 가지 얼굴이 있다. 스트레스가 지속되는 경우, 올바르게 진단된 스트레스 주 중 34-43%는 모든 모델에서 여전히 재고 소진(stockout)으로 끝나며, 이 비율은 모델이 인지한 주의 심각성을 부분적으로 반영한다. 이 비율은 skill score와도 반대 방향으로 나타난다. 하한 이하의 두 모델은 진단된 주에서 가장 적게 재고 소진을 겪으므로, 과소 대응(under-response)은 간극의 한 면에 불과하며, 그들의 추적 기록은 다른 면—보호하는 것보다 비용이 더 큰 대응—을 가리킨다. STOCKTAKE는 그 실패의 양방향을 모두 측정한다.
생체 시스템은 잡음이 많고 불완전한 감각 신호를 사용하여 환경을 탐색한다. 단세포 조류에서 주광성(phototaxis)은 흔히 자극-반응 규칙에 의해 구동되는 메커니즘적 런-텀블(run–tumble) 과정으로 모델링된다. 그러나 이러한 설명은 유기체가 감각 모호성을 줄이기 위해 환경을 능동적으로 샘플링하는 방식을 간과한다. 최소 인지(minimal cognition) 관점에서, 우리는 이 탐색을 주관적이고 정보 기반의 감각운동(sensorimotor) 과정으로 재정의한다. 이를 위해 우리는 부분 관측 마르코프 결정 과정(POMDP)과 생화학적 반응 동역학을 연결하는 프레임워크를 제안한다. 환경 변수는 은닉되어 있으며, 세포는 메모리 없는 베이지안(Bayesian) 단계를 통해 각 관측으로부터 최소한의 내부 상태를 업데이트한다. 이러한 내부 동역학은 빛을 향한 방향 설정과 탐험적 재방향 설정 사이의 균형을 맞추며, 화학 반응 네트워크 상미분방정식(CRN-ODE)을 통해 구현될 수 있다. 우리의 모델은 광수용(photoreception)을 위한 생물물리학적 관측 과정과 화학적으로 계산 가능한 정보 이득의 다항식 상한을 포함한다. 실험적으로 기록된 30개의 클라미도모나스(Chlamydomonas) 궤적에 역강화학습(IRL)을 적용하여, 관측된 주광성 운동과 일치하는 행동 목표를 추론하고, 표준 확률적 시뮬레이션 알고리즘(SSA) 기준선으로 결과 동역학을 벤치마크한다. 우리의 모델은 경험적 빛 정렬 분포를 재현하며, 이 데이터셋에서 목표 기반 SSA 기준선과 유사한 성능을 보인다. 이 프레임워크 내에서 런-텀블 교차는 정보 획득 전략으로 나타난다: 텀블링은 세포를 재방향 설정하여 새로운 감각 구성을 샘플링하고 센서 모호성을 해소하며, 세포 내 생화학적 네트워크가 세포 탐색에서 적응적 정보 탐색 행동을 지원할 수 있음을 보여준다.
Network Attack Simulator(NASim)의 JAX 기반 재구현 NASimJax는 GPU 가속 학습 파이프라인으로 기존 시뮬레이터 대비 최대 100배 환경 처리량을 달성해, 고정 연산 예산 하에서 더 큰 네트워크에서 침투 테스트 강화학습(RL) 정책 학습을 가능하게 한다. 자동화된 침투 테스트를 Contextual POMDP로 공식화하고 구조적으로 다양하며 해결 가능함이 보장된 시나리오 생성 파이프라인을 도입해 제로샷 일반화를 연구했으며, 최대 40개 호스트 실험에서 Prioritized Level Replay가 Domain Randomization보다 유리하고 2단계 행동 분해(2SAS)가 커지는 행동 공간에서 평탄한 행동 마스킹을 크게 능가한다는 결과를 확인했다.
연속 부분 관측 마르코프 결정 과정(POMDP)에서 $ω$-regular 명세를 사용한 온라인 계획은 시간적 진행을 추적하기 위해 유한한 기호 기억(symbolic memory) 내에서 연속적인 믿음 상태 역학(belief dynamics)을 처리해야 한다. 믿음 공간에서의 직접 탐색이나 사전 정의된 이산 추상화에 기반한 기존 방법들은 장기 지평 논리적 진행을 위한 기호 기억 부재, 또는 노이즈가 있는 온라인 믿음 상태로부터의 검증(certification) 어려움 등의 단점을 가진다. 따라서 연속 관측으로부터 신뢰할 수 있는 기호 상태를 온라인으로 얻는 것은 여전히 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 전역 믿음 공간 이산화에서 표출(revelation) 사건의 온라인 검증이라는 근본적으로 새로운 사고 방식으로 연구를 발전시키는 이벤트 기반 프레임워크인 표출 신념 오토마톤(Revealed Belief Automaton, REBA)을 제안한다. 구체적으로, 정보 이론적 게이트(information-theoretic gates)를 통해 노이즈가 있는 믿음 상태들 사이에서 신뢰할 수 있는 앵커(anchor)를 발견함으로써 연속 믿음 공간으로부터 믿음 추상화(belief abstraction)를 동적으로 분석하고 확립하는 온라인 표출(revelation) 방법을 제안한다. 그다음 검증된 앵커 위에 점증적 위상(topology) 적응 메커니즘을 개발하여 온라인 유한 믿음 오토마톤(Belief Automaton)을 구현한다. $ω$-regular 명세와 결합함으로써 REBA는 사전 정의된 이산 추상화 없이 형식적 패리티(parity) 정책 합성(formal parity policy synthesis)을 지원할 수 있으며, 이는 다시 Monte Carlo Tree Search(MCTS) 과정을 국소 지평(local horizon)을 넘어 온라인 탐색을 수행하도록 안내할 수 있다. 또한 기본 연속 POMDP에 대한 이러한 이산 안내의 효과와 신뢰성을 평가할 수 있는 오류 분해(error decomposition) 분석을 설계한다. 순찰(patrolling) 및 내비게이션 시나리오에서의 실증 평가는 REBA가 평가된 모든 기준선(baseline)과 동등하거나 이를 초과함을 보여주며, 최신(state-of-the-art) 접근법 대비 주요 지표에서 +17.0%에서 +47.4%의 향상을 달성한다.
불확실성 하의 계획(Planning)은 자율 로봇에게 필수적인 능력입니다. 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)은 이러한 능력을 위한 강력한 프레임워크를 제공합니다. POMDP 기반 계획법은 상당히 발전했지만, 충실한 POMDP 모델을 확보하는 어려움으로 인해 실제 문제에의 적용이 종종 제한됩니다. 본 논문에서는 불확실성 하의 온라인 계획을 위해 작업 비의존적(task-agnostic) POMDP 모델을 학습하는 프레임워크인 VOiLA(Vectorized Online planning wIth Learned diffusion model for POMDP Agents)를 제안합니다. VOiLA는 조건부 디퓨전 모델을 사용하여 상태 전이(transition) 및 관측(observation) 샘플러를 학습하고, 파티클 기반 신뢰도(belief) 업데이트를 위해 관측 가능도(observation-likelihood) 모델을 학습합니다. 효율적인 온라인 계획을 가능하게 하기 위해, 디퓨전 샘플러는 압축된 피드포워드 생성기로 증류(distillation)되며, GPU 병렬화를 활용하도록 설계된 온라인 POMDP 계획기인 VOPP(Vectorized Online POMDP Planner)와 통합됩니다. 실험 결과, 이 증류 전략은 샘플링 비용을 최대 거의 3자릿수(orders of magnitude)까지 줄여주어, 학습된 생성형 POMDP 모델을 온라인 계획에 실용적으로 만들어줍니다. 세 가지 벤치마크 문제에 대한 VOiLA의 평가 결과, VOiLA는 학습 데이터의 10% 미만을 사용하면서도 Recurrent Soft Actor Critic과 동등하거나 더 우수한 성능을 달성하고, 보이지 않은 환경 구성(unseen environment configurations)에 훨씬 더 잘 일반화함을 보여줍니다. 실제 로봇 평가 결과, VOiLA는 시뮬레이션 데이터만을 사용하여 학습된 모델을 활용하며, 10번의 실행 모두에서 작업을 성공적으로 완수하는 정책을 생성함을 나타냅니다.
리튬 생산에서의 의사결정은 투자자의 관점이든 전략적 생산 관점이든 어려운 문제입니다. 어떤 광산을 개설하고 언제 개설할지를 결정하는 것은 지질학적 및 가격 불확실성뿐만 아니라, 직접 리튬 추출(direct lithium extraction)에서 경암 채광(hard rock mining)에 이르는 추출 방법 선택의 복잡성까지 포함합니다. 기존 연구는 이 문제의 모델과 채광 결정을 최적화하는 다양한 방법을 탐색했으나, 가격 및 수요의 불확실성이나 리튬 추출을 위한 다양한 채광 기술을 고려하지 못했습니다. 이러한 모델에 다양한 가격 모델과 추출 기술을 통합하면, 광산을 언제 어디서 개설할지뿐만 아니라 어떤 생산 방식을 추구할지를 결정하는 더 견고한 전략을 수립할 수 있습니다. 우리는 이 문제를 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 프레임화하고, 신뢰 상태(belief state) 계획 방법을 사용하여 최적의 의사결정을 도출합니다. 본 연구에서 우리는 POMDP 솔버가 신뢰 상태 계획과 명시적인 불확실성 관리를 통해 변동하는 리튬 가격 체제(정적, 선형, 지수, 확률적)에 동적으로 적응함으로써 인간 직관에 기반한 휴리스틱(heuristics)보다 우수한 성능을 보임을 입증합니다. 탐험, 생산, 기술 선택을 최적으로 순서화함으로써, 해당 프레임워크는 모든 가격 및 광상 시나리오에서 프로젝트 수명 기간 동안 더 높은 수요 충족률과 더 균형 잡힌 경제적 환경적 결과를 달성합니다.
에이전트형 인공지능 시스템은 새로운 유형의 모델 리스크를 야기합니다. 전통적인 예측 모델과 달리, 자율 에이전트는 지속적으로 정보를 획득하고, 환경의 잠재 상태에 대한 믿음을 형성하며, 예측을 생성하고, 행동을 선택한 뒤 시간이 지남에 따라 행동을 적응시킵니다. 기존 검증 방법론은 주로 예측 정확도에 초점을 맞추고 있어, 기저에 있는 의사 결정 과정의 품질에 대해서는 제한된 통찰력만을 제공합니다. 본 논문은 부분적으로 관측 가능한 마르코프 결정 과정(POMDP)에 기반한 에이전트형 AI를 위한 모델 검증 프레임워크를 제안합니다. 이 프레임워크는 자율 의사 결정을 정보, 믿음, 예측, 행동 및 효용으로 분해하여 각 구성 요소를 독립적으로 검증할 수 있게 합니다. 대규모 언어 모델(LLM)은 근사 베이지안 필터링 연산자로 공식화되며, 상태 공간, 필터링, 예측, 정책, 효용 명세(utility-specification), 매개변수 리스크를 포괄하는 모델 리스크 분류 체계가 개발됩니다. 모델 리스크 검증 방법론은 포트폴리오 관리 사례 연구를 통해 입증됩니다. 이 연구에서 에이전트는 시장 및 거시경제 정보로부터 잠재적인 시장 레짐을 추론하고, 믿음 조건부 예측을 생성하며, Black-Litterman 프레임워크를 사용하여 포트폴리오를 구성합니다. 실증적 검증은 성능 분석, 믿음 보정 진단, 커버리지 테스트, 제거 연구(ablation study), 매개변수 민감도 분석을 결합하여 수행됩니다. 결과에 따르면 잠재 상태 추론은 의사 결정 품질에 독립적으로 기여하며, 주요 결론은 광범위한 매개변수 값에 걸쳐 견고한 것으로 나타났습니다. 본 논문의 주요 기여는 확립된 모델 리스크 관리 개념을 자율 AI 시스템으로 확장하고, 해당 시스템의 검증, 거버넌스 및 모니터링을 위한 엄격한 기반을 제공하는 실용적인 프레임워크입니다.