PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.13919v3cs.LG

예측적 의사결정을 위한 적응형 디지털 트윈: 전이 동역학의 온라인 베이지안 학습

Adaptive digital twins for predictive decision-making: Online Bayesian learning of transition dynamics

동적 베이지안 네트워크(DBN) 기반 디지털 트윈 프레임워크에서 상태 전이 확률을 켤레 사전 분포를 갖는 확률 변수로 모델링하여 온라인 베이지안 학습으로 적응적으로 갱신하는 방법을 제안한다. 파라메트릭 마르코프 결정 과정을 모델 기반 강화학습(MBRL)으로 풀어 동적 제어 정책을 도출하며, 철도 교량의 구조 건전성 모니터링 사례에서 개인화·견고성·비용 효율성이 향상됨을 확인하였다.

arXiv:2606.25593v1cs.LG

Low-Complexity Policy Tessellations in Structured Markov Decision Processes

We study optimal-policy geometry in structured Markov decision processes. While approximate dynamic programming and reinforcement learning typically approximate high-dimensional value functions, we show that optimal policies induce simpler decision tessellations. We propose boundary-based policy approximations that learn policy regions directly. A policy-loss decomposition links performance degradation to action margins and explains why errors concentrate near indifference boundaries. Inventory control and queue admission experiments show lower policy error, smaller value gaps, faster error decay, and stability than reinforcement learning baselines.

arXiv:2606.25797v1cs.AI

Confidence Sequences for Online Statistical Model Checking of Markov Decision Processes

Markov decision processes (MDPs) are a classic model of decision making under uncertainty, exhibiting both non-deterministic choice as well as probabilistic uncertainty. Traditionally, exact knowledge of the underlying probabilities is assumed. However, this often is unrealistic, e.g.\ when modelling cyber-physical systems or biological processes. Here, statistical methods provide a way towards obtaining meaningful guarantees. The classical approach is to gather samples in the MDP, use these to draw statistical conclusions about the transition probabilities, and from there obtain bounds on the true value; then, if these bounds are too broad, repeat. However, existing implementations of this approach are either subtly incorrect or sub-optimal, and quite often both. We present several \emph{confidence sequences}, which are specifically designed for such \enquote{online} settings, implement all of them in an efficient tool, and show their practical applicability. In particular, we show that they outperform classical \enquote{union-bound} style approaches, and overall our implementation requires 50x less samples on average than previous state of the art.

arXiv:2606.21726v1cs.AI

마르코프 의사결정 과정에서의 엔트로피 목적함수

Entropy Objectives in Markov Decision Processes

확률적 시스템의 상태 분포에 집중(concentration) 성질을 강제하는 제어 정책(control policy)을 합성(synthesize)하는 문제를 고려한다. 이 문제를 마르코프 의사결정 과정(MDP)에서 엔트로피 기반 목적함수를 유지하기 위한 전략을 합성하는 형태로 형식화한다. 먼저 이 문제의 완화된 버전조차 복잡도 이론적으로 어렵다는 것을 보인다. 이어서 이러한 엔트로피 목적함수에 대한 전략을 검증하고 합성하기 위한 건전(sound)하고 (조건부) 상대적 완전(relative completeness)성을 갖는 방법을 제시한다. 주된 난제는 이러한 목적함수의 비선형적 특성이며, 우리의 접근법은 볼록 이중성(convex duality)과 불변식 합성(invariant synthesis)의 아이디어를 활용하고 결합함으로써 이를 다룬다. 또한 엔트로피 목적함수를 보장하는 데 있어 메모리와 랜덤화(randomization)의 역할을 조사한다. 마지막으로, 몇 가지 설명용 벤치마크(benchmark)에서 접근법을 경험적으로 평가하기 위해 아이디어를 구현한다.

arXiv:2606.18820v1cs.LG

성숙 마르코프 결정 과정: 증가하는 정보와 축소되는 행동 집합 하에서의 의사결정

Maturing Markov Decision Processes: Decision Making under Increasing Information and Shrinking Action Sets

정보는 늘어나고 실행 가능한 행동은 줄어드는 정보-행동 비대칭성을 중심으로 성숙 마르코프 결정 과정(MMDP)을 정의하고, 만료되는 행동 우선순위 원칙과 단계 인식 정책·만료 행동 추상화·지식 증류를 결합한 검색 증강 학습을 포함한 구조 인식 강화학습(RL) 프레임워크를 제안한다. 다중 공급업체 재보충, 현금 관리, 운영 규모 시뮬레이터 실험에서 이 비대칭성을 명시적으로 모델링하면 학습 효율이 향상되며, 의사결정 문제가 커질수록 그 이점이 더 커진다.