본 논문에서는 학습자가 의사결정 시점 이전과 의사결정 시점 모두에서 샘플링 오라클에 접근할 수 있는 PAC 프레임워크를 소개합니다. 샘플 복잡도는 쌍 $(n,m)$으로 측정되며, 여기서 $n$은 쿼리가 알려지기 전에 소비되는 학습 예산이고 $m$은 쿼리당 추가 샘플링 예산입니다. 행동을 취하기 전에 공개되는 외생적 i.i.d.\ 문맥을 갖는 할인 마르코프 결정 과정(discounted MDP)에서 이 프레임워크의 유용성을 입증합니다. 문맥은 보상과 전이 모두에 영향을 미칠 수 있지만 에이전트에 의해 제어되지는 않습니다. 학습자는 미지의 문맥 분포와 전이 커널을 샘플링할 수 있습니다. 본 연구에서는 정책 평가(PE), 최적 가치 추정(BVE), 최적 정책 추출(BPE)을 다룹니다. 보상과 전이가 알려져 있는 경우, 분산 감소 알고리즘은 로그 인수를 제외하고 미니맥스 최적인 $\bigl(\widetilde O((1-γ)^{-3}\varepsilon^{-2}),0\bigr)$의 샘플 복잡도로 세 가지 과제를 모두 해결합니다. $\mathcal{X}$를 제어되는 상태 공간이라고 할 때, 전이 또한 미지인 경우 복잡도 $\bigl(\widetilde O(|\mathcal X|(1-γ)^{-3}\varepsilon^{-2}), \widetilde O((1-γ)^{-2}\varepsilon^{-2})\bigr)$를 갖는 PE 알고리즘과 이 예산 쌍에서의 일치하는 하한을 제시합니다. BVE 및 BPE의 경우 공통 오프라인 예산 $\widetilde O(|\mathcal X|^2|\mathcal A|(1-γ)^{-4}\varepsilon^{-2})$와 각각 $\widetilde O(|\mathcal A|(1-γ)^{-2}\varepsilon^{-2})$ 및 $\widetilde O(|\mathcal A|(1-γ)^{-3}\varepsilon^{-2})$의 쿼리 비용을 갖는 알고리즘을 제시합니다. 중요한 점은 모든 한계가 문맥 공간의 크기(기수)와 무관하다는 것입니다.
비디오 월드 모델(World Model, WM)은 자가 로봇(ego-robot)의 행동을 조건으로 현실적인 미래 관측을 상상(imagination)함으로써 정책 평가(policy evaluation) 및 개선에 대한 유망성을 보여주었습니다. 월드 모델은 미래에 대한 확률 분포를 모델링할 수 있지만, 정책 평가 및 개선은 일반적으로 명목적 상상(nominal imagination)에 의존하므로 지나치게 많은 샘플을 추출하지 않는 한 로봇 행동의 치명적인 영향(high-impact)을 초래하는 결과를 놓치기 쉽습니다. 월드 모델 상상을 통한 강건한 정책 평가 및 개선을 가능하게 하기 위해, 본 논문에서는 디퓨전 기반 월드 모델의 초기 노이즈를 최적화(optimization)하여 추론(inference) 시점에 지정된 치명적이면서도 그럴듯한 결과로 상상을 유도하는 StressDream을 제안합니다. 그러나 고차원 노이즈 최적화는 어렵습니다. 생성된 비디오에서 미묘하고 장면에 종속적인 목표 이벤트를 추론해야 하는 동시에, 타당하지 않은 상상을 초래하는 분포 외(OOD) 노이즈를 방지해야 하기 때문입니다. 저자들은 이를 두 가지 상호보완적인 목적 함수를 통해 해결합니다. 생성된 비디오를 추론하여 유익한 그래디언트를 제공하는 비전-언어 모델(VLM) 기반의 시맨틱 목적 함수와, 최적화된 노이즈가 OOD로 벗어나는 것을 방지하는 타당성 목적 함수입니다. 자율주행 및 로봇 조작을 위한 최고 수준의 비디오 월드 모델을 통해, StressDream이 과제 실패와 같이 추론 시점에 텍스트로 지정된 치명적이면서도 타당한 결과로 상상을 효과적으로 유도함을 보여주며, 그럴듯한 미래에 바람직하지 않은 결과가 포함된 행동을 식별함으로써 강건한 정책 평가 및 개선을 가능하게 합니다. 비디오 결과는 https://stressdream.github.io/ 에서 확인할 수 있습니다.
가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.
리스크 인식 강화학습에서 정책 평가를 위한 효율적인 함수 근사(function approximation) 방법을 개발하는 것은 근본적인 과제이다. 기존 접근법은 제한적인 리스크 척도 클래스에만 초점을 맞추거나 시뮬레이터 접근에 의존하여, 완전 온라인 설정에서의 적용 가능성을 제한한다. 본 연구에서는 선형 함수 근사 하에서 동적 유틸리티 기반 쇼트폴 리스크(UBSR) 척도를 갖는 마르코프 결정 과정(MDP)에서의 정책 평가를 위한 계산적으로 효율적인 온라인 학습 알고리즘을 제안한다. 구체적으로, UBSR-TD 알고리즘을 도입하고, 거의 확실(almost surely) 수렴하는 조건을 수립하며, 수렴을 가속하기 위해 설계된 여러 변형을 개발한다. 우리의 공식화는 리스크 중립 MDP에 대한 기존 정책 평가 알고리즘이 시간차(temporal-difference) 오차에 손실 함수를 통합함으로써 동적 UBSR 설정에 쉽게 적응될 수 있음을 보여준다. 수치 실험은 이론적 결과를 뒷받침하며, 유통기한 불확실성을 갖는 부패성 재고 관리 문제에 대한 적용은 제안된 방법의 실용적 효과를 보여준다.
이 논문에서는 통계적 효율성의 관점에서 분위수 기반 분포적 강화학습(distributional reinforcement learning)을 연구한다. 우리는 분포적 정책 평가(distributional policy evaluation)에 초점을 맞추며, 그 목표는 주어진 정책 하에서 할인된 누적 보상의 분포, 즉 리턴 분포(return distribution)를 특성화하는 것이다. 리턴 분포의 유한 차원 표현을 얻기 위해, 분위수 투영 분포적 벨만 방정식(quantile-projected distributional Bellman equation)에 의해 유도된 분위수 고정점(quantile fixed point) $η_m$을 고려한다. 생성 모델에 대한 접근을 가정하여, 경험적 마르코프 결정 과정을 기반으로 추정량 $η_m^{(n)}$을 구성한다. 고정된 분위수 수 $m$에 대해, 상한 $W_\infty$ 거리 하에서 $η_m^{(n)}$과 $η_m$ 사이의 비점근적 오차 경계를 확립하며, 추정 오차가 $m$과 $n$에 대해 $\widetilde{O}(\sqrt{m/n})$으로 스케일됨을 보인다. 이는 분위수 기반 분포적 정책 평가 문제가 표본 효율적으로 해결될 수 있으며, 최적 모수적 $\sqrt{n}$ 수렴률을 달성함을 의미한다. 우리는 분위수 파라미터 $\sqrt{n}(θ_m^{(n)}-θ_m)$의 점근 분포를 유도하고 반모수 효율성 경계(semiparametric efficiency bound)를 특성화하며, 이 경계는 우리의 추정량에 의해 달성된다. 고정 차원 설정을 넘어, 분위수 수가 발산하는 점근적 체제를 조사한다. 극한 공분산 구조를 특성화하고, 이것이 분포적 정책 평가를 위한 비모수 모델의 반모수 효율성 경계와 일치함을 보임으로써, 분위수 기반 추정량이 무한 차원 극한에서도 점근적으로 효율적임을 보인다. 마지막으로, 매끄러운 함수형(smooth functionals) $\sqrt{n}(η_m^{(n)}(s)-η_m(s))f$에 대한 Berry-Esseen 정리를 확립함으로써, 분위수 투영된 리턴 분포의 함수형에 대한 통계적으로 유효한 추론의 기반을 제공한다.
합성 통제(synthetic controls) 방법은 관측 데이터 환경에서 정책 변화의 인과 효과를 평가하는 데 널리 사용된다. 연구자들은 종종 집계 수준에서 처치 단위에 대한 정책 개입의 인과적 영향을 추정하고자 하면서도, 더 세밀한 단위의 데이터를 함께 보유하고 있는 경우가 많다. 본 논문에서는 Gunsilius(2023, Econometrica 91: 1105-1117)에서 제안된 분포적 합성 통제(Distributional Synthetic Controls) 방법을 구현한 새로운 disco 명령어를 소개한다. 이 명령어를 통해 연구자들은 통제 단위들의 분포를 최적 가중 평균하여 처치 단위에 대한 전체 합성 분포를 구성할 수 있다. 처치의 분포적 효과를 명확히 보고할 수 있도록 여러 집계 방식이 제공된다. 이 패키지는 분위수(quantile) 기반 및 누적 분포 함수(CDF) 기반 접근법, 부트스트랩(bootstrap) 및 순열(permutation) 방법을 통한 포괄적인 추론 절차, 그리고 시각화 기능을 제공한다. Van Dijcke, Gunsilius, Wright(2026, Review of Economics and Statistics, forthcoming)의 결과를 복제함으로써 이 패키지의 활용을 실증적으로 설명한다.
의학에서 마케팅, 사회과학에 이르기까지 개인에게 맞춤화된 개입을 제공한다는 가능성은 부인할 수 없다. 그러나 실제 적용에서는 개인화의 잠재적 이점과 그로 인한 비용 증가 및 취약성을 균형 있게 고려해야 한다. 우리는 역사적 데이터를 기반으로, 개인화된 개입 정책의 성능이 단일 최적 개입을 일괄 적용하는 방식을 능가할 것이라는 증거를 평가하는 통계적 가설 검정을 제안한다. 이 검정은 엄격한 1종 오류 제어를 유지하면서, 명시된 조건하에 최소 가능 분산으로 점근적 정규성을 달성한다. 직업 학습, 우울증 치료, 교육 및 추천 시스템 등 다양한 데이터셋에 대한 실험 결과는 이 검정의 범용성과 대안 방법들에 비한 우수한 성능을 입증한다. 이 검정은 개인화의 잠재적 이점을 간단하고 강력하게 정량화함으로써 개입 과학 전반에 걸쳐 의사결정자를 지원할 수 있다.
대규모 언어 모델(LLM)은 정책 관련 정보를 요약하고 평가하는 데 점점 더 많이 활용되고 있으나, 그 판단이 지정학적 단서에 의해 암묵적으로 형성되는지는 아직 불분명하다. 본 연구는 지지 실험(endorsement experiment)을 통해 이 문제를 탐구한다. 이 실험에서 네 가지 LLM은 동일한 국제 경제 및 안보 정책을 평가하되, 각 정책이 미국, 유럽연합, 중국, 러시아 중 하나의 지지를 받는 것으로 무작위로 기술된다. 수치만 제시하는 조건에서 GPT-5, Claude Sonnet, Gemini는 중국 및 러시아가 지지한 정책을 미국 또는 유럽연합이 지지한 동일한 정책보다 상당히 낮게 평가하였으며, DeepSeek이 주요 예외였다. 두 번째 조건에서는 모델에 점수와 함께 간단한 근거를 제시하도록 요청하였다. 이 요청은 GPT-5와 Claude Sonnet에서 서방/비서방 간 전반적인 격차를 유지시키고, Gemini의 페널티를 완화시키며, DeepSeek에서는 중국 및 러시아에 대한 페널티를 뚜렷하게 활성화시켰다. 제시된 근거를 분석한 결과, 서방의 지지는 종종 신뢰성 단서로 취급되는 반면, 중국과 러시아의 지지는 데이터 보안, 주권, 감시, 또는 지정학적 위험에 대한 단서로 취급되는 것으로 나타났다. 이러한 발견은 정책 내용이 동일하게 유지되더라도 LLM의 정책 평가가 외국 지지자의 정체성에 따라 달라질 수 있음을 보여준다.
비정상(nonstationary) 또는 이력 의존(history-dependent) 행동 정책이 있는 유한 제어 마르코프 체인(CMC)의 전이 커널에 대한 모델 기반 부트스트랩을 제안하며, 부트스트랩 대수의 법칙과 마팅게일 중심극한정리를 핵심 도구로 활용해 분포 일관성을 이론적으로 확립한다. 벨만 연산자의 아다마르 미분가능성 검증을 통해 오프라인 정책 평가(OPE) 및 최적 정책 복원(OPR)까지 이를 확장하였으며, RiverSwim 실험에서 제안된 백분위수 신뢰 구간이 기존 방법 대비 공칭 커버리지에 근접함을 보였다.
단일 궤적 Markovian 샘플링 하에서 투영(projection) 없는 선형 TD(0)에 Polyak–Ruppert 평균을 적용하고, 혼합 시간에만 의존하는 단일 스텝사이즈로 반복값의 고확률 유계(boundedness)와 동시 수렴을 증명한다. 곡률(curvature) 파라미터 ω를 몰라도 동일 스텝사이즈가 곡률 무관 견고율 Õ(τ_mix/√T)과 곡률 의존 빠른 수렴율 Õ(τ_mix²/(ωT)) 중 더 나은 쪽을 보장하며, 핵심 기법은 기하학적 혼합 Markov chain용 Poisson 방정식 분해와 자기 유계(self-bounding) 귀납 논증이다.
연합 학습(federated learning)은 분산된 데이터에서 협력적 모델링을 가능하게 하지만, 표준 방법은 과거 관측값에 맞추는 것에 그친다. 이러한 순수 관측(observational) 접근법은 순차적 행동이 미래 상태를 동적으로 바꾸기 때문에, 개입(interventional) 추론과 정책 평가(policy evaluation)에 근본적으로 불충분하다. 우리는 do-시뮬레이션(do-simulation)을 위한 연합 인과 diffusion 프레임워크인 Fed-CausalDiff를 제안한다. 이 아키텍처는 잠재 상태(latent state)의 진화를 전역 인과 score 함수와 지역 교란(confounding) score 함수로 분해한다. 이 설계는 분리 동기화(decoupled synchronisation, DSS)를 가능하게 하며, 클라이언트는 공유 인과 메커니즘만 집계하고 이질성(heterogeneity)을 처리하기 위해 사이트별 교란 변수는 로컬에 유지한다. 4개 데이터셋에서의 실험은 Fed-CausalDiff가 더 나은 평균 처치 효과(ATE) 및 정책 가치(policy-value) 추정 정확도를 달성하며, 통신 비용과 추론(inference) 충실도(fidelity) 사이의 유리한 trade-off를 제공함을 보여준다.
자율 주행은 엔드투엔드 정책 학습으로 전환되었으며, 주행 품질이 상황에 크게 의존하기 때문에 신뢰할 수 있고 해석 가능한 정책 평가는 근본적인 과제입니다. EPDMS와 같은 일반적으로 사용되는 규칙 기반 주행 메트릭은 해석 가능하지만 상황 인식 능력이 부족한 반면, 최근 VLM 기반 평가는 상황 인식이 가능하지만 모호한 VLM 출력과 약한 물리적 그라운딩에 의해 제한됩니다. 해석 가능하고 상황 인식이 가능한 방식으로 주행을 평가하기 위해, 우리는 DriveJudge를 소개합니다. DriveJudge는 규칙에 기반한 평가와 비전-언어 모델(VLM) 추론을 결합하는 주행 평가 에이전트로, 환경적 상황을 해석한 후 물리적으로 기반한 결정론적 규칙 함수를 선택적으로 호출합니다. DriveJudge를 학습하고 평가하기 위해, 우리는 주어진 시나리오에서 주행 행동이 합리적인지 여부에 대한 인간 주석이 포함된 33,577개의 어려운 주행 샘플로 구성된 대규모 데이터셋을 구축했습니다. 이 데이터셋을 통해 우리는 주행 메트릭 평가라는 미탐색 문제를 다루고, 인간과 정렬된 두 가지 벤치마크 과제인 주행 품질 분류(Driving Quality Classification)와 궤적 선호 선택(Trajectory Preference Selection)을 소개합니다. DriveJudge는 주행 품질 분류에서 EPDMS보다 21.23 AUC 높은 성능을 보였고, 궤적 선호 선택에서 최근 VLM 기반 DriveCritic보다 6.5% 더 높은 성능을 보여, 해석 가능하고 정밀한 주행 평가의 새로운 표준을 설정했습니다.
숏폼 동영상 플랫폼은 플랫폼 정책, 창작자 인센티브, 사용자 행동이 공진화하는 폐쇄 루프(closed-loop) 인간 참여형(human-in-the-loop) 생태계이다. 이러한 피드백 구조로 인해 특히 장기 지평선(long-horizon) 및 분포적(distributional) 결과에 대한 반사실적(counterfactual) 정책 평가가 프로덕션 환경에서 어렵다. 플랫폼이 시스템에 유입되는 콘텐츠, 에이전트의 적응 방식, 플랫폼 운영 방식을 변화시키는 AI 도구를 배포함에 따라 이 문제는 더욱 심화된다. 본 논문에서는 숏폼 동영상 플랫폼을 위한 대규모 언어 모델(LLM) 강화 디지털 트윈을 제안한다. 이 시스템은 모듈식 4중 트윈 아키텍처(사용자, 콘텐츠, 상호작용, 플랫폼)와 재현 가능한 실험을 지원하는 이벤트 기반 실행 층으로 구성된다. 플랫폼 정책은 Platform Twin 내에 플러그인 가능한 컴포넌트로 구현되며, LLM은 통합 옵티마이저를 통해 라우팅되는 선택적·스키마 제약 의사결정 서비스(예: 페르소나 생성, 콘텐츠 캡셔닝, 캠페인 기획, 트렌드 예측)로 통합된다. 이 설계는 폐쇄 루프 다이내믹스를 유지하면서 선택적 LLM 도입을 허용하는 확장 가능한 시뮬레이션을 가능하게 하며, AI 기반 정책을 포함한 플랫폼 정책을 현실적인 피드백 및 제약 조건 하에서 연구할 수 있도록 한다.