본 연구에서는 토카막 핵융합로 설계의 제약 조건이 있는 다목적 최적화를 위한 실용적 도구로서 심층 강화학습(DRL)을 조사한다. 과제는 안정적인 운전에 필요한 네 가지 운전 한계를 만족하면서, 높은 에너지 이득과 긴 에너지 가둠 시간을 달성하는 동시에 건설 비용을 최소화하는 설계 구성을 최적화하는 것이다. 물리와 공학이 결합된 평가로 인해 목적 함수와 제약 조건이 블랙박스이므로, 기존 탐색 전략으로는 최적해를 찾기 어렵다. 이를 해결하기 위해 토카막 핵융합로 설계에 보상 제약 정책 최적화(RCPO)를 구현한다. 이 방법은 여러 제약 조건을 보상 함수에 통합하여 정책을 실현 가능한 해로 유도하고 설계 최적화 과정을 단순화한다. 수치 결과에 따르면 제안한 DRL 기반 접근법은 다른 데이터 기반 최적화 방법보다 운전 제약을 만족하는 실현 가능한 설계를 더 많이, 더 효율적으로 찾아내며, 이는 향후 효율적인 원자로 설계에 대한 DRL의 잠재력을 보여준다.
Text-to-multiview (T2MV) diffusion models have shown great promise in generating multiple views of a scene from a single text prompt. While few-step backbones enable real-time T2MV generation, they often compromise key aspects of generation quality, such as per-view fidelity and cross-view consistency. Reinforcement learning (RL) finetuning offers a potential solution, yet existing approaches designed for single-image diffusion do not readily extend to the few-step T2MV setting, as they neglect cross-view coordination and suffer from weak learning signals in few-step regimes. To address this, we propose MVC-ZigAL, a tailored RL finetuning framework for few-step T2MV diffusion models. Specifically, its core insights are: (1) a new MDP formulation that jointly models all generated views and assesses their collective quality via a joint-view reward; (2) a novel advantage learning strategy that exploits the performance gains of a self-refinement sampling scheme over standard sampling, yielding stronger learning signals for effective RL finetuning; and (3) a unified RL framework that extends advantage learning with a Lagrangian dual formulation for multiview-constrained optimization, balancing single-view and joint-view objectives through adaptive primal-dual updates under a self-paced threshold curriculum that harmonizes exploration and constraint enforcement. Collectively, these designs enable robust and balanced RL finetuning for few-step T2MV diffusion models, yielding substantial gains in both per-view fidelity and cross-view consistency. Code is available at https://github.com/ZiyiZhang27/MVC-ZigAL.
오프라인 강화학습(ORL)은 안전하고 샘플 효율적인 배포를 약속하지만, 기존 방법들은 하이퍼파라미터 튜닝을 위해 문서화되지 않은 온라인 상호작용에 의존하며 초기 온라인 성능에 대한 신뢰할 수 있는 완전 오프라인 추정치가 부족하다. 우리는 동역학에 대한 사후분포를 학습하고, 예측 불확실성을 통해 정책 가치를 추정하며, 완전한 오프라인 하이퍼파라미터 선택을 가능하게 하는 완전 오프라인 베이지안 모델 기반 강화학습 방법 SOReL을 제안한다. 또한 이 튜닝 프레임워크를 임의의 모델-프리 및 모델 기반 ORL 알고리즘으로 확장하는 TOReL을 제안한다. 표준 정규성 조건 하에서 베이지안 오프라인 강화학습이 minimax-최적 파라미터적 수렴률을 달성함을 보이는 후회(regret) 분석을 제공한다. 이를 통해 우리의 방법들은 완전 오프라인 강화학습을 위한 실용적이고 이론적으로 근거 있는 프레임워크를 확립한다.