강화학습(RL)은 전통적으로 고정된 환경에 대한 제어 정책을 학습하는 것에 관심을 둔다. 그러나 많은 공학 시스템에서는 환경 자체가 변경 가능하다: 물리적 또는 운영 매개변수를 조정하여 에이전트가 경험하는 전이 동역학과 비용을 형성할 수 있다. 이는 정책과 환경 설계 매개변수를 동시에 최적화하도록 동기를 부여한다. 이를 위해 우리는 환경 매개변수 그래디언트 정리(Environment Parameter Gradient Theorem)를 확립한다 — 이는 가치 함수의 환경 매개변수에 대한 그래디언트의 형식적 표현이다. 핵심 이론적 장치는 일반화된 행동-가치 함수 $Q_{π,ξ}(s,a,ζ)$이며, 이는 환경 매개변수의 두 복사본으로 구성된다: $ζ$는 현재 상태-행동 쌍에서의 비용과 전이 동역학을, $ξ$는 미래 롤아웃(rollout)을 지배한다. 이러한 분리(decoupling)는 처리 가능한 폐형식 그래디언트 표현을 산출하며, 정리의 유도에 필수적이다. 이 결과를 바탕으로, 최적 정책과 환경 매개변수를 동시에 학습하는 모델-프리(model-free) 알고리즘을 개발한다. UAV 네트워크 설계 문제에서 프레임워크의 효과를 보여주며, 최적 UAV 배치(환경 매개변수)와 통신 경로(정책에 의해 결정됨)를 공동으로 학습하여 네트워크의 총 통신 비용을 최소화한다.
벤더스 분해는 복잡화 변수가 고정되면 훨씬 더 쉬운 부분문제를 산출하는 대규모 혼합정수 최적화 문제를 풀기 위한 기본 프레임워크이다. 하지만 전통적인 벤더스 분해는 매우 유사한 부분문제를 반복적으로 풀고, 반복 간에 지그재그 수렴 행동을 자주 보이며, 대규모 설정에서 느린 수렴을 초래한다. 벤더스 부분문제의 반복적 구조와 파라미터적 특성에서 동기를 받아, 본 논문은 부분문제 최적화를 반복적 정확 풀이 대신 인증된 최적화 프록시로 대체하는 새로운 분해 프레임워크인 프록시 벤더스 분해(Proxy-BD)를 제안한다. 제안된 프록시는 검증 가능하게 유효한 벤더스 절 생성을 위해 이중 실행 가능 솔루션을 산출하는 자기지도 예측-투영-완성 메커니즘을 따른다. 이 프레임워크는 투영 및 완성 인증 층을 통해 예측 품질과 관계없이 분해의 이론적 타당성을 유지한다. 프록시 유발 절의 형식적 특성화가 확립되며, 이 프레임워크는 분기 및 벤더스 절 알고리즘을 포함한 현대 분해 방식으로 자연스럽게 확장된다. 대규모 시설 입지 및 네트워크 설계 문제에 대한 계산 실험에서 Proxy-BD는 거의 최적인 솔루션 품질을 유지하는 동시에 부분문제의 계산 부담을 크게 줄인다. 최대 2000x2000 규모의 대규모 무용량 시설 입지 인스턴스에서 Proxy-BD는 중앙값 최적성 갭을 0.5% 미만으로 달성하고, 중앙값 속도 향상을 최대 161배 달성하며, 최대 인스턴스에서 생성된 절의 수를 240배 이상 줄인다. 계산 이득은 재결정 복잡도가 증가함에 따라 일관되게 커지며, 이는 대규모 분해 설정에서 프록시 기반 추론이 반복적 정확 부분문제 최적화보다 실질적으로 더 유리하게 스케일링된다는 것을 보여준다.