동형 이점 연산자: 완전동형암호 제약 조건에서의 강화학습 안정화
Homomorphic Advantage Operator: Stabilizing Reinforcement Learning Under Fully Homomorphic Encryption Constraints
기밀 데이터를 다루는 지능형 시스템에서 프라이버시 보존 머신러닝을 클라우드에 배포하는 것은 상당한 과제를 안겨줍니다. 완전동형암호(FHE)는 안전한 연산을 제공하여 클라우드 연산의 데이터 기밀성을 보존하는 매력적인 설루션을 제시합니다. 그러나 강화학습(RL)에 FHE를 적용하려면 비선형 연산을 다항식 근사로 대체해야 하는데, 이는 벨만 드리프트(Bellman drift)로 알려진 고유한 재귀적 오류 현상으로 인해 치명적인 발산을 초래합니다. 본 논문에서는 FHE 기반 심층 강화학습에서 다항식 근사의 발산을 방지하도록 설계된 안정화 프레임워크인 동형 이점 연산자(Homomorphic Advantage Operator, HAO)를 소개합니다. HAO는 이점(advantage) 기반 가치 추정의 영평균 중심화 투영을 시간차(TD) 타깃에 직접 적용합니다. 이 선형 투영은 벨만 드리프트를 유발하는 균일한 상태 가치 기준선(baseline)을 소멸시켜, 추가적인 비선형 곱셈 깊이를 전혀 요구하지 않고 비용이 많이 드는 암호문 부트스트래핑을 피하면서도 상태별 행동 순위를 유지합니다. 제안된 HAO 프레임워크는 표 형태의 마르코프 결정 과정(MDP), 실제 CKKS 암호화 연산을 사용하는 암호화된 CartPole 환경, 조밀한 연속형 특성을 지닌 20개 노드의 물류 라우팅 벤치마크를 포함하는 3단계 실험 방법론을 통해 평가되었습니다. 결과에 따르면 제안된 HAO는 네트워크 사전 활성화 값을 안전한 다항식 근사 도메인 내로 엄격하게 제한합니다. 제안된 HAO 강화학습 에이전트는 사용된 모든 무작위 시드에서 0%의 경계 이탈을 달성한 반면, 정규화(L2 가중치 감쇠 및 그래디언트 클리핑)만을 적용했을 때는 5개 시드 중 3개에서 경계를 벗어났고 안정화되지 않은 기준선 모델은 83.8%의 에피소드에서 경계를 이탈했습니다. 마지막으로, HAO 에이전트는 표 형태 도메인에서 최적 정책 정확도를 18.0%포인트 향상시키며, 클리핑된 그래디언트에 DP-SGD 스타일의 가우시안 노이즈가 추가되었을 때도 안정성을 유지합니다.