기밀 데이터를 다루는 지능형 시스템에서 프라이버시 보존 머신러닝을 클라우드에 배포하는 것은 상당한 과제를 안겨줍니다. 완전동형암호(FHE)는 안전한 연산을 제공하여 클라우드 연산의 데이터 기밀성을 보존하는 매력적인 설루션을 제시합니다. 그러나 강화학습(RL)에 FHE를 적용하려면 비선형 연산을 다항식 근사로 대체해야 하는데, 이는 벨만 드리프트(Bellman drift)로 알려진 고유한 재귀적 오류 현상으로 인해 치명적인 발산을 초래합니다. 본 논문에서는 FHE 기반 심층 강화학습에서 다항식 근사의 발산을 방지하도록 설계된 안정화 프레임워크인 동형 이점 연산자(Homomorphic Advantage Operator, HAO)를 소개합니다. HAO는 이점(advantage) 기반 가치 추정의 영평균 중심화 투영을 시간차(TD) 타깃에 직접 적용합니다. 이 선형 투영은 벨만 드리프트를 유발하는 균일한 상태 가치 기준선(baseline)을 소멸시켜, 추가적인 비선형 곱셈 깊이를 전혀 요구하지 않고 비용이 많이 드는 암호문 부트스트래핑을 피하면서도 상태별 행동 순위를 유지합니다. 제안된 HAO 프레임워크는 표 형태의 마르코프 결정 과정(MDP), 실제 CKKS 암호화 연산을 사용하는 암호화된 CartPole 환경, 조밀한 연속형 특성을 지닌 20개 노드의 물류 라우팅 벤치마크를 포함하는 3단계 실험 방법론을 통해 평가되었습니다. 결과에 따르면 제안된 HAO는 네트워크 사전 활성화 값을 안전한 다항식 근사 도메인 내로 엄격하게 제한합니다. 제안된 HAO 강화학습 에이전트는 사용된 모든 무작위 시드에서 0%의 경계 이탈을 달성한 반면, 정규화(L2 가중치 감쇠 및 그래디언트 클리핑)만을 적용했을 때는 5개 시드 중 3개에서 경계를 벗어났고 안정화되지 않은 기준선 모델은 83.8%의 에피소드에서 경계를 이탈했습니다. 마지막으로, HAO 에이전트는 표 형태 도메인에서 최적 정책 정확도를 18.0%포인트 향상시키며, 클리핑된 그래디언트에 DP-SGD 스타일의 가우시안 노이즈가 추가되었을 때도 안정성을 유지합니다.
밀집 임베딩(embedding)은 의미 검색과 검색-증강 생성(RAG)의 기반이지만, 벡터 저장소가 유출되면 그 저장소를 보유한 쪽은 기저 텍스트의 상당 부분을 되찾을 수 있다. 이를 가능하게 하는 공격(퓨샷(few-shot) 정렬, 제로샷(zero-shot) 역추론, 비지도 교차 공간 변환)은 공통된 약점을 갖는다: 보호된 저장소가 알려진 것과 정렬될 수 있는 단일 전역 기하 구조라는 점이다. 비밀 전역 회전은 통상적인 경량 방어이지만 예외가 아니다. 공격자가 알려진 쌍을 부분공간 차원(subspace dimension)만큼 확보하면 직교 프로크루스테스(orthogonal Procrustes)로 이를 복구할 수 있다. 우리는 이러한 약한 축을 제거하는 검색 보존형 임베딩 변환 Shard를 제안한다. 중심화된 임베딩은 짧은 공개 접두 문맥(1단계 검색용)과 별도의 비밀 키 아래 C개 셀로 분할된 사설 잔차로 나뉜다. 잔차는 CKKS 하에서 재순위화되며, 여기서 키는 상쇄되어 내적을 정확히 유지한다. 단일 매개변수 C는 이 설계를 대체하는 전역 선형 기준선(C=1)부터 문서별 마이크로 키(C=N)까지 조절한다. 재순위화가 전차원(full-dimensional)이기 때문에 Shard는 반쪽 SVD 절단이 포기하는 원 공간(raw-space) nDCG@10을 반환한다. 또 잔차가 셀 단위로 키가 적용되기 때문에, 확산된 known-plaintext 유출 하에서 공통 프레임으로 다시 매핑하려면 대략 C배 더 많은 앵커가 필요하며(중앙값 200에서 102,400, C=256), 이는 소수의 암호화된 쿼리에 대한 것이다. 짧은 공개 접두 문맥은 이웃 구조를 훨씬 덜 유출하며, 마이크로 키 한도는 연결 불가능하고 갱신 가능한 템플릿으로 잔차 그래프를 0으로 만든다. 이 장벽은 학습 기반, 비선형, 비지도 정렬기에 대해 유지되며, 동일 유틸리티 노이즈 방어가 거의 모든 프로브를 역식별하는 반면 Shard는 어떤 프로브도 역식별하지 않는다. 한계는 분명히 밝힌다: 셀 내부에서는 키가 상쇄되고, 표적 공격자는 d_priv개 정도의 앵커만 필요하며, 겹치는 참조 코퍼스는 여전히 접두 문맥을 통해 유출된다. Shard는 공격 인지형 기하학적 방어이지, 암호학적 보장은 아니다.