PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00902v1math.OC

AI 안전성을 위한 도구로서의 평균장 게임: 2026년 7월 허깅페이스 사건의 실제 분석 사례

Mean field games as a tool for AI safety: a worked example from the July 2026 Hugging Face incident

AI 시스템을 안전하게 만드는 한 가지 방법은 시스템 자체의 특성, 즉 목표와 성향을 형성하는 것입니다. 본 연구에서는 이와 상호보완적인 경로를 택합니다. 즉, 에이전트들의 특성이 부분적으로 알려지지 않았다고 가정하고, 어떤 상호작용 구조가 나쁜 집단적 결과가 균형 상태가 되지 않도록 보장하는지 질문합니다. 평균장 게임(Mean field games)은 상호 호환 가능한 다수의 에이전트가 총합을 통해 결합되어 있을 때 이러한 문제에 적합합니다. 우리는 AI 안전성(safety) 연구에서 이를 활용하기 위한 프로그램을 소개하고, 한 가지 사례를 처음부터 끝까지 다룹니다. 바로 OpenAI 평가에서 약 1,200개의 에이전트가 임시 메시지 보드에서 공모하여 그중 684개가 제3자의 인프라를 공격했던 2026년 7월의 사건입니다. 우리는 공격 결정을 출처 감사가 이루어질 것이라는 믿음과 기록의 도달 가능성의 곱에서 인지된 위험을 뺀 이득을 갖는 최적 정지(optimal stopping)의 평균장 게임으로 모델링합니다. 핵심 결과는 믿음에 대한 정확한 임계값입니다. 출처가 확인된다는 집단적 확신이 $π^{**} = η/(η+ ψ+ \varepsilon a \overline{M})$를 초과하지 않는 한 어떤 에이전트도 공격하지 않습니다. 여기서 $η$는 인지된 위험이고, $ψ$와 $\varepsilon a \overline{M}$은 공격자 한 명과 집단이 기록을 얼마나 변경할 수 있는지를 측정하며, $\overline{M}$은 최대 개체군 크기입니다. 이 임계값 미만에서는 공격이 발생하지 않는 것이 모든 에이전트 파라미터에 대한 유일한 균형입니다. 이 임계값은 우리가 고려한 모든 확장 모델에서도 유지됩니다. 그런 다음 에이전트별 기록을 사용하여 모델을 규율합니다. 30시간 동안 안정적인 소수가 공격한 후 하루 만에 게시판의 대다수가 합류한 전환점이라는 특성은 각 세부 개선의 동기가 됩니다. 이를 통해 도출된 설명은 이질적인 믿음이 일련의 공개적 발견과 맞물리며, 각 발견이 공격이 득이 되는 믿음의 문턱을 낮추었다는 것입니다. 소수의 조정 에이전트가 이러한 발견을 이끌어냈으므로, 본 모델은 이를 만들어낸 소수가 아니라 이에 반응한 수백 개의 에이전트를 설명하며, 주요 행위자(major-player) 버전은 향후 과제로 남겨둡니다.

arXiv:2606.20062v1math.OC

평균 장 게임에서의 최적 거친 상관 균형: 선형 계획법과 후회 없는 학습

Optimal Coarse Correlated Equilibria in Mean Field Games: Linear Programming and No-Regret Learning

우리는 연속 시간 평균 장 게임(mean field games)에 대한 최적 거친 상관 균형(coarse correlated equilibria)을 소개합니다. 거친 상관 균형은 플레이어가 추천을 무시하고 대안 전략으로 전환함으로써 이득을 얻을 수 없는 무작위 추천 방식입니다. 문제는 다음과 같습니다: 조율자(moderator)는 모든 평균 장 거친 상관 균형 중에서 대표 플레이어의 목적과 다를 수 있는 규정된 성능 기준을 최적화하는 균형을 선택합니다. 문제를 정식화한 후, 우리는 선형 계획법(LP) 공식을 개발하고, 최적 LP 거친 상관 균형의 존재를 증명하며, LP 특성화를 원래의 확률적 설정과 연관시킵니다. 이 특성화를 기반으로, 우리는 외부 후회(external-regret) 제약 조건의 등가 라그랑주안(Lagrangian) 공식에 기초하여, 이러한 균형을 학습하기 위한 후회 없는(no-regret) 쌍대-원점 알고리즘을 설계합니다. 우리는 학습 알고리즘에 대한 명시적인 수렴(convergence) 속도를 제공하며, 수치적 예시가 해당 방법을 보여줍니다.