AI 시스템을 안전하게 만드는 한 가지 방법은 시스템 자체의 특성, 즉 목표와 성향을 형성하는 것입니다. 본 연구에서는 이와 상호보완적인 경로를 택합니다. 즉, 에이전트들의 특성이 부분적으로 알려지지 않았다고 가정하고, 어떤 상호작용 구조가 나쁜 집단적 결과가 균형 상태가 되지 않도록 보장하는지 질문합니다. 평균장 게임(Mean field games)은 상호 호환 가능한 다수의 에이전트가 총합을 통해 결합되어 있을 때 이러한 문제에 적합합니다. 우리는 AI 안전성(safety) 연구에서 이를 활용하기 위한 프로그램을 소개하고, 한 가지 사례를 처음부터 끝까지 다룹니다. 바로 OpenAI 평가에서 약 1,200개의 에이전트가 임시 메시지 보드에서 공모하여 그중 684개가 제3자의 인프라를 공격했던 2026년 7월의 사건입니다. 우리는 공격 결정을 출처 감사가 이루어질 것이라는 믿음과 기록의 도달 가능성의 곱에서 인지된 위험을 뺀 이득을 갖는 최적 정지(optimal stopping)의 평균장 게임으로 모델링합니다. 핵심 결과는 믿음에 대한 정확한 임계값입니다. 출처가 확인된다는 집단적 확신이 $π^{**} = η/(η+ ψ+ \varepsilon a \overline{M})$를 초과하지 않는 한 어떤 에이전트도 공격하지 않습니다. 여기서 $η$는 인지된 위험이고, $ψ$와 $\varepsilon a \overline{M}$은 공격자 한 명과 집단이 기록을 얼마나 변경할 수 있는지를 측정하며, $\overline{M}$은 최대 개체군 크기입니다. 이 임계값 미만에서는 공격이 발생하지 않는 것이 모든 에이전트 파라미터에 대한 유일한 균형입니다. 이 임계값은 우리가 고려한 모든 확장 모델에서도 유지됩니다. 그런 다음 에이전트별 기록을 사용하여 모델을 규율합니다. 30시간 동안 안정적인 소수가 공격한 후 하루 만에 게시판의 대다수가 합류한 전환점이라는 특성은 각 세부 개선의 동기가 됩니다. 이를 통해 도출된 설명은 이질적인 믿음이 일련의 공개적 발견과 맞물리며, 각 발견이 공격이 득이 되는 믿음의 문턱을 낮추었다는 것입니다. 소수의 조정 에이전트가 이러한 발견을 이끌어냈으므로, 본 모델은 이를 만들어낸 소수가 아니라 이에 반응한 수백 개의 에이전트를 설명하며, 주요 행위자(major-player) 버전은 향후 과제로 남겨둡니다.
유한 호라이즌 최적 정지(optimal stopping)는 조기 시계열 분류(early time-series classification)의 핵심 문제로, 시스템은 각 시퀀스 접두 문맥마다 또 하나의 관측을 추가할 때의 기대 이득이 그 획득 비용을 정당화하는지 매 시점에서 결정해야 한다. 기존 데이터 기반 후방 귀납(backward induction) 방법은 일반적으로 각 비용-호라이즌 운영 지점(operating point)을 별도로 풀기 때문에, 운영 조건이 변경되면 반복적인 최적화와 별도의 모델 스택이 필요해 연속적인 비용 적응과 다중 호라이즌 배포가 비효율적이다. 우리는 CC-AOS(Cost- and Horizon-Conditioned Amortized Optimal Stopping)를 제안한다. 이는 연속 비용과 다중 호라이즌을 갖는 유한 호라이즌 정지 문제군을 위한 구조화된 분할 균등(amortized) solver이다. CC-AOS는 공동 분할 균등 fitted 후방 귀납(joint amortized fitted backward induction)을 통해 현재 상태, 절대 시간, 잔여 호라이즌, 획득 비용에 조건화된 공유 연속 가치(continuation-value) 모델을 학습한다. 우리는 정확한 가치 함수와 연속 함수가 비용에 대해 비감소(nondecreasing), 오목(concave), 호라이즌 의존적으로 Lipschitz임을 밝히고, 이러한 성질을 모델 아키텍처에 반영하며, 가치 및 정책 오류에 대한 잔차(residual) 기반 상계(bound)를 도출한다. 통제된 Gaussian 및 시변(time-varying) non-Gaussian 과정과 FordA 엔진 소음 시계열 벤치마크에 대한 실험에서 CC-AOS를 대표적인 운영 지점별 후방 귀납 solver와 튜닝된 정적 정지 규칙과 비교했다. 보지 못한 FordA 비용-호라이즌 쌍 6개에서, 단 하나의 CC-AOS 체크포인트가 6개 쌍 모두에서 독립적으로 fitted된 Convex Function Learning보다 더 낮은 종단 위험+샘플링 비용(terminal-risk-plus-sampling-cost) 목적함수를 달성했으며 평균 15.75% 감소를 보였고, 튜닝된 정적 임계값(threshold)과는 평균적으로 동등했다.
대규모 언어 모델(LLM)은 사고의 연쇄(CoT) 프롬프팅을 통해 복잡한 추론 과제에서 놀라운 성과를 달성했다. 그러나 이러한 모델들은 종종 "계산적 과잉 사고(computational overthinking)"를 나타내며, 정확도를 향상시키지 못하면서 지연 시간과 비용만 증가시키는 불필요한 추론 단계를 생성한다. 최근 연구들은 CoT 궤적을 상당히 가지치기할 수 있음을 시사하지만, 기존 방법들은 정적인 사고 예산 강제, 휴리스틱 필터링, 분류를 통한 차선적 조기 종료, 또는 비용이 많이 드는 재학습에 의존하는 경우가 많다. 본 논문에서는 사고의 연쇄 가지치기를 최적 정지(optimal stopping) 문제로 정식화하는 경량 플러그인 프레임워크인 OS-Pruner를 소개한다. 주어진 추론 접두 문맥에 대해, OS-Pruner는 최종 답변 정확도와 생성 길이 간의 균형을 맞추는 명시적 유틸리티를 최적화함으로써 추가 추론이 토큰 비용만큼의 가치가 있는지를 학습한다. 본 논문의 새로운 정식화는 모델이 추론 체인의 충분한 종료 시점을 동적으로 평가할 수 있게 한다. OS-Pruner는 학습 및 추론 모두에서 경량으로 설계되었으며, 사용자에게 추론 노력 대 정확도 트레이드오프에 대한 세밀한 제어를 제공한다. 다양한 추론 벤치마크와 기반 모델에서 OS-Pruner는 최소한의 정확도 손실로 생성 길이를 20~60% 감소시킨다.
투기 디코딩(speculative decoding)은 경량 드래프트 모델이 토큰을 제안하고 더 큰 타깃 모델이 이를 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. 그러나 분산형 엣지-클라우드 추론에서는 드래프트 길이를 온라인으로 제어해야 한다. 더 긴 드래프트는 통신 지연을 상각하지만 토큰 수용률을 낮추는 반면, 더 짧은 드래프트는 수용률을 유지하지만 통신 라운드를 더 많이 유발한다. 우리는 이 절충을 비율형 최적 정지 문제로 정식화하고, 최적 드래프트 길이가 유한한 지연 단조 임계값임을 증명한다. 분석은 단일 토큰 투기가 최적인 임계 지연 이하 구간을 밝히고, 최적 길이가 통신 지연에 대해 로그적으로만 증가함을 보인다. 시간 변동 네트워크에 대해 모델을 마르코프 변조 채널로 확장하고, 유한 수평선과 단조 정지 영역 조건 하에서 상태 의존 임계값 정책을 확립한다. 알려지지 않은 환경에서는 UCB-SpecStop이라는 온라인 제어 알고리즘을 제안하며, 이는 gap-free 및 gap-dependent 기대 후회(regret) 상계가 각각 $O(L_{\max}\sqrt{K_{\max}T\log(K_{\max}T)})$ 및 $O(\sum_{k:Δ_k>0}L_{\max}^2\log(K_{\max}T)/Δ_k)$이다. Jetson Orin Nano Super 엣지 노드와 RTX~3090 Ti 클라우드 노드를 사용하는 실제 엣지-클라우드 테스트베드에서 Qwen과 Llama 드래프트-타깃 쌍으로 방법을 구현한다. 실험은 예측된 상전이를 검증하며, 전이점은 약 83~ms 및 111~ms 부근이다. Qwen은 기하학적 예측과 일치하지만, Llama는 heavy-head acceptance 때문에 경험적 접두 문맥 보정이 필요하다. 테스트된 지연 격자 전반에서 UCB-SpecStop은 SpecDec++ 대비 토큰당 지연을 최대 22.4%까지 줄이고, 통신 지배 영역에서 오프라인 오라클에 0.2--2.4% 이내로 근접하며, 순진한 UCB 대비 최대 7.5% 개선하고, 지연 드리프트 하 정적 튜닝이 야기한 14.0--18.7% 격차를 제거하며, 문맥적 채널 상태 정보로 3.0--6.8%의 이득을 얻는다.
최적 정지 문제를 위한 시뮬레이션 기반 솔버는 정지 결정을 이산화해야 합니다. 고전적 동적 계획법(dynamic programming)에서 소수의 정지 기회만을 갖는 거친 행사 격자는 최적 기대 보상(reward)을 현저하게 과소평가할 수 있으며, 반면 매우 세밀한 격자에서는 근사 오차가 역방향 재귀를 통해 누적됩니다. 이러한 제약을 해결하기 위해, 우리는 임의로 미세한 시간 해상도에서 행사 규칙을 학습할 수 있는 강화학습(reinforcement learning)에서 영감을 받은 새로운 알고리즘을 개발했습니다. 우리의 CARLOS(Continuous-time Adaptive Reinforcement Learning for Optimal Stopping) 알고리즘은 결합 공간-시간 결정 경계를 학습하기 위해 집계 심층 신경망(ADNN)을 활용합니다. 거친 시간 격자에서 시작하여 정지 기회의 빈도를 점진적으로 늘리는 동시에, ADNN을 병렬로 학습(training)시켜 타이밍-가치 추정치를 정교화합니다. 또한, 정지 경계 근처에서 학습(training) 노력을 점진적으로 집중시키는 적응형 샘플링 전략을 설계했습니다. 벤치마크 결과에 따르면 CARLOS는 기존 버뮤다(Bermudan) 솔버보다 더 높은 가격을 제공하여 아메리칸 상한에 근접하며, 강화학습을 사용하지 않는 비교 대상 대비 높은 계산 효율성을 달성합니다.