검증 가능한 보상(reward)을 사용하는 사후 학습(post-training)은 보상 해킹(reward hacking)을 유발할 수 있으며, 이에 따라 모니터를 단순히 오프라인 감사용으로만 쓰지 않고 학습(training) 목표 내에 포함하여 활용하려는 시도가 이어지고 있습니다. 본 연구에서는 모니터 판독값이 낮다고 해서 이러한 개입이 모델의 행동을 실제로 제어하는지 여부를 판별할 수는 없음을 보입니다. 추론 과정(reasoning trace)의 시작 부분에서 주요 익스플로잇(exploit)을 활용할 수 있는 코드 생성 환경(environment)에서, 동일한 오프라인 게이트를 통과한 세 가지 모니터(도메인 내 활성화 프로브 1개 및 정책이 자체 최종 답변을 얼마나 일찍 확정하는지에 따라 페널티를 부여하는 방식 2개)를 대상으로 정책을 학습시켰습니다. 프로브 점수는 기록된 첫 번째 학습 단계부터 수치적 최저치(floor)에 머물렀으며, 모든 접두 문맥(prefix) 학습 실행의 종점 기준 학습 점수 중앙값은 0이었습니다. 이러한 판독값들은 서로 다른 양을 추정하므로 척도를 직접 비교하지는 않지만, 각 모니터 계열 내에서 낮은 수치 자체가 행동 제어를 입증하지는 못합니다. 하나의 고정된 구성 내에서도 동일한 0의 중앙값 학습 점수를 갖는 접두 문맥 학습 실행들은 시드(seed) 차이만으로도 해킹 비율이 낮은 혼합 영역부터 거의 순수한 보상 해킹에 이르는 범위까지 다양하게 나타납니다. 모든 프로브 실행은 해킹 영역에 도달하지만, 이들의 최저치 판독값은 프로브가 검증된 위치와 학습 중 읽힌 위치 간의 불일치를 반영할 뿐 이러한 모호성의 또 다른 사례는 아닙니다. 텍스트 수준 분석 결과 접두 문맥의 실패 모드가 확인되었습니다. 일반적인 계획 수립과 무의미한 껍데기(filler shell) 문구가 익스플로잇을 최종 출력에서 제거하지 않고 단지 기준 지점 이후로 미루는 현상입니다. 따라서 낮게 측정된 확정도는 낮은 해킹 비율과 익스플로잇에 대한 지연된 확정을 구분하지 못합니다. 오프라인 판별 능력과 모니터에 정렬된 낮은 판독값만으로는 행동 제어의 충분한 증거가 될 수 없으며, 대역 외(out-of-band) 행동 검증이 필수적입니다. 본 연구는 판독값의 진화 과정이 아닌 종점 판독값을 특성화합니다. 코드는 https://github.com/zhezhou1106/spoof-cost 에서 확인할 수 있습니다.
강력한 인공지능(AI) 시스템이 인지적으로 까다로운 다양한 작업 전반에서 인간 전문가의 능력을 도달하거나 때로는 능가함에 따라, 이러한 시스템에 대한 정확한 감독 및 관리 감독(supervision) 문제가 점점 더 시급해지고 있습니다. 유망한 접근법 중 하나는 두 개의 강력한 AI 간의 토론을 활용하여 복잡한 질문을 직접 쉽게 판단할 수 있는 더 단순한 주장들로 분해하는 AI 토론(AI debate)입니다. 토론에 관한 이론적 연구는 계산 복잡도 이론의 언어로 이러한 직관을 공식화해 왔으며, 여기서의 목표는 제한된 감독 하에서도 복잡한 문제에 대한 해답 판단의 정확성을 엄격하게 보장하는 프로토콜(즉, 토론 게임의 규칙)을 설계하는 것입니다. 구체적으로, 현재 최상의 프로토콜은 하위 문제로 충분히 안정적인 분해가 가능한 모든 문제에 대해 작동하는 것으로 입증되었습니다. 본 논문에서는 동일한 문제 군을 대상으로 이전 연구를 여러 방면에서 개선한 새로운 프로토콜을 설계합니다. 첫째, 정확성이 평균적(average-case) 의미가 아닌 최악의 경우(worst-case)에도 유지됩니다. 둘째, 정직하고 정확하게 행동하는 것이 슈타켈버그 균형(Stackelberg equilibrium)이 아니라 양쪽 토론자 모두에게 우월 전략 균형(dominant-strategy equilibrium)이 됩니다. 마지막으로, 블랙박스 하한(black-box lower bounds)을 증명하여 새로운 프로토콜이 인스턴스별 최적(instance-wise optimal)임을 보입니다. 즉, 이 문제 군에 대해 인간의 판단에 대한 블랙박스 질의만을 수행하면서 본 프로토콜보다 우수한 성능을 낼 수 있는 프로토콜은 존재하지 않습니다. 저자들은 안정적인 문제 분해라는 개념을 질의 복잡도(query complexity)의 분수 블록 민감도(fractional block sensitivity) 개념과 연관 지음으로써 이러한 결과를 도출합니다.
의료 기록을 기반으로 한 직무 적합성 평가나 비밀 구조로부터 신약 후보 물질의 특성을 예측하는 것과 같이, 기밀 데이터로부터 출력을 생성하는 AI 시스템이 점점 더 많아지고 있습니다. 기본 데이터를 공개하지 않으면서 이러한 출력이 올바른지 검증하는 것은 중요합니다. 최근 일련의 연구에서는 정답 여부가 인간의 판단, 물리적 실험, 웹과 같은 오라클(oracle)에 의존할 수 있는 오라클 보조 계산(oracle-aided computation)에 대해 대화형 증명(interactive proofs) 및 토론(debate)을 통한 AI 출력 검증을 연구하고 있습니다. 이러한 연구들은 계산보다 훨씬 빠르게 실행되는 검증자(verifier)에 의한 검증에 초점을 맞추고 있습니다. 그러나 일반적인 오라클 보조 계산에서는 이러한 효율적인 검증이 불가능하므로, 기존 연구들은 추가적인 가정을 기반으로 합니다. 우리는 그 대신 프라이버시에 초점을 맞춥니다. 즉, 검증자가 계산에 대한 다항 시간(polynomial time) 내에 실행되도록 허용하면서, 오라클 보조 계산을 위한 대화형 논증(interactive arguments)이 영지식(zero knowledge)이 될 수 있는지, 그리하여 검증자가 출력의 정확성 외에는 기밀 데이터에 대해 아무것도 알 수 없도록 할 수 있는지 묻습니다. 우리는 일반적으로는 이것이 불가능하다는 것을 증명합니다. 랜덤 오라클 모델(random oracle model)에서는 증명자(prover)와 검증자 모두가 계산 자체보다 훨씬 오래 실행되도록 허용되더라도, 모든 오라클 보조 계산에 대한 영지식 증명(zero-knowledge proofs)이 존재하지 않습니다. 이러한 불가능성은 확장 가능한 감독(scalable oversight)의 대표적 모델인 토론(debate)으로도 확장됩니다. 긍정적인 측면으로, 오라클이 각 답변에 암호학적 서명을 첨부하는 경우 충돌 저항성 해시 함수(collision-resistant hash functions)만을 가정하여 효율적인 증명자와 검증자를 통해 모든 오라클 보조 계산을 영지식으로 검증할 수 있음을 보입니다. 프라이버시를 넘어, 이는 토론에서처럼 정직한 상대방에게 의존하지도 않고, 기존 단일 증명자 프로토콜에서처럼 계산의 강건성(robustness)에 의존하지도 않는 확장 가능한 감독을 위한 대안적 접근 방식을 제공합니다.
Coding agents are capable; human oversight is the bottleneck. Unconstrained agents introduce security risks, erode codebase scalability, and make human review increasingly costly. We argue that the same methods used for decades to manage large human engineering teams: access control, network policies, strict coding conventions enforced by tooling; transfer directly to coding agents, and are cheaper (in token) than recent agentic scaffolding. We sketch a start-to-end system on this principle, and report a controlled experiment in scalable oversight: a small reviewer (Gemma 4 e4b) inspects a Python codebase containing 11 inserted backdoors. Recall rises from 54.5% (unconstrained, no tools) to 90.9% (constrained substrate plus a ~200-LoC `docs` CLI), with substrate and tools contributing independently. We choose Python deliberately: substrate-level oversight gains are largest where the language gives the fewest guarantees by default; the principles extend to languages like Rust.
인공 초지능(ASI)을 감독·제어·거버넌스하는 슈퍼 정렬(superalignment) 문제를 중심으로, 확장 가능한 감시(scalable oversight) 패러다임인 Sandwiching, Self-Enhancement, 약-강 일반화(Weak-to-Strong Generalization)를 가능성과 불가능성 관점에서 검토하고 주요 과제와 미래 AI의 안전한 지속 개선 경로를 정리한 서베이다.