arXiv:2610.00132v1 cs.CR

인지적 연속성 테스트: 지속적 AI 에이전트의 통제된 상태 전이 검증

The Cognitive Continuity Test: Verifying Governed State Transitions in Persistent AI Agents

Jun He, Deying Yu

제출 2026-09-09

저자 비고

arXiv Comments

17 pages, 2 figures, 3 tables. Includes formal proofs, transition taxonomy, and benchmark schema appendices. Reference verifier and reproducible evaluation artifacts available at https://github.com/openkedge/cctbench

한국어 초록

지속적 AI 에이전트(persistent AI agent)는 신념을 수정하고, 메모리를 통합하며, 실행 기저를 교체합니다. 서로 다른 권한이 부여된 전이 주장에도 유사한 후속 상태가 수반될 수 있는 반면, 정당한 발전 과정에서도 상태가 크게 변경될 수 있습니다. 본 논문에서는 범위가 지정된 권한, 출처(provenance), 결정론적 적용, 의미론적 술어(semantic predicates), 후보-지속성 영수증을 사용하여 제출된 전이를 검증하는 정책 상대적 계약인 인지적 연속성 테스트(Cognitive Continuity Test, CCT)를 소개합니다. CCT는 검증된 허용 가능성, 적극적 위반, 미해결된 필수 증거를 구분합니다. 분리 결과는 실시간 런타임 식별성이 아닌 전이 주장과 관련되며, 건전성(soundness)은 지정된 검사기 및 평가자 가정에 조건부로 종속됩니다. IdentityLineageBench는 24개의 생성된 전이 패밀리를 제공합니다. 참조 사후 해결 검증기는 576개의 표준 홀드아웃 라벨 모두와 일치하는 반면, 어휘적 상태 유사도 및 계보 전용 진단 기준선(baseline)은 유효하지 않은 픽스처의 60.0% 및 80.0%를 허용합니다. 이러한 비교는 정책 인식 배포 시스템에 대한 우월성이 아닌 합성 적합성을 입증합니다. 서명된 적대적 회귀는 조작된 상호작용 횟수, 근거 없는 신념 변화, 누락되거나 모순된 증거의 혼합을 다룹니다. SIT 동작 및 실제 모델(model) 마이그레이션은 측정되지 않은 상태로 남아 있습니다. 18,000회 실행의 유효 경로 연구에서는 상주 입력에 대해 기본 중앙값 6.21 ms를 측정합니다. 본 연구는 배포에 필요한 추가적인 활성화 및 복구 의무를 명시합니다.

원문 초록

Persistent AI agents revise beliefs, consolidate memory, and replace execution substrates. Similar successor states can accompany differently authorized transition claims, while legitimate development can change state substantially. We introduce the Cognitive Continuity Test (CCT), a policy-relative contract for verifying submitted transitions using scoped authority, provenance, deterministic application, semantic predicates, and candidate-persistence receipts. CCT distinguishes verified admissibility, affirmative violation, and unresolved required evidence. Separation results concern transition claims rather than live runtime identity; soundness is conditional on the specified checker and evaluator assumptions. IdentityLineageBench provides 24 generated transition families. The reference post-resolution verifier matches all 576 canonical held-out labels; lexical state similarity and a lineage-only diagnostic baseline admit 60.0% and 80.0% of invalid fixtures. These comparisons establish synthetic conformance, not superiority to a policy-aware deployed system. Signed adversarial regressions cover fabricated interaction counts, unsupported belief changes, and mixed missing/contradictory evidence. SIT behavior and actual model migration remain unmeasured. An 18,000-execution valid-path study measures a 6.21 ms default median on resident inputs. We specify the additional activation and recovery obligations needed for deployment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00132v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10597v1cs.CR공통 태그 Benchmarking, Adversarial Robustness

인증된 오염 예산: 적응형 조작 하에서 상시 유효한 리더보드 주장

Certified Corruption Budgets: Anytime-Valid Leaderboard Claims under Adaptive Rigging

AI 모델을 위한 공개 리더보드는 지속적으로 열람되며, 공격자는 공개된 모든 순위를 확인할 수 있다. 투표 조작, 비공개 변형 모델의 선택적 공개, 벤치마크 오염은 각각 순위를 뒤흔들 수 있다. 기존의 보증 방식은 기록이 조작되지 않았다고 가정하거나 단계별 오염 정도를 제한하는데, 이는 일시적으로 대량 오염을 가하는 공격자에게 무력화된다. 본 연구에서는 $t$개의 기록 이후 계산되어 각 쌍대 비교 주장과 함께 공개되는 허용 오차인 인증된 오염 예산(certified corruption budget) $\widehat{B}_t$를 제안한다. 최소 $1-α$의 확률로 모든 시점에서 동시에, 해당 주장이 정확하거나 또는 $\widehat{B}_t$개를 초과하는 기록이 오염되었음이 보장된다. 이는 예산 제한 없이 모든 인증서를 모니터링하는 공격자를 상대로도 성립한다. 위조된 기록과 확인 후 변경된 기록은 서로 다른 인증서를 필요로 한다. 위조 기록용 인증서는 이미 확인한 투표를 뒤집는 공격자에게 1에 수렴하는 확률로 실패하는 반면, 기록당 약 두 배의 비용을 부과하는 인증서는 미래를 내다보는 공격자를 상대로도 일정한 배팅을 통해 유효성을 유지하며, 모든 수준에서 이보다 더 적은 비용 부과는 성립하지 않는다. 인증된 예산은 유효한 모든 방법이 허용하는 한계에 가깝게 증가한다. 승률이 $\frac{1}{2}+δ$일 때, 각 신규 기록은 주장이 견뎌낼 수 있는 위조 기록 수에 거의 $2δ$만큼($δ$ 뒤집힘)을 추가한다. $V$개의 비공개 변형 중 최적 모델을 공개하는 데 드는 비용은 $\log V$ 수준으로만 증가한다. 180만 건의 Chatbot Arena 투표를 재현한 실험에서, 수백 건의 조작된 투표만으로도 표준 신뢰 구간은 잘못된 순위를 인증해 버린 반면, 제안 기법은 유효성을 유지했다. 실제 투표 데이터에서 본 인증서는 명확히 분리된 모델들이 약 2,000건의 위조 투표를 견뎌낼 수 있음을 보여준다.

arXiv:2610.10899v1cs.LG공통 태그 Benchmarking, Adversarial Robustness

음성 품질 지표는 얼마나 해킹에 취약한가? 수정된 프로토콜, 벤치마크, 그리고 패치 적용의 실효성

How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys

음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.

arXiv:2610.11087v1cs.AI공통 태그 Benchmarking, Adversarial Robustness

모방을 넘어서: LLM 지원 피어 리뷰를 위한 프레임워크와 벤치마크

Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review

과학 출판물의 급속한 증가는 특히 머신러닝 분야에서 피어 리뷰(peer review)에 부담을 가중시켰으며, 이는 리뷰 품질 저하와 리뷰어 업무량 증가에 대한 우려를 낳고 있다. 대규모 언어 모델(LLM)이 자동화된 리뷰 보조 도구로 제안되어 왔지만, 그 평가는 피어 리뷰의 핵심 기능을 지원하는 것보다는 인간이 작성한 리뷰를 모방하는 데 주로 초점을 맞춰왔다. 본 연구에서는 오류 탐지를 중요하고 자원 집약적인 과제로 강조하며, LLM 지원 피어 리뷰에 대한 검증 중심의 관점을 제시한다. 우리는 학술대회 논문에 오류를 합성적으로 삽입하여 구축한, 리뷰 시스템의 논리적 모순 식별 능력을 평가하는 확장 가능한 벤치마크를 제시하며, 이는 명확한 평가 목표를 제공하고 체계적인 비교를 가능하게 한다. 또한 우리는 리뷰 생성에 앞서 원고에 대한 상세한 이해를 우선시하는 다층 리뷰(Multi-Layered Review, MLR) 프레임워크를 제안하며, 이는 인간의 리뷰 관행에 더 가깝게 부합하면서도 토큰 효율성을 향상시킨다. 전반적인 평가에서 우리의 접근법은 인간 리뷰 점수와의 높은 정합성을 보여주고, 높은 오류 탐지 성능을 달성하며, 리뷰어의 초점에 대한 상호 보완적인 관점을 제공한다. 이러한 개선은 기반 LLM의 선택과 시스템 설계 모두에 기인할 수 있다. 동시에, 우리는 적대적 조작(adversarial manipulation)에 대한 지속적인 취약성을 확인하였으며, 이는 자동화된 리뷰 시스템에서 강건성(robustness)이 필요함을 강조한다. 본 연구의 결과는 피어 리뷰 및 기타 중요한 과학적 워크플로우에서 LLM 기반 도구의 책임 있는 배포를 이끌기 위해 엄격하고 오류 중심적인 평가가 중요함을 보여준다.

arXiv:2609.35909v3cs.CR공통 태그 Benchmarking, Adversarial Robustness

가설 설정은 저렴하고 검증은 비싸다: 에이전트 기반 취약점 탐지의 방어 표면

Cheap to Hypothesize, Costly to Verify: The Defense Surface of Agentic Vulnerability Discovery

자율형 대규모 언어 모델(LLM) 에이전트(agent)는 취약점 탐지를 저장소 규모의 탐색으로 전환합니다. 이들은 수많은 취약점 가설을 생성하지만 한정된 예산 내에서는 그중 일부만을 검증할 수 있습니다. 본 연구에서는 자율형 취약점 탐지가 가설-검증 비대칭성을 보이며, 도달 가능성 분석, 실행 및 개념 증명(PoC) 구축을 통해 후보 가설을 검증하는 비용이 가설을 수립하는 비용보다 훨씬 크다는 점을 보입니다. 한정된 자원 예산 하에서 이는 자율 탐지를 자원 제약적 선택적 검증 과정으로 만들며, 나아가 검증에 드는 노력을 고유한 방어 표면으로 노출시킵니다. 본 논문에서는 검증 노력을 실제 취약점으로부터 분산시키는, 증명 가능하게 안전한 미끼를 삽입하는 RedHerring을 제시합니다. 각 미끼는 검증을 유도하는 CVE 유래 취약점 체인과 위험한 싱크(sink)에 도달할 수 없도록 유지하는 거짓 브리지(false bridge)를 결합합니다. 방어자는 비공개 인증서를 통해 이 특성을 효율적으로 검증할 수 있는 반면, 공개된 저장소로부터 동일한 사실을 밝혀내는 것은 계산적으로 어려운 문제를 해결해야 합니다. RedHerring은 나아가 각 미끼를 대상 저장소에 맞게 조정하여 일반적인 프로그램 로직처럼 읽히도록 합니다. 33개의 OSS-Fuzz 프로젝트, 70개의 평가(evaluation) 인스턴스, 동일한 예산 하의 5개 모델에 걸쳐 RedHerring은 탐지되는 실제 취약점을 38.7~60.4% 감소시킵니다. 궤적 분석 결과 에이전트는 완료 토큰(token)의 30.6~51.5%와 예상 실행 시간의 32.5~49.9%를 미끼를 검증하는 데 소비하는 것으로 나타나, RedHerring이 고정된 탐색 예산의 상당 부분을 미끼로 전환함을 보여줍니다. 미끼가 존재할 수 있음을 명시적으로 인지했을 때 에이전트는 탐색 전략을 조정하지만, 그럼에도 RedHerring은 정보를 인지한 기준선(baseline) 대비 발견된 취약점을 37.2% 감소시켜 미끼의 은닉 여부에 효과가 좌우되지 않음을 입증합니다.

arXiv:2610.02608v1cs.AI공통 태그 Benchmarking, Adversarial Robustness

시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다

Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.

arXiv:2610.02827v1cs.AI공통 태그 Benchmarking, Adversarial Robustness

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.