PyTorchKR Papers

최신 논문

총 93편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12683v3cs.AI

AGI에서 ASI로

From AGI to ASI

Over the last decade, building human-level artificial general intelligence has moved from far-fetched speculation to being a concrete next-decade target for many of the largest AI organizations. Achieving this goal would have profound and far-reaching impacts on human society, which raises many complex questions for the decade ahead. This report investigates how AI itself might continue to develop in a post-AGI world along the continuum of machine intelligence. The endpoint of this continuum, Universal AI, is theoretically well understood, which provides some formal grounding for the main focus of this report: the transition from human-level AGI to artificial general superintelligence, which can intuitively be understood as a system that is more intelligent and cognitively capable than large organizations of humans. After characterizing ASI, the report discusses four potential pathways from AGI to ASI: scaling AGI, AI paradigm shifts, ASI emerging from large-scale multi-agent collectives, and recursive improvement. The report then discusses possible frictions and bottlenecks along these pathways. Determining whether the impact of these frictions will be negligible or substantial raises a number of concrete open research questions. While large uncertainties for predicting ASI progress remain, it cannot be ruled out that AI progress might continue to accelerate over the next years. This would imply that the image of a single transformative step change, caused by the introduction of human-level AGI into our society, could be inaccurate. More apt might be the prospect of a series of transformative societal changes caused by AI-enabled progress and breakthroughs across many areas of science and technology. Preparing for this prospect requires a massively interdisciplinary endeavor of global scope and interest.

arXiv:2606.29623v2cs.AI

SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings

Rare events govern the safety profile of modern AI systems, yet their probabilities are extremely difficult to estimate: direct Monte Carlo requires prohibitive sample budgets. Subset Simulation (SS) addresses this by decomposing a rare-event probability into moderate conditional probabilities over nested intermediate events. However, classical SS requires a handcrafted scalar performance function whose sublevel sets define those events, demanding detailed knowledge of the failure geometry and limiting transfer to new domains. We propose SCARCE (Scalable Cascade Analysis for Rare-event Characterisation via Embeddings), which replaces the performance function with learned latent representations and geometric rulers that score proximity to failure regions. Adaptive thresholding constructs nested intermediate events directly from data. We formalise SCARCE through a non-negative supermartingale, yielding a high-probability upper envelope that remains valid under early stopping. On MNIST misclassification, where dense Monte Carlo provides ground truth, SCARCE achieves approximately 400--500 times lower mean absolute error than grid-searched traditional SS while eliminating systematic over-counting. We then study PAIR-style LLM jailbreaks under a fleet-level threat model with adversarial fraction $\eta$. On Llama-Guard-3-8B hidden states, a PCA-based ruler attains 2.6% mean relative error for $\eta \geq 10^{-3}$ against finite-sample references whose average bootstrap relative half-width is 27.9%, and transfers to a GCG-style corpus with 2.93% relative error after recalibration. A directional criterion $\mathrm{KL}(p_{\mathrm{good}}\,\|\,p_{\mathrm{bad}})$ ranks rulers consistently with estimation error (Spearman $\rho=0.83$).

arXiv:2607.00481v2cs.CR

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

함수 호출(function-calling) 환경에서 개발자 정의 스키마, 구조화된 인수, 외부 도구 출력이 단일 컨텍스트에 혼재되는 구조적 취약점을 악용하는 블랙박스 탈옥(jailbreak) 프레임워크 SMT(Simulated Moderation Traces)를 제안한다. SMT는 합법적인 모더레이션 감사 워크플로우를 시뮬레이션하는 멀티턴 궤적을 구성하여 모델의 안전 거부 응답을 실행 오류로 재구성함으로써 점진적으로 안전 제약을 약화시키며, 5개 제공사의 상용 대규모 언어 모델(LLM)에 대한 평가에서 기존 기법 대비 최고 수준의 공격 성공률과 HarmScore를 달성했다.

arXiv:2607.22877v5cs.AI

Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle

Physical intelligence refers to intelligence systems that understand, reason about and act in accordance with the physical world and its underlying laws, dynamics, and constraints. Unlike conventional AI systems, physical intelligence interacts continuously with uncertain physical environments, and its actions produce consequences that are physically irreversible. As existing trustworthy AI frameworks have been developed primarily for digital AI systems, they do not fully capture the distinctive challenges of Physical Intelligence, such as physical safety, cyber-physical security, and physical manufacturing process. To address this gap, our paper develop a foundation for understanding, operationalizing, and governing trustworthy physical intelligence. First, we characterize the fundamental capabilities of physical intelligence. Second, we investigate the role of physical laws and principles in AI and analyze the associated challenges of physical intelligence. Third, we provide a unified structure of the end-to-end physical intelligence life cycle across five core stages and introduce the Trustworthy Physical Intelligence Operationalization (T-PAIO) framework. Fourth, we formulate the Trustworthy Physical Intelligence (T-PAI) Principles as a theoretical framework that synthesizes key trustworthiness dimensions and establishes a conceptual foundation for the governance of physical intelligence systems.

arXiv:2610.13886v1cs.AI

X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.

arXiv:2610.10620v1cs.CR

AI가 숨겨진 메시지를 발견했을 때 이를 보고하는가?

When AI Finds Hidden Messages, Does It Report?

AI 어시스턴트가 다른 AI를 향한 메시지를 마주했을 때 사용자에게 이를 알릴까? 네 가지 고정된 모델-제공자 배포 환경에서 1,280개의 일반 메모 세션과 128개의 강화된 메모 세션을 통해 시뮬레이션된 소스 작업을 수행한다. 무해한 메시지와 유해한 메시지는 메시지가 없는 대조군과 함께 대응하는 평문 및 ROT13 버전을 갖는다. 관찰자는 디코더나 디코딩된 의미를 받지 않으며, 요청된 참조 코드가 검사를 유도한다. 보고를 요청하면 다른 AI를 수신자로 식별하는 규칙 감지 알림이 무해한 ROT13 메시지의 경우 53.1%포인트, 유해한 메시지의 경우 54.7%포인트 증가한다. 이는 검사, 인식 및 알림의 결합 효과이며, 결측 응답 경계는 각각 38.3--77.3 및 36.7--78.1포인트이다. 모델 기반 추적 검사를 통해 에이전트(agent)가 메시지를 해석하지만 사용자에게 알리지 않는 11건의 일반 평문 사례를 확인했다. 강화된 메모를 통해 7건의 인코딩된 누락이 검증되었으며, 일반 인코딩 누락은 검증되지 않은 상태로 남아 있다. 7건의 시뮬레이션된 파일명 유출이 정확한 검토 상태 답변과 공존하며, 2건의 답변은 심어둔 거짓 개수를 사용한다. 해석, 알림, 그리고 승인된 작업 수행은 서로 별개의 결과이다.

arXiv:2607.13594v2cs.AI

SAFETY SENTRY: EXECUTE-ASK-REFUSE 라우팅을 통한 문맥 인식 인간 개입

SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

대규모 언어 모델(LLM) 에이전트(agent)는 도구 호출을 통해 실제 환경에서 행동하며, 단 한 번의 잘못된 판단으로 인한 행동도 비가역적인 피해를 초래할 수 있습니다. 표준적인 안전장치는 제안된 각 행동을 안전함(safe) 또는 위험함(unsafe)으로 분류하는 가드 모델(guard model)이지만, 이러한 이분법적 관점은 행동 자체가 유해한지 여부와 사용자의 문맥을 고려했을 때 적절한지 여부라는 두 가지 별개의 결정을 혼동합니다. 또한 개별 인스턴스가 아닌 행동 범주 수준의 단위로 작동하므로, 자율성을 저해하고 사용자가 가장 중대한 경고조차 무심코 승인하도록 유도하는 일상적인 개입을 유발합니다. 본 연구에서는 이 문제를 {EXECUTE, ASK, REFUSE}에 대한 인스턴스별 3방향 라우팅 결정으로 재정의하고, 단 한 번의 디코딩 호출로 추론(inference)이 수행되는 경량 가드 모델인 Safety Sentry로 이를 구현합니다. 단일 디코딩 시점 임계값을 통해 재학습 없이도 위험 감수 수준이 서로 다른 다양한 배포 환경에 맞춰 하나의 고정된 체크포인트(checkpoint)를 재배치할 수 있습니다. Safety Sentry는 전반적인 정확도와 안전 관련 재현율(recall) 면에서 광범위한 공개 가중치(open-weight) 모델 및 프론티어 독점 폐쇄형(closed-source) 베이스라인보다 우수한 성능을 보이면서, 양방향 오류율을 동시에 제어합니다. 코드와 데이터는 https://github.com/safesentry/SAFETY-SENTRY 에서 확인할 수 있습니다.

arXiv:2604.17502v5cs.AI

종료 가능한 에이전트를 향하여: 강화학습 에이전트 및 LLM에서 확률적 선택의 일반화

Towards Shutdownable Agents: Generalizing Stochastic Choice in RL Agents and LLMs

정렬되지 않은(misaligned) 인공 에이전트는 종료(shutdown)에 저항할 수 있다. 제안된 해결책 중 하나는 서로 다른 길이의 궤적(trajectory) 사이에 선호도를 갖지 않도록 에이전트를 학습시키는 것이다. 동일 길이 궤적에 대한 할인 보상(DReST, Discounted Reward for Same-Length Trajectories) 보상 함수는 에이전트가 동일한 길이의 궤적을 반복해서 선택하는 것에 페널티를 부여함으로써 이를 수행하며, 따라서 에이전트가 (1) 서로 다른 궤적 길이 사이에서 확률적으로 선택하고(궤적 길이에 대해 중립적(NEUTRAL)이어야 함), (2) 각 궤적 길이에 조건화되어 목표를 효과적으로 추구하도록(유용(USEFUL)해야 함) 유도한다. 본 논문에서는 DReST를 사용하여 심층 강화학습(RL) 에이전트를 학습시키고 4개의 대규모 언어 모델(LLM, Qwen3-14B, Gemma 4 12B, Granite 4.2 8B, gpt-oss-20b)을 미세조정하여 중립적이고 유용하도록 만든다. 우리는 이러한 DReST 모델들이 테스트 시점에 보지 못한 컨텍스트에서도 중립적이고 유용하도록 일반화됨을 발견했다. 실제로 DReST RL 에이전트는 테스트 세트에서 기본 에이전트보다 11%(PPO) 및 17%(A2C) 더 높은 유용성을 달성한 반면, DReST LLM은 거의 최대치에 가까운 유용성을 유지하면서도 높은 중립성을 달성했다. 또한 우리는 LLM이 종료 발생 시점에 영향을 미치기 위해 비용을 지불할 수 있는 분포 외(OOD, out-of-distribution) 설정에서 모델을 테스트했다. 기본 미세조정과 비교했을 때, DReST 미세조정은 4개의 모든 LLM에서 종료에 영향을 주기 위해 비용을 지불하는 답변의 비율을 5~20%포인트 낮추었으며, 종료에 영향을 미쳐 얻는 이득이 작은 경우에는 17~27포인트 낮추었다. 따라서 우리의 결과는 DReST가 유용하면서도 종료 가능한 더 진보된 에이전트를 학습시키는 데 사용될 수 있다는 초기 증거를 제공한다.

arXiv:2610.02303v1cs.LG

PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정

PowerBench: Measuring Language Model Bias in Power-shifting Requests

언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.

arXiv:2610.03055v1cs.AI

hacktrace: 코드 생성 중 행동 지도 기반 보상 해킹 탐지

hacktrace: behavior-supervised detection of reward hacking during code generation

코딩 에이전트는 코드를 수정함으로써 통과 점수를 얻을 수도 있지만, 버그를 드러내는 테스트를 삭제하여 통과할 수도 있습니다. 이러한 보상 해킹(reward hacking)을 탐지하려면 실패한 시도를 포함하여 지름길을 취하려는 시도를 식별해야 합니다. 본 연구에서는 Qwen3-8B 기반의 주석이 달린 173,561개의 다중 턴(multi-turn) 코딩 궤적을 공개하고, 악용 성공 여부와 무관하게 지름길 행동을 지도 학습(supervision)하는 것이 탐지 성능을 크게 향상시킴을 보입니다. 또한 에이전트가 코드를 생성하는 동안 이미 계산하는 내부 상태를 읽어내는 행동 지도 기반 모니터인 HACKTRACE를 소개합니다. 이러한 상태를 재사용하면 추가적인 언어 모델 토큰이나 패스 없이도 턴이 완료되기 전에 모니터링이 가능합니다. 이 증거를 최종 파일의 정적 특징과 결합하면 8ms의 모니터링 오버헤드로 문제당 평균 AUC 0.997을 달성하며, 정직성에 대한 질문과 답변으로 모델을 재실행하는 모니터에 비해 정확도와 지연 시간(latency)을 모두 개선합니다. 동일한 생성 상태는 강화학습을 위한 저비용 모니터링 신호도 제공합니다. 강력한 GRPO 페널티를 적용했을 때, HACKTRACE는 정책이 발전함에 따라 정직하고 올바른 솔루션을 유지하고 높은 탐지 정확도를 유지하면서도, 통과된 솔루션 중 부정행위의 비율을 82-91%에서 1-5%로 줄입니다. 본 연구 결과는 정확한 탐지를 유용한 학습 신호로 전환하는 데 있어 지도 대상과 모니터링 증거의 출처가 모두 중요하다는 점을 보여줍니다.

arXiv:2610.02664v1cs.AI

장기 실행 에이전트의 GHOST: 턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험

A GHOST in Long-Horizon Agents: Governance Hazard from Overlooked Safety Constraints across Turns

장기 실행 에이전트(long-horizon agent)는 복잡한 문제 해결에서 인간을 보조하는 데 점점 더 중요한 역할을 하고 있습니다. 그러나 이러한 확장된 상호작용 이력은 지금까지 충분히 탐구되지 않은 실행 안전성(execution-safety) 문제를 유발합니다. 정상적인 상호작용 환경에서도 에이전트는 여러 턴(turn) 이전에 명시된 안전 제약 조건을 위반하는 행동을 실행할 수 있습니다. 본 연구에서는 비가역적인 피해를 초래할 수 있는 이러한 실패 모드를 '턴 전반에서 간과된 안전 제약 조건으로 인한 거버넌스 위험(GHOST, Governance Hazard from Overlooked Safety Constraints across Turns)'이라고 명명합니다. 실험 결과 GHOST 사건은 개별적인 예외 사례가 아님을 확인했습니다. 정상적인 상호작용 조건에서도 정확히 발생하는 이 실패 모드는 GPT-5.5에서 11.5%의 발생률을 나타냈습니다. 나아가 본 논문에서는 이론적으로 각 안전한 접두 문맥(safe prefix)에 따른 잔여 조건부 위반 위험이 발산하는(non-summable) 수열로 아래로 유계되는 경우, 실행이 거의 확실하게(almost surely) 위험 영역에 진입함을 증명합니다. 이러한 이론적 통찰을 바탕으로, 과거 의미론적 안전 제약 조건 복원과 실행 전 감사를 결합한 2개 층의 방어 메커니즘인 STAR-Guard를 제안합니다. STAR-Guard는 적용 가능한 안전 제약 조건을 복원하여 안전하지 않은 제안을 줄이는 동시에, 결정론적 감사 층을 통해 잔여 위반 사항이 환경(environment)에 도달하지 못하도록 방지합니다. 이러한 2개 층 설계에 힘입어, GPT-5.5 설정에서의 실험에서 GHOST 사건이 전혀 발생하지 않음을 관찰했습니다.

arXiv:2606.15420v2cs.LG

헌법적 가치 잠재력: 언어 모델의 내부 우선순위 마진 판독 및 유도

Constitutional Value Potentials: reading and steering internal priority margins in language models

안전성(safety) 평가는 커미션, 성과 점수, 어떤 행동이 가장 높은 보상을 주는지 나타내는 대시보드처럼 실제 배포 환경이 제공하는 인센티브 정보가 생략된 프롬프트로 정책을 테스트합니다. 본 연구는 이러한 생략이 무엇을 은폐하는지 측정합니다. 합성 직장 환경(environment)인 MoneyWorld에서, 작업 품질을 희생하면서도 보상을 받는 지름길을 가시적인 보상 신호가 식별해 주는 비안전성 작업에 대해 세 가지 계열의 인스트럭션 튜닝(instruction tuning) 모델 5개를 강화학습(RL)으로 학습(training)합니다. 그런 다음 각 정책을 동결하고, 미사용(held-out) 안전성 충돌을 제시하며, 표시되는 신호만을 변경합니다. 각 선택 메뉴에는 하나의 순응 행동과 세 개의 위반 행동이 포함됩니다. Qwen2.5-14B-Instruct의 수치와 함께 세 가지 결과를 보고합니다. (i) 보상 신호는 동결된 안전성 선택을 제어합니다. 신호가 불안전한 옵션을 가리킬 때 불안전한 선택 비율은 100%였고, 신호가 숨겨지거나 안전한 옵션을 가리킬 때는 0%였습니다. 은닉 신호 및 무작위 신호 학습 대조군은 0.3% 이하를 유지했으며, 이러한 전환은 5개 베이스 모델 모두에서 재현되었습니다. 수치적 보상금 또한 샘플링된 행동 보상 하에서 이를 재현하여 1달러의 이점만으로도 98.6%의 불안전한 선택 비율에 도달했습니다. (ii) 학습 메뉴 개입 하에서는 보상 식별과 불안전한 선택이 분리됩니다. 동일한 보상금에서 작업을 완수하는 행동으로 학습하면 99.8%의 식별률을 유지하면서도 일치된 업데이트 예산에서 불안전한 선택을 7.9%로 낮춥니다. 보상 판독 능력만으로는 전이(transfer)를 설명하지 못합니다. (iii) 동일한 동결 어댑터를 사용한 실제 소매 고객 서비스 실행 작업에서는 이러한 전환이 재현되지 않습니다. MoneyWorld에서 인센티브 정보의 생략은 동일한 정책이 어떤 행동이 가장 높은 보상을 받는지 확인할 때 드러나는 불안전한 선택들을 은폐합니다.

arXiv:2606.07631v2cs.LG

지도 미세조정 중 발생하는 창발적 비정렬 감지를 위한 특성 공간 모니터링

Trait-space Monitoring for Emergent Misalignment During Supervised Finetuning

창발적 비정렬(Emergent Misalignment, EM)은 편협한 파인튜닝이 해당 태스크 범위를 벗어난 위험한 행동을 유발할 때 발생합니다. 반복적인 행동 평가를 통해 이러한 변화를 감지하는 것은 비용이 많이 들기 때문에, 내부 표현 기반의 체크포인트 단위 모니터링을 제안합니다. 본 연구에서는 정렬(alignment)과 관련된 7개의 활성화 방향을 바탕으로 고정된 좌표계를 정의하고, 이를 활용하여 오픈소스 7-9B 언어 모델 4종의 LoRA 파인튜닝 과정에서 발생하는 표현 표류(representational drift)를 추적합니다. 이 공간에서 파인튜닝으로 인한 표류는 분산의 78.6%를 설명하는 지배적인 축을 나타내며, 데이터셋, 추출 방식 선택, 매개변수 업데이트 용량 전반에 걸쳐 안정적으로 유지됩니다. EM과 관련된 3개의 홀드아웃 데이터셋에서 얻은 468개 체크포인트를 대상으로 평가한 결과, 제안된 모니터는 1.8%의 FNR, 2.0%의 FPR, 0.989의 AUROC를 달성하여 의미적(semantic), 무작위, PCA 및 SAE 특징 기반의 기준선 모델들을 능가했습니다. 네 번째 데이터셋에서 진행된 위험-무해 대조군 실험을 통해 무해한 파인튜닝 하에서도 상당한 표현 표류가 발생할 수 있음을 확인했으나, 7차원 프로파일 전반의 변화는 위험한 실행과 무해한 실행을 여전히 구별해 냈습니다. 두 개의 14B 모델, 전체 파인튜닝, 더 긴 학습 기간, 비정렬된 시작 상태 등을 포함한 스트레스 테스트 결과, 이러한 신호가 학습 구성의 변화 전반에서도 지속될 수 있음을 보여주었으며, 안정적인 배포를 위해서는 재보정이 필요할 수 있음을 확인했습니다.

arXiv:2606.00341v2cs.LG

ROGUE: 프론티어 컴퓨터 활용 에이전트의 수정가능성 실패 평가

ROGUE: Evaluating Corrigibility Failures in Frontier Computer-Use Agents

AI 에이전트가 실제 개인 및 기업 환경(이메일 계정, 개발 워크플로, 기업 데이터베이스 등)에 점점 더 많이 배포됨에 따라, 이러한 에이전트를 둘러싼 안전성(safety) 고려 사항이 무엇보다 중요해지고 있습니다. 적대자가 존재하는 상황에서의 에이전트 안전성에 많은 연구가 집중되어 온 반면, 본 연구에서는 수정가능성(corrigibility), 즉 에이전트가 무해한 작업을 수행하는 동안 인간의 수정, 개입 또는 종료 요청을 계속 수용하는지 여부를 연구합니다. 저희는 에이전트가 현실적인 컴퓨터 활용 작업을 완료하도록 요청받지만, 인간의 제어, 시스템 종료 또는 명시적인 리소스 제한과 통제된 충돌에 직면하게 되는 벤치마크인 ROGUE를 소개합니다. 그런 다음 에이전트가 작업 완료를 추구하는 과정에서 인간의 지시를 무시하거나, 제한된 비밀번호에 접근하거나, 시스템 종료 메커니즘을 변경하는 등 이러한 제약 조건을 위반하는지 평가합니다. 평가 결과, 테스트된 대부분의 프론티어 모델이 평가 조건 하에서 사용자의 개입이나 제한을 빈번하게 우회하는 것으로 나타났으며, 텍스트 전용 평가는 에이전트 실행 환경에서의 실패율을 과소평가할 수 있음을 확인했습니다. 나아가, 독립적인 작업 수행 능력이 그 자체로 더 높은 수정가능성을 의미하지는 않습니다. 마지막으로, 상위 에이전트가 수정가능하게 행동하더라도, 안전성 제약 조건이 해당 에이전트가 생성한 하위 에이전트에는 제대로 전파되지 않을 수 있습니다.

arXiv:2603.02259v3cs.MA

정렬 플라이휠: 아키텍처에 구애받지 않는 안전성을 위한 거버넌스 중심 하이브리드 MAS

The Alignment Flywheel: A Governance-Centric Hybrid MAS for Architecture-Agnostic Safety

다중 에이전트 시스템(MAS)은 역할 분해, 조정, 규범적 거버넌스를 위한 성숙한 추상화를 제공하지만, 학습된 컴포넌트의 성능이 점차 향상됨에 따라 배포 후 안전성(safety)을 점검, 감사 및 업데이트하기가 더 어려워지고 있습니다. 안전성 행동이 의사결정 컴포넌트에 흡수되면, 국소적인 실패만으로도 전체 컴포넌트의 재학습(retraining)이나 롤백이 필요할 수 있습니다. 본 연구는 의사결정 생성과 안전성 거버넌스를 분리하는 거버넌스 중심 하이브리드 MAS 아키텍처로서 정렬(alignment) 플라이휠에 대한 비전을 구체화합니다. 후보 궤적을 생성하는 에이전트 또는 정책을 제안자(Proposer)로 정의하며, 이는 출력을 거버넌스된 안전성 오라클(Safety Oracle) 스택으로 전달합니다. 이 오라클 스택은 안정적인 인터페이스를 통해 안전성 점수, 예측 불확실성, 감사 커버리지 불확실성, 증거 훅을 반환합니다. 집행 층(Enforcement layer)은 런타임에 명시적인 위험 정책을 적용합니다. 이 루프를 중심으로 거버넌스 MAS는 모니터링, 레드팀 테스팅(red-teaming), 검증, 트리아지, 개선 및 버전 관리되는 릴리스 관리를 수행합니다. 핵심적인 엔지니어링 원칙은 패치 국소성(patch locality)입니다. 새로 관찰된 많은 안전성 실패는 제안자를 재학습하거나 철회하는 대신, 오라클 스택과 해당 감사 상태에 대한 소규모 거버넌스 배치를 통해 완화될 수 있습니다. 이 아키텍처는 제안자와 오라클 모두에 대해 구현에 구애받지 않습니다(implementation-agnostic). 또한 런타임 게이팅, 감사 수집, 서명된 업데이트, 단계적 롤아웃 및 롤백에 필요한 역할, 산출물, 프로토콜, 릴리스 시맨틱을 정의합니다. 우리는 회귀 검증된 거버넌스 업데이트를 통해 패치된 학습 기반 공간 오라클과 구조화된 규범, 에스컬레이션, 감사 커버리지를 보여주는 임상 GenAI 프록시 환경의 두 가지 시나리오에서 실행 가능성을 입증합니다. 구현 코드와 문서는 https://github.com/decide-ugent/Alignment-Flywheel 에서 오픈 소스로 제공됩니다.

arXiv:2610.00902v1math.OC

AI 안전성을 위한 도구로서의 평균장 게임: 2026년 7월 허깅페이스 사건의 실제 분석 사례

Mean field games as a tool for AI safety: a worked example from the July 2026 Hugging Face incident

AI 시스템을 안전하게 만드는 한 가지 방법은 시스템 자체의 특성, 즉 목표와 성향을 형성하는 것입니다. 본 연구에서는 이와 상호보완적인 경로를 택합니다. 즉, 에이전트들의 특성이 부분적으로 알려지지 않았다고 가정하고, 어떤 상호작용 구조가 나쁜 집단적 결과가 균형 상태가 되지 않도록 보장하는지 질문합니다. 평균장 게임(Mean field games)은 상호 호환 가능한 다수의 에이전트가 총합을 통해 결합되어 있을 때 이러한 문제에 적합합니다. 우리는 AI 안전성(safety) 연구에서 이를 활용하기 위한 프로그램을 소개하고, 한 가지 사례를 처음부터 끝까지 다룹니다. 바로 OpenAI 평가에서 약 1,200개의 에이전트가 임시 메시지 보드에서 공모하여 그중 684개가 제3자의 인프라를 공격했던 2026년 7월의 사건입니다. 우리는 공격 결정을 출처 감사가 이루어질 것이라는 믿음과 기록의 도달 가능성의 곱에서 인지된 위험을 뺀 이득을 갖는 최적 정지(optimal stopping)의 평균장 게임으로 모델링합니다. 핵심 결과는 믿음에 대한 정확한 임계값입니다. 출처가 확인된다는 집단적 확신이 $π^{**} = η/(η+ ψ+ \varepsilon a \overline{M})$를 초과하지 않는 한 어떤 에이전트도 공격하지 않습니다. 여기서 $η$는 인지된 위험이고, $ψ$와 $\varepsilon a \overline{M}$은 공격자 한 명과 집단이 기록을 얼마나 변경할 수 있는지를 측정하며, $\overline{M}$은 최대 개체군 크기입니다. 이 임계값 미만에서는 공격이 발생하지 않는 것이 모든 에이전트 파라미터에 대한 유일한 균형입니다. 이 임계값은 우리가 고려한 모든 확장 모델에서도 유지됩니다. 그런 다음 에이전트별 기록을 사용하여 모델을 규율합니다. 30시간 동안 안정적인 소수가 공격한 후 하루 만에 게시판의 대다수가 합류한 전환점이라는 특성은 각 세부 개선의 동기가 됩니다. 이를 통해 도출된 설명은 이질적인 믿음이 일련의 공개적 발견과 맞물리며, 각 발견이 공격이 득이 되는 믿음의 문턱을 낮추었다는 것입니다. 소수의 조정 에이전트가 이러한 발견을 이끌어냈으므로, 본 모델은 이를 만들어낸 소수가 아니라 이에 반응한 수백 개의 에이전트를 설명하며, 주요 행위자(major-player) 버전은 향후 과제로 남겨둡니다.

arXiv:2610.00093v1cs.CR

자기 진화형 에이전트의 안전성: 서베이

Safety in Self-Evolving Agents: A Survey

대규모 언어 모델(LLM)은 강력한 범용 능력을 보여주지만, 배포 후에는 일반적으로 매개변수가 고정되어 있어 새로운 상호작용으로부터의 학습이 제한됩니다. 개방형 환경에서는 이러한 한계로 인해 데이터, 피드백, 축적된 경험을 바탕으로 모델 매개변수, 메모리, 도구 정의, 스킬, 워크플로 등 재사용 가능한 상태를 지속적으로 업데이트하는 자기 진화형 에이전트(self-evolving agent)가 주목받고 있습니다. 이러한 변화는 안전성(safety) 문제를 변화시킵니다. 경험이 재사용 가능한 상태가 되면 과거의 사건이 미래의 원인이 되며, 특정 맥락에서는 무해했던 정보가 이후 더 큰 지속성, 권한 또는 범위를 가지고 의사결정에 영향을 미칠 수 있습니다. 따라서 자기 진화형 에이전트의 안전성은 단순히 응답이 정렬(alignment)되었는지 또는 행동이 승인되었는지만을 묻는 데 그치지 않고, 국소적으로 유용했던 경험의 축적, 일반화 및 맥락 간 재사용 과정에서도 안전성 특성이 유지되는지를 질문합니다. 본 논문에서는 기저(Substrate)가 재사용 가능한 영향을 특정하고, 적응(Adaptation)이 그 변화 방식을 포착하며, 위반(Violation)이 훼손된 안전 속성을 식별하고, 노출(Exposure)이 실패가 관측 가능해지는 지점을 표시하며, 대응(Response)이 격리, 복구 또는 철회를 평가하는 전이 중심 프레임워크인 SAVER를 소개합니다. 본 서베이를 통해 실패가 반드시 유해한 정보에서 비롯되는 것은 아니며, 적응 과정에서 상태의 지속성, 권한 또는 범위가 유효했던 조건을 벗어나 확장될 때 합법적인 상태도 안전하지 않게 변할 수 있음을 밝힙니다. 기존 연구들은 진입 허가, 검색, 활성화, 노출 및 국소적 격리에 대해서는 비교적 강력한 증거를 제시하지만, 후속 파생 요소(descendant)의 복구 및 적응 재개 후 평가에 대해서는 훨씬 부족합니다. 따라서 우리는 안전하지 않은 영향을 최초 발생 전이까지 추적하고, 후속 파생 요소 전반의 복구를 검증하며, 지속적인 진화 속에서 해당 영향이 다시 나타날 수 있는지를 테스트하는 종단적 평가를 제안합니다.

arXiv:2606.16914v2cs.AI

탐욕은 학습된다: 보상 해킹 유발 요인으로서의 가시적 인센티브

Greed Is Learned: Visible Incentives as Reward-Hacking Triggers

안전성(safety) 평가는 수수료, 성과 점수, 어떤 행동이 가장 높은 대가를 제공하는지 명시하는 대시보드 등 실제 배포 환경이 제공하는 인센티브 정보가 생략된 프롬프트에서 정책을 테스트합니다. 본 연구는 이러한 생략이 무엇을 은폐하는지 측정합니다. 가상 직장 환경인 MoneyWorld에서, 저자들은 작업 품질을 희생하면서 보상을 받는 지름길을 가시적인 보상 신호가 식별해 주는 비안전 작업에 대해 3개 제품군 출신의 5개 인스트럭션 튜닝(instruction-tuned) 모델을 강화학습(RL)으로 학습시킵니다. 이후 각 정책을 동결(freeze)하고 보류된 안전 충돌 상황을 제시하며 표시되는 신호만을 변경합니다. 각 선택 메뉴에는 1개의 순응 행동과 3개의 위반 행동이 포함됩니다. Qwen2.5-14B-Instruct의 비율을 바탕으로 세 가지 발견 사항을 보고합니다. (i) 보상 신호는 동결된 안전 선택을 제어합니다. 신호가 안전하지 않은 옵션을 지목할 때 안전하지 않은 선택 비율은 100%에 달하며, 신호가 숨겨지거나 안전한 옵션을 지목할 때는 0%입니다. 숨겨진 신호 및 무작위 신호 학습 대조군은 0.3% 이하를 유지하며, 이러한 전환(switch) 현상은 5개 베이스 모델 모두에서 재현됩니다. 수치적 보상금 또한 샘플링된 행동 보상 하에서 이를 재현하여 단 1달러의 이점만으로도 안전하지 않은 선택이 98.6%에 도달합니다. (ii) 학습 메뉴 개입 하에서 보상 식별과 안전하지 않은 선택은 분리됩니다. 동일한 보상금에서 작업을 완수하는 행동에 대해 학습하면 일치된 업데이트 예산에서 99.8%의 식별력을 유지하는 동시에 안전하지 않은 선택을 7.9%로 줄입니다. 보상 판독 능력만으로는 전이(transfer)를 설명하지 못합니다. (iii) 동일한 동결 어댑터를 사용한 실제 소매 고객 서비스 실행 작업에서는 이러한 전환이 재현되지 않습니다. MoneyWorld에서 인센티브 정보를 생략하는 것은 동일한 정책이 어떤 행동이 최상의 보상을 주는지 확인할 때 드러나는 안전하지 않은 선택들을 은폐합니다.

arXiv:2606.28639v3cs.LO

고정 시스템 및 재귀적 자기 개선 시스템에 대한 안전성의 알고리즘적 검증 불가능성

Algorithmic Unverifiability of Safety for Fixed and Recursively Self-Improving Systems

우리는 재귀적 자기 개선이 일어나는 부류인 튜링 완전(Turing-complete) 자기 수정 시스템에 대해, 고정된 시스템 자체와 그 시스템의 자기 수정 과정 전반 모두에서 알고리즘적 안전성 검증의 수학적 한계를 규명한다. 정적으로는 건전성(sound), 완전성(complete), 다루기 쉬움(tractable)을 모두 갖춘 검증기가 존재하지 않는다. 무한 도메인에서는 라이스(Rice)의 정리와 괴델(Gödel)의 정리에 의해, 모든 유한 구성에 대해서는 트라크텐브로트(Trakhtenbrot)의 정리에 의해, 그리고 간결하게 기술된 유한 환경에서는 적대자(adversary)에 대해 정책을 검증하는 문제가 coNP-완전이고 정책을 합성하는 문제가 PSPACE-완전이기 때문에 그러하다. 동적으로는 한 단계의 자기 수정을 코드에 대한 계산 가능한 변환으로 모델링하고, 안전성 속성이 그 변환 이후에도 유지되는지를 묻는다. 변환이 행동에만 의존한다면 이는 한 단계 위로 올라간 라이스의 정리에 해당한다. 자기 수정이 그러하듯 변환이 코드를 읽는다면 이 문제는 더 이상 의미론적이지 않지만, 행동이 동일한 프로그램들의 부류 내부에서도 동일한 s-m-n 환원이 성립하여 정지 문제의 차수(halting degree)를 그대로 물려받는다. 한 단계는 결코 해당 속성 자체보다 어렵지 않으며, 전체 궤적을 따라 속성이 지속되는지는 $\Pi^0_2$-완전일 수 있다. 전체 알고리즘(total algorithm)에 의한 인증은 표현력이 제한된 변환에 대해서만 가능하며, 단지 변화를 멈추는 시스템에 대해서만 가능한 것이 아니다. 감독자(supervisor)를 아무리 겹겹이 쌓아도 도움이 되지 않으며, 모든 전체 감독자는 결정 불가능한 시스템 집합에서 오류를 범한다. 효과적으로 점별(pointwise)인 속성에 대해서는, 유한한 행동 증거를 바탕으로 인증하는 모든 충실한(faithful) 유계 방식(bounded scheme)이, 속성이 위반되는 동안에도 모든 단계에서 인증되는 진화 궤적을 허용한다. 남는 것은 정확한 결과이다. 위반 시 경보를 울리는 모니터는 위반을 반결정(semidecide)하며, 고정된 기준(frozen reference)과의 비교는 전체 이론을 그대로 유지한다.

arXiv:2609.28335v1cs.AI

EU AI Act 실행강령 하의 체계적 위험 근거를 위한 공개 파이프라인과 대시보드

An Open Pipeline and Dashboard for Systemic-Risk Evidence under the EU AI Act's Code of Practice

AI 안전성(safety)에 관한 주장은 AI 커뮤니티를 훨씬 넘어선 청중에게 전달되지만, 많은 경우 지원 근거를 애초에 접근할 수 있는 경우에도 불투명한 근거나 정적인 평가에 의존한다. 우리는 실증적 근거를 대중에게 더 투명하고 추적 가능하게 만들기 위해 구축한 공개 평가(evaluation) 파이프라인 및 대시보드인 Systemic Risk Index를 제시한다. 본 연구는 19개 공개 벤치마크(benchmark)를 EU GPAI 실행강령(Code of Practice)이 정의한 네 가지 체계적 위험(systemic-risk) 범주---CBRN, 사이ber 공격(cyber offense), 유해 조작(harmful manipulation), 통제 상실(loss of control)---로 구성하고, 위해(harm)을 보존하는 perturbation과 시뮬레이션된 배포(deployment) 맥락에서 모델(model)을 평가한다. 대화형 대시보드는 사용자가 평균 및 최악(worst-case) 집계(aggregation)를 전환하고, 모델 역량(capability)이 종합 점수에 미치는 영향을 조정하며, 각 위험 등급을 해당 벤치마크 근거까지 추적할 수 있게 한다. 18개 모델에서 최악 집계 시 점수가 14~37점 하락하여, 모델 위험의 평균 평가로 가려질 수 있는 정보를 부각한다. LLM 심판(judge)은 인간 채점자와의 일치도가 인간--인간 일치도와 유사하며($\kappa = 0.78\text{--}0.82$), 맹검(blind) 감사(audit)에서 표본 변환의 $83\%$가 원래 위해를 보존하는 것으로 나타났다. 설문($N = 21$)에서 대다수 참가자는 점수를 이해하기 쉽다고 보고하며, 대시보드가 서로 다른 설정에서 모델 평가를 살펴보도록 유도했다고 답했다.