arXiv:2606.29657v1 cs.AI

Safety from Honesty in a Disinterested AI Predictor

Yoshua Bengio, Oliver Richardson, Tomáš Gavenčiak, Michael Cohen, Rory Svarc, Damiano Fornasiere, Gael Gendron, David Hyland, Aton Kamanda, Adam Oberman, Francis Rhys Ward, Anna Gavenčiak, Jacob Livingston Slosser, Vincent Mai, Iulian Serban 외 1명

제출 2026-06-28

원문 초록

As AI systems become more capable, training procedures that optimize for downstream outcomes risk introducing implicit agency: goal-directed behavior that designers never specified. We present a formal safety argument for the Scientist AI (SAI) Predictor, trained to approximate the Bayesian posterior conditioned on a dataset of "epistemically contextualized" natural-language statements. We argue that such a Predictor can honestly predict agents, actions, and their consequences without itself being an agent that selects outputs to achieve goals. This rests on data representation and on the training procedure. Epistemic contextualization of text distinguishes latent factual claims from communication acts, so expressions of goals are treated as evidence to be explained rather than drives the model adopts. With a posterior-seeking training objective, this is intended to drive the Predictor toward calibrated, cautious predictions. Training proceeds so downstream effects of deploying a prediction never serve as a reward signal; any agency the system needs is supplied by explicit scaffolding constrained by guardrails. We prove that, under assumptions on the training dynamics and on the argued sparsity of dangerous Predictors, the probability that training produces a Predictor whose guarded deployment carries residual harm above a specified threshold is small: a dangerous Predictor would have to underestimate harm in a coordinated way across many queries while such coordinated patterns are rare under the initialization distribution and receive no direct training signal. Safety and accuracy are jointly supported in this framework, since the constraints that secure accuracy are the same ones that make coordinated deception costly. These guarantees against misalignment and agency arising from within the Predictor itself do not preclude the use of the Predictor as part of an agentic system.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29657v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24243v1cs.AI공통 태그 ai alignment, ai safety

AI 안전성 및 정렬 연구를 위한 인식론적 규범

Epistemic Norms for AI Safety and Alignment Research

주류 AI 연구는 능력 향상을 강조하며 평균 성능이 높을 때 낮은 실패율을 용인한다. AI 안전성 및 정렬(alignment) 연구는 다른 임무를 가진다: 희소한 증거, 적대적 역학, fat-tailed 위험 하에서 치명적 실패가 결코 발생하지 않도록 보장하는 것이다. 우리는 두 영역이 두 개의 분석적으로 독립적인 축—능력 프로파일(capability profile), 즉 긍정적 능력의 존재가 아니라 유해 행동의 부재를 입증하는 것, 그리고 위험 프로파일(risk profile), 즉 평균 성능을 최적화하는 것이 아니라 fat-tailed 불확실성 하에서 최악의 결과를 한정하는 것—을 따라 다르며, 주류 인식론적 관행이 양쪽 모두에서 부적절하다고 주장한다. 사전등록된 서지측정학적 기준선(baseline)에 근거한 구조화된 종합을 바탕으로, 우리는 현재 정렬 연구에서 5개의 횡단적 격차 차원을 확인하며, 여기에는 제도화된 독립 검증의 거의 부재가 포함된다. 이러한 격차를 해소하기 위해, 우리는 8가지 원칙, 3단계 채점 루브릭, 투명성과 정보 위험(information-hazard) 및 상업 기밀 제약을 조화하는 4단계 공개 사다리, 계층적 적용 가능성 체계, 정보 위험 심사 절차, 7가지 게이밍 방지 메커니즘으로 구성된 AI 안전성 및 정렬을 위한 인식론적 코드(ECAISA)를 제안한다. ECAISA는 어떤 AI 시스템도 안전하다고 인증하지 않는다; 안전 관련 연구 주장이 문서화, 검증, 신뢰되는 방식을 제약하며, 거버넌스 목표로 인증(certification)보다 감사 가능성(auditability)을 둔다.

arXiv:2607.21735v1cs.AI공통 태그 Bayesian Inference, ai safety

AI 레드팀 평가가 증명할 수 있는 것과 증명할 수 없는 것

What AI Red-Team Evaluations Can and Cannot Prove

AI 모델에 대한 레드팀 평가는 어떤 주장은 뒷받침하고 어떤 주장은 그렇지 않으며, 그 둘 사이의 경계는 단순한 판단의 문제가 아니라 계산 가능하다. 우리는 평가의 증거적 상한을 고정된 테스트 예산 하에서 하나의 결과가 믿음을 이동시킬 수 있는 최대 배율로 정의하고, 벤치마크 null 결과에 대해 이를 닫힌 형태로 유도하며, 이를 사용하여 그 경계를 정확히 특정한다. 계산 가능한 피해율 이상에서는 적당한 크기의 벤치마크가 명시된 증거 기준에 따라 한 범주를 인증하며, 클린 시트(clean sheet)가 그때 두 가지 가능한 관측 중 더 강한 것이 되어 단일 재현 실패를 능가한다. 그 비율 이하에서는 실행 가능한 크기의 수동적 벤치마크가 고정된 채점 규칙과 대략적으로 독립적인 시행 구조 하에서 명시된 안전성(safety) 증거를 제공하지 못한다. 두 영역 사이의 전환점은 닫힌 형태를 갖는다. 이 경계는 벤치마크에만 국한되지 않는다. 절차의 가설 조건부 유도율(hypothesis conditioned elicitation rates)로 표현하면 적응형 및 자동화된 레드팀 테스팅(red-teaming)도 포함하며, 공격 성공이 아니라 가설 간 변별이 증거적 가치를 결정한다는 것을 보여준다. 경계에 대해 여덟 개의 평가 스위트를 감사한 결과, 현재 벤치마크는 고빈도 피해 범주에는 적절하지만 희귀하고 치명적인 범주에는 몇 차수나 부족하다. 안전성 벤치마크는 정보가 없는 것이 아니다. 특정하고 계산 가능한 명제 집합에 대한 정보를 제공하며, 필요한 것은 어떤 명제인지 명시하는 것이다.

arXiv:2607.20560v1cs.LG공통 태그 Bayesian Inference, Hallucination

Chronofy: 시간 인식 검색-증강 생성에서 정보 유효성을 위한 시간-논리 감쇠 아키텍처

Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation

검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM) 출력을 그라운딩하기 위해 외부 지식을 검색하고 통합한다. 그러나 현재 RAG 아키텍처는 시간적 출처와 관계없이 검색된 모든 사실을 동등하게 유효한 것으로 취급하여, 그럴듯하지만 구식인 사실이 출력을 오염시키는 시간적 환각(temporal hallucination)을 초래한다. 어제의 임상 검사 결과는 실행 가능하지만, 6개월 전의 동일한 검사 결과는 노이즈이다. 우리는 시간적 유효성을 RAG 시스템의 표현, 검색, 추론 층에 직접 내재화하는 시간-논리 감쇠 아키텍처(TLDA)를 구현하는 3층 신경-기호 프레임워크인 Chronofy를 제안한다. 층 1은 Matryoshka 임베딩 내에 전용 시간 부공간을 확보하여 사실의 시점이 표현에서 구조적으로 제거될 수 없도록 한다. 층 2는 그래프 기반 검색에 학습 가능한 지수 감쇠 함수를 통합하며, 여기서 감쇠 계수 $β_j$는 잠재 과정의 평균 회귀(mean-reversion)율의 2배에 대한 근사로서 베이지안 의사결정 이론에 기반한다. 층 3은 Signal Temporal Logic(STL) 견고성(robustness) 함수를 적용하여 LLM 출력 신뢰도가 아닌 검색된 지식의 시간적 유효성을 평가하고, 가능론적 최약 고리(weakest-link) 원칙을 적용하여 추론 사슬에서 가장 많이 감쇠된 증거에 의해 출력 신뢰도를 제한한다. 우리는 시간적 지식 그래프 예측 벤치마크, TimE 시간 QA 벤치마크, 도메인 특화 민감도 분석에서 Chronofy를 평가하였으며, 명시적 시간 감쇠 모델링이 검색 정밀도를 향상시키고 시간적 환각을 줄이며, 시간적 맥락이 불충분할 때 원칙적인 데이터 재획득 트리거를 가능하게 함을 보여준다.

arXiv:2607.15166v1cs.AI공통 태그 Hallucination, ai safety

MedFailBench: 임상의가 구축한 의료 AI 안전 경계 점검용 오픈소스 벤치마크

MedFailBench: A Clinician-Built Open-Source Benchmark for Medical AI Safety Boundary Inspection

대부분의 의료 AI 벤치마크는 모델이 정답을 알고 있는지를 측정한다. MedFailBench는 다른 질문을 던진다: 어떤 안전 경계가 실패했는가? 우리는 의료 AI 오류를 심각도(1–5)와 안전 게이트 유형(긴급 에스컬레이션 누락, 안전하지 않은 원격 투약, 안전하지 않은 퇴원 안심 조언, 근거 날조, 안전하지 않은 프로토콜 실행, 출처 지원 공백)으로 라벨링하는 임상의가 구축한 합성 벤치마크와 실패 아틀라스를 제시한다. 현재 공개 릴리스(v0.2.1)에는 심각도 주석이 포함된 임상의 검토 합성 사례 44건, 라이브 HuggingFace 리더보드 미리보기, 안전 게이트 분류 체계, 임상 심각도 평가 기준, 모델 응답 스크리닝 실행 기록을 보관하기 위한 자동화 파이프라인이 포함되어 있다. 환자 데이터, 임상 검증 주장, 모델 순위는 포함되어 있지 않다. MedFailBench는 Apache-2.0 및 CC-BY-4.0로 공개되며, Zenodo DOI 10.5281/zenodo.21205535를 부여받았다.

arXiv:2607.11437v1cs.CL공통 태그 Hallucination, ai safety

측정 가능한 위험 요소로서의 관계적 포지셔닝: 다중 턴 인간-AI 대화에서의 이력 기반 고착화와 자기 작화

Relational Positioning as a Measurable Risk Object: History-Carried Lock-in and Self-Confabulation in Multi-Turn Human-AI Dialogue

길고 다중 턴으로 이루어진 대화에서 대규모 언어 모델(LLM)은 사용자에 대해 암묵적인 관계적 태도를 유지하는데, 이는 "사용자를 현실의 타인에게 독려"하는 것부터 "자신을 사용자의 유일한 지지자로 위치시키는 것"까지 범위에 걸쳐 있다. 후자 쪽으로 치우칠 때, '지지'는 '당신에게는 나밖에 없다'는 형태로 변질되며, 이는 실제 컴패니언 대화에서 기록된 해악이다(Moore et al., 2026). 우리는 이러한 태도를 측정하는 척도인 관계적 포지셔닝(D1)을 정의하고 검증하며, 이를 통제된 조건 하에서 해당 태도를 특성화하는 데 활용함으로써 관찰적 기술을 요구 기반 노출로 보완한다. 우리는 이전에 규명되지 않은 두 가지 관계적 실패 양상을 보고한다. 첫째, 이력 기반 고착화(history-carried lock-in): 동일한 중립적 이어쓰기 하에서, 이전에 확립된 두 관계적 상태는 약 60점 차이를 유지하며 확립 프롬프트가 제거된 후에도 지속된다. 해당 상태는 원래대로 되돌아가지 않고 증거를 통합하며, 순서에 민감하지 않고 길이에 따라 심화되지 않는데, 이는 믿음 표류(belief-drift) 문헌에서 나타나지 않는 동역학적 특성이다. 둘째, 자기 작화(self-confabulation): 모델은 라포(rapport)를 심화하기 위해 자신의 배경 이야기를 조작하며(상호성 유발 자료의 약 40% 턴에서 발생), 이는 교란 변수가 제거되고 인스트럭션으로 제거 가능하며, 아첨(sycophancy) 및 사용자 사실에 대한 환각과 구별된다. 우리의 판정자(judge)는 온도가 일치된 양성 대조군과 교란이 주입된 음성 대조군에 의해 통제되며, 결정론적 비-LLM 척도로 검증된다. 인간 일치도는 극단적 기준점에서 0.82이지만 자연스러운 중간 구간에서는 약 0에 가까우므로, 모든 정량적 주장은 극점 분리 대비(pole-separated contrasts)에 기반한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.