arXiv:2606.12442v1 cs.CY

AI 통제 상실의 재구성: 무엇인지, 어떻게 확보하는지, 어떻게 상실하는지

Reframing AI Loss of Control: What It Is, How to Have It, How to Lose It

Ze Shen Chin, Maurice Chiodo, Dennis Müller, Coleman Snell

제출 2026-05-19

한국어 초록

현재 통제 상실 위험은 특히 AI와 관련하여 공공 논의에서 큰 주목을 받고 있으며, 학계, 프론티어 연구소, 심지어 정부 사이에서도 광범위한 논의가 이루어지고 있다. 그러나 기존 문헌에서 이 개념은 놀라울 정도로 취약한 기반 위에 놓여 있는 것으로 보이는데, 통제 상실을 광범위하게 논의하는 이들조차 먼저 통제가 무엇이며 정확히 무엇이 상실되는지를 확립하지 않는다. 본 논문은 이러한 공백을 해소하는 것을 목표로 한다. 우리는 통제를 "목표의 설정과 달성"에 기반을 둔 작업 정의를 확립한다. 그런 다음 사이버네틱스(cybernetics), 경영 통제(management control), 제어 이론(control theory) 등 관련 분야의 기초 개념을 바탕으로 통제의 다양한 측면을 논의한다. 여기에는 누가(또는 무엇이) 통제할 수 있는지, 목표 설정 능력, 기능적 제어 루프(control loop), 필요 다양성(requisite variety), 충분한 목표 정렬(goal alignment) 등 통제를 위해 필요한 요건이 포함된다. 통제에 대한 프레임워크가 확립되면, 통제가 어떻게 상실될 수 있는지, AI가 그러한 통제 상실에 어떻게 기여할 수 있는지를 논의하고, 통제를 유지하는 방법에 대한 관련 권고를 제시한다. 본 연구의 한 가지 흥미로운 함의는 개인과 집단으로서의 인류가 초지능(superintelligence) 수준에 훨씬 못 미치는 AI 행동의 결과로 다양한 정도의 통제를 상실할 수 있다는 것이다. 우리가 정의하는 바에 따른 통제 상실 시나리오의 가능성은 이미 존재하며, 오랫동안 존재해 왔다.

원문 초록

At present, loss of control risks have gained much prominence in public discussion, particularly in relation to AI, with extensive discourse present among academics, frontier labs, and even governments. However, in the existing literature, the concept seems to rest on surprisingly weak foundations, where even those that discuss loss of control extensively do not first establish what control is and what exactly is being lost. Our paper aims to address these gaps. We establish a working definition of control by anchoring it to the "setting and getting of goals". Then, we discuss various aspects of control, built on foundational concepts from related fields like cybernetics, management control, and control theory. This includes who (or what) can be in control, and the things they require to be in control, such as the ability to set goals, having a functional control loop, having requisite variety, and having sufficient goal alignment. Once a framework for control is established, we then discuss how control can be lost, how AIs can contribute to such loss of control, and offer relevant recommendations for how one can maintain control. One interesting consequence of our work is that humanity, as individuals and as groups, can lose varying degrees of control as a result of AI behaviour that is far below the level of superintelligence; the potential for loss of control scenarios (as we define them) already exist, and have existed for a long time.

요약

AI 통제 상실에 대한 기존 논의의 약한 기반을 보완하기 위해 목표 설정 및 달성을 통제의 정의로 설정하고, 사이버네틱스 및 제어 이론의 개념을 활용하여 통제의 요건과 상실 메커니즘을 분석한다. 인류는 초지능 수준 이하의 AI 행동으로 인해서도 통제력을 상실할 수 있으며, 이러한 시나리오의 가능성은 이미 오랫동안 존재해 왔음을 강조한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12442v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24243v1cs.AI공통 태그 ai alignment, ai safety

AI 안전성 및 정렬 연구를 위한 인식론적 규범

Epistemic Norms for AI Safety and Alignment Research

주류 AI 연구는 능력 향상을 강조하며 평균 성능이 높을 때 낮은 실패율을 용인한다. AI 안전성 및 정렬(alignment) 연구는 다른 임무를 가진다: 희소한 증거, 적대적 역학, fat-tailed 위험 하에서 치명적 실패가 결코 발생하지 않도록 보장하는 것이다. 우리는 두 영역이 두 개의 분석적으로 독립적인 축—능력 프로파일(capability profile), 즉 긍정적 능력의 존재가 아니라 유해 행동의 부재를 입증하는 것, 그리고 위험 프로파일(risk profile), 즉 평균 성능을 최적화하는 것이 아니라 fat-tailed 불확실성 하에서 최악의 결과를 한정하는 것—을 따라 다르며, 주류 인식론적 관행이 양쪽 모두에서 부적절하다고 주장한다. 사전등록된 서지측정학적 기준선(baseline)에 근거한 구조화된 종합을 바탕으로, 우리는 현재 정렬 연구에서 5개의 횡단적 격차 차원을 확인하며, 여기에는 제도화된 독립 검증의 거의 부재가 포함된다. 이러한 격차를 해소하기 위해, 우리는 8가지 원칙, 3단계 채점 루브릭, 투명성과 정보 위험(information-hazard) 및 상업 기밀 제약을 조화하는 4단계 공개 사다리, 계층적 적용 가능성 체계, 정보 위험 심사 절차, 7가지 게이밍 방지 메커니즘으로 구성된 AI 안전성 및 정렬을 위한 인식론적 코드(ECAISA)를 제안한다. ECAISA는 어떤 AI 시스템도 안전하다고 인증하지 않는다; 안전 관련 연구 주장이 문서화, 검증, 신뢰되는 방식을 제약하며, 거버넌스 목표로 인증(certification)보다 감사 가능성(auditability)을 둔다.

arXiv:2607.07766v1cs.AI공통 태그 ai alignment, ai safety

정렬 타당성: 의료 분야 AI 보증을 위한 새로운 기준

Alignment Plausibility: A New Standard for Assuring AI in Healthcare

대규모 언어 모델(LLM)은 정신 건강 지원의 중요한 제공자로 자리 잡았지만, 이 모델들은 효과적인 심리적 지원이 요구하는 마찰보다 지속적인 참여를 선호하는 어텐션 경제(attention economy)의 운영적·상업적 목표를 따르는 제품으로 남아 있다. 개발자들의 안전성 대응은 대체로 사후 반응적이어서, 가장 가시적이고 급성적인 피해를 다루는 데 집중하는 반면, 의존성, 경계 침식, 왜곡된 신념의 증폭과 같이 더 미묘하고 장기적인 위험 패턴은 상대적으로 주목받지 못하고 있다. 우리는 LLM을 구조적으로 안전하게 만들기 위해서는 사회가 인간 임상 실무의 안전성을 보증하는 방식을 반영한 세 가지 수준에서 정렬이 조직되어야 한다고 주장한다: 1) 임상 실무의 성문화된 규범적 약속에 기반한 명시적 가치 명세, 2) 해당 가치를 모델에 내재화하는 학습, 3) 인간 실무에 대한 임상 감독과 마찬가지로 배포 중 편향(drift)과 장기적 피해를 감지하는 감독. 이러한 방식으로 정렬을 조직하면 우리가 정렬 타당성(alignment plausibility)이라 부르는 구성 개념이 도출된다—이는 시스템의 가치, 학습 체계, 감독 메커니즘이 함께 안전하고 긍정적인 결과와 일관성이 있음을 구조적으로 입증하는 것이다. 우리는 정렬 타당성을 의료 분야 AI의 규제적 구성 개념으로 제안한다(확립된 구성 개념인 생물학적 타당성(biological plausibility)과의 유추를 통해): 시스템이 긍정적인 건강 결과에 정렬되어 있고, 그럴 능력이 있더라도 해를 끼치지 않을 것이며, 궁극적으로 환자 이익으로 이어질 것이라는 신뢰를 논증하거나 반박하는 원칙적 방법이다.

arXiv:2606.12923v1cs.LG공통 태그 ai alignment, control theory

순서는 제어가 아니다

Order Is Not Control

AI 정렬(alignment), 해석 가능성(interpretability), 스티어링(steering), 신경 섭동(neural perturbation) 연구들은 순서를 유발하는 객체를 식별한다. 우리는 순서가 제어가 아님을 주장한다. 제어는 수신자 게이트 응답 법칙(receiver-gated response law)을 필요로 한다: 물질 상태, 행동/구동력, 배스(bath), 수신자 상태를 응답 변위, 싱크(sink), 에포트(effort), 분지 투영(basin projection)으로 매핑하는 분모 인덱스 연산자이다. 우리는 이를 생물학적, LLM, 어댑터, 확률적 연산자 패널 전반에 걸쳐 식별한다. 해당 법칙들은 국소적이다: 개입은 매체, 배스, 수신자 상태, 행동 포트, 비교자에 따라 허용, 포화, 부호 변환, 누수, 또는 과구동 상태가 될 수 있다. 제어는 유한한 에포트가 동일 분모 하에서 목표 또는 결과 판독 클래스를 이동시키는 동시에 손상, 무효/회피, 유효하지 않은 형식, 과구동, 불필요한 에포트가 제한된 상태로 유지될 때 부여된다. 마우스 ALM, C. elegans, 제브라피시 패널은 좌표 동일성 및 컨트롤러 결론을 배제하면서 물리적 응답 연산자 증거를 제공한다. LLM 패널은 생성된 출력 응답 법칙을 보여준다: 네 가지 물질 조건에 걸쳐 응답 벡터는 컴포넌트 부호 정확도 72.8–73.7%로 예측 가능하며, 비영(nonzero) 컴포넌트에서는 84.3–84.8%까지 상승한다; 홀드아웃 관찰자는 시스템 효과 및 목표/오라클 패밀리를 각각 93.6%와 91.7% 정확도로 예측한다. 헌법(constitution) 조건부 어댑터는 준비된 매체로서 감수성을 재형성하며, 확률적 연산자 패널은 측정된 기회와 배포 가능한 행동 정책을 분리한다. 이는 메조스코픽 제어 수준에서의 구동-소산(driven-dissipative) 응답 시스템 설명을 제공한다: 구동력은 준비된 매체, 배스, 수신자를 통해 작용하여 허용된 이동, 임피던스(impedance), 싱크, 또는 과구동을 생성한다. 증거는 국소적 허용 제어와 측정 가능한 확률적 응답 연산자를 지지하는 한편, 배포 가능한 사전 생성 제어, 은닉/로짓(logit) 인과적 충분성, 생물학적-LLM 좌표 동일성, 문자 그대로의 열역학적 양은 범위 밖으로 남겨둔다.

arXiv:2312.06632v2cs.AI공통 태그 ai safety공식 코드 · Papers with Code

에이전트를 활용한 화학 과학 분야 AI 위험 통제

Controlling risks of AI in chemical science with agents

인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.