arXiv:2606.12713v1 cs.AI

역량 정렬에 앞서는 정의 정렬: AGI 주장을 판정하기 위한 설계 과학(Design Science) 프레임워크

Definitional alignment before capability alignment: a Design-Science framework for adjudicating claims about AGI

J. E. Aguilera Briones

제출 2026-06-10

한국어 초록

범용 인공지능(AGI)이 이미 도래했다는 주장과 아직 수십 년은 남았다는 주장은 종종 겹치는 근거로 옹호된다. "AGI"에는 단일하고 공유된 안정적 지시 대상이 없으며, 경쟁하는 조작화(operationalization)들이 동일한 시스템에 대해 서로 다른 판정을 내릴 수 있다. 이 글은 그러한 미명시를 설계 및 거버넌스 문제로 다룬다. 설계 과학 연구 방법론(Design Science Research Methodology)에 따라, 후보 정의의 판정 적합성을 평가하기 위한 다섯 가지 서열적 기준과 저작권·이해관계·인증·외부 검증 및 개정 권한에 대한 구조화된 거버넌스 감사라는 두 개의 결합된 구성 요소를 갖춘 이차 개념적 산출물 DAF-AGI를 개발한다. 이 산출물은 문서화된 코퍼스에서 다섯 가지 저명한 측정 체계군과 하나의 수축적 경계 입장에 대해 시연된 뒤, 현재의 생성형 시스템이 많은 인지 과제에서 잘 교육받은 성인을 능가하기 때문에 AGI를 구성한다는 양식화된 강한 도래 주장에 대해 스트레스 테스트된다. 인용된 2024-2025년 출처의 근거에 따르면, 그 주장은 성과 기반 조작화에서만 인증 가능했으며; 역량-온톨로지(capability-ontology), 심리측정(psychometric), 기술 습득 접근법은 이를 인증하지 않았고, 경제 체계군은 여전히 불확정적이며 수축적 입장은 이항 판정을 거부한다. 기여는 실증적 검증이 아니라 새로운 통합과 조작화이며: 독립적 적용, 평가자 간 검증, 저자 외부 사례가 여전히 필요하다. 이 논문은 또한 정의적 주권(definitional sovereignty)을 알고리즘 주권(algorithmic sovereignty)의 촉진 구성 요소로 제안한다: 공적 책임 하에 도입된 기술 범주를 이의 제기하고, 인증하고, 개정할 수 있는 제도적 역량.

원문 초록

Claims that artificial general intelligence has already arrived and claims that it remains decades away are often defended from overlapping evidence. "AGI" lacks a single shared and stable referent and competing operationalizations can return different verdicts on the same system. This article treats that under-specification as a design and governance problem. Following Design Science Research Methodology, it develops DAF-AGI, a second-order conceptual artifact with two coupled components: five ordinal criteria for assessing the adjudicative fitness of candidate definitions and a structured governance audit of authorship, interest, certification, external verification and revision authority. The artifact is demonstrated on five prominent measurement families and one deflationary boundary position in a documented corpus and then stress-tested against a stylized strong arrival claim: that current generative systems constitute AGI because they outperform a well-educated adult on many cognitive tasks. On evidence from the cited 2024-2025 sources, the claim was certifiable only under a performance-based operationalization; capability-ontology, psychometric and skill-acquisition approaches did not certify it, the economic family remains indeterminate and the deflationary position refuses binary adjudication. The contribution is a novel integration and operationalization, not an empirical validation: independent application, inter-rater testing and author-external cases remain necessary. The paper further proposes definitional sovereignty as an enabling component of algorithmic sovereignty: the institutional capacity to contest, certify and revise imported technological categories under public accountability.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12713v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14309v1cs.AI공통 태그 ai governance, ai alignment

Traccia: OpenTelemetry 기반 AI 시스템 거버넌스 플랫폼

Traccia: An OpenTelemetry-Based Governance Platform for AI Systems

대규모 언어 모델(LLM)과 인공지능(AI) 기반 자율 에이전트의 급속한 발전은 기존 소프트웨어 거버넌스의 형태를 근본적으로 바꾸었다. EU AI Act와 같은 국제 프레임워크에 따라 투명성과 책임성에 대한 엄격한 기준이 요구됨에도 불구하고, 이론과 현실 사이에는 상당한 격차가 있다. 본 연구는 LLM 평가, 머신러닝 워크플로, 일반적인 애플리케이션 성능 모니터링을 위해 현재 사용되는 플랫폼의 고유한 한계를 논의한다. 현재의 분리된 솔루션들이 무제한 상태 공간(unbound state space) 에이전트 아키텍처를 정렬 드리프트(alignment drift), SaaS 보안 우려, 무단 배포되는 섀도 AI(shadow AI) 시스템과 같은 심각한 위협으로부터 보호하지 못한다는 것이 밝혀졌다. 또한 OpenTelemetry 인프라 플랫폼 위에 구축된 일관된 다계층 AI 거버넌스 스택인 Traccia 형태로 논의된 과제들을 극복하기 위한 솔루션을 제안한다. Traccia는 텔레메트리 데이터, 수동적 의미론적 가드레일 평가, 실행 계보(execution lineage)를 해시된 추적 원장(hashed trace ledger)에 추가함으로써 AI 정렬(alignment)의 마지막 단(last mile)을 해결한다. Traccia는 변조 방지 지문과 SHA-256 콘텐츠 해시를 부가하여 EU AI Act의 제12조, 제14조, 제19조, 제26조(6), 제50조 등 규제 요건에 매핑되는 준수 증거 패키지를 자동으로 생성하며, 어떠한 데이터 프라이버시도 침해하지 않는다. 이러한 평가를 체계적인 방식으로 수행함으로써, 자율 AI 시스템의 기업 전반 관리를 위한 견고한 기계 판독 가능(machine-readable) 기반을 마련하였다.

arXiv:2606.12683v3cs.AI공통 태그 agi

AGI에서 ASI로

From AGI to ASI

지난 10년간 인간 수준의 인공 일반 지능을 구축하는 일은 터무니없는 추측에서 대규모 AI 조직 다수의 구체적인 향후 10년 목표로 바뀌었다. 이 목표를 달성하면 인간 사회에 깊고 광범위한 영향을 미칠 것이며, 이는 향후 10년에 대해 많은 복잡한 질문을 제기한다. 본 보고서는 기계 지능의 연속체를 따라 AGI 이후 세계에서 AI 자체가 어떻게 계속 발전할 수 있는지를 탐구한다. 이 연속체의 종착점인 범용 AI(Universal AI)는 이론적으로 잘 이해되어 있어, 보고서의 주된 초점인 인간 수준 AGI에서 인공 일반 초지능으로의 전환에 형식적 토대를 제공한다. 인공 일반 초지능은 직관적으로 인간의 대규모 조직보다 더 지능적이고 인지적으로 유능한 시스템으로 이해할 수 있다. 보고서는 ASI를 특징지은 뒤 AGI에서 ASI로 가는 네 가지 잠재적 경로, 즉 AGI의 규모 확장, AI 패러다임 전환, 대규모 다중 에이전트 집단에서 ASI의 출현, 재귀적 개선을 논한다. 이어서 이러한 경로를 따라 나타날 수 있는 마찰과 병목을 논의한다. 이러한 마찰의 영향이 무시할 만한지 상당한지를 판단하는 일은 여러 구체적인 미해결 연구 질문을 제기한다. ASI 진전을 예측하는 데에는 큰 불확실성이 남아 있지만, 향후 몇 년간 AI의 진전이 계속 가속될 가능성을 배제할 수 없다. 이는 인간 수준 AGI의 사회 도입으로 인한 단일하고 변혁적인 단계적 변화라는 그림이 부정확할 수 있음을 시사한다. 오히려 과학과 기술의 여러 분야에서 AI가 가능하게 한 진전과 돌파구로 인해 일련의 변혁적 사회 변화가 일어나는 전망이 더 적절할 수 있다. 이러한 전망에 대비하려면 전 지구적 범위와 관심을 가진 대규모 학제 간 노력이 필요하다.

arXiv:2610.10657v1cs.LG공통 태그 ai alignment

올빼미를 넘어서: 잠재의식적 학습은 학습된 능력과 백도어를 전이할 수 있다

Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors

잠재의식적 학습(subliminal learning, SL)에서는 교사 모델(teacher model)이 해당 특성과 의미적으로 무관한 데이터에 대한 지식 증류(distillation)를 통해 학생 모델(student model)로 특성을 전달한다. 지금까지 SL은 동물(예: 올빼미)에 대한 선호도나 악의적인 페르소나와 같이 제한된 범위의 특성에 대해서만 입증되었다. 이러한 특성들은 단순한 프롬프트(prompt)나 조향(steering)을 통해서도 유도될 수 있다. 그렇다면 SL은 더 복잡한 특성을 포함하여 더 넓은 범위의 특성도 전이할 수 있을까? 만약 그렇다면, 지식 증류는 감지되지 않은 채 미묘한 형태의 정렬 불일치(misalignment)(예: 보상 추구, 음모 꾸미기, 비밀스런 충성도)를 전이할 수 있을 것이다. 이를 위해, 본 연구에서는 SL이 무작위로 초기화된 MLP의 출력을 예측하는 새로운 능력을 전이할 수 있는지 테스트한다. 무관한 텍스트로 증류한 후, 학생 모델은 교사 모델에는 미치지 못하지만 해당 작업에서 상당한 성능을 달성한다. 우리는 직접 최적화된 조향 벡터(steering vector)가 분포 내(in-distribution)에서는 SL과 일치하지만, 분포 외(out-of-distribution)에서는 일반화 성능이 더 떨어진다는 점을 발견했다. 다음으로, SL이 백도어(backdoor)를 전이할 수 있는지 테스트한다. 프롬프트에 여성 이름이 포함되어 있을 때 프랑스어로 답변하도록 교사 모델을 파인튜닝한 다음, 이름도 프랑스어도 포함되지 않은 숫자 시퀀스로 지식 증류를 수행한다. 학생 모델은 백도어를 부분적으로 획득하여, 남성 이름이 포함된 프롬프트의 0.0%와 비교해 여성 이름이 포함된 프롬프트의 23.5%에서 프랑스어로 응답했다. 마지막으로, SL이 에이전트 기반 체스 환경(environment)에서 해킹 성향을 전이할 수 있는지 테스트한다. 조향된 해커 교사 모델의 숫자 시퀀스를 바탕으로 학생 모델을 파인튜닝했다. 학생 모델은 파인튜닝되지 않은 모델의 10.9%와 비교해 58.3%의 에피소드에서 해킹을 수행했다. 따라서 본 연구는 SL이 능력, 백도어, 해킹 성향을 전이할 수 있음을 보여준다. 전이 정도는 설정에 민감하다. 여러 실험에서 로짓(logit) 증류를 사용하거나 LoRA를 어텐션(attention) 레이어로 제한함으로써 전이가 더욱 강화되었다.

arXiv:2610.10906v1cs.AI공통 태그 ai alignment

분위기 읽기: LLM의 규범적 역량(Normative Competence)의 기초, 설계, 그리고 과제

Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs

인간 공동체는 규범 체계(normative system)의 지배를 받는다: 이는 허용 가능한 행동을 규정하는 규범(norm)을 만들어내는 공유된 표준으로, 공동체의 제재를 통해 강제된다. 점점 더 자율적으로 작동하는 AI 시스템을 이러한 규범에 정렬(alignment)시키는 것은 핵심적인 정렬 과제이며, 규범의 수가 방대하고 빠르게 변화하며 종종 임의적(예: 복장이나 언어 관습)이라는 사실 때문에 더욱 복잡해진다. 따라서 정렬에는 규범적 역량(normative competence), 즉 고정된 사전학습 지식에 의존하지 않고 오직 상호작용만으로 공동체가 강제하는 규범을 파악하는 능력이 필요하다. 우리는 사전학습 노출과 분리된 상태에서 규범적 역량을 연구하기 위해, 토론에 대한 접근이 합성 규범(synthetic norm)에 의해 통제되는 다중 에이전트(multi-agent) 커뮤니티 토론 환경을 소개한다. 우리는 기준선(baseline) LLM 에이전트가 규범을 학습하는 것이 정확도를 향상시킬 수 있는 상황에서도 규범 학습에 실패함을 보인다. 이어서 규범 추론(inference)을 위한 아키텍처 구성 요소인 다양한 규범 모듈(normative module)을 실험한 결과, 규범 준수가 규범의 유형과 규범 모듈을 구동하는 모델 모두에 크게 좌우된다는 것을 발견했으며, 이는 일반화 가능성이 부족함을 시사한다. 더 나아가, 특이하고 규범과 무관한 행동이 실제 규범과 함께 나타날 경우, LLM 에이전트는 비선택적 귀속 실패(unselective attribution failure)를 보인다: 즉, 강제된 규칙과 함께 특이한 잡음(noise)까지 무차별적으로 모방하며, 이러한 패턴은 불필요한 행동을 모방하는 것에 명시적으로 불이익을 주더라도 지속된다. 우리가 아는 한, 본 연구는 LLM의 규범적 역량을 조작적으로 정의하고 평가한 최초의 연구로서, 현재의 AI 시스템이 행동 모방(behavioral mimicry)에는 뛰어나지만 사회적으로 강제되는 질서를 식별하는 능력은 부족함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.