원문 초록
Artificial intelligence (AI) systems are routinely modified after deployment through retraining and changes in their environments. These transformations raise a metaphysical question: under what conditions does an AI system remain the same system over time or across deployments? Earlier work formulates synchronic and diachronic identity propositionally, by relating identity within a fixed AI system type to equality of trustworthiness levels. Such criteria specify when identity statements are true, but leave implicit the structure of the states compared, the transformations connecting them, and the temporal organization of persistence. We develop a category-theoretic formalization of AI identity. An AI system type is specified by a datum consisting of a techno-function, a trustworthiness profile, and a trustworthiness-level function. Profile-relative states are connected by admissible lifecycle paths, which are restricted to trustworthiness-level-preserving transformations and quotiented to obtain a reachability category. Temporally admissible functors represent AI system histories, while time-synchronous natural transformations compare realized histories. The formalization yields two categorical interpretations of the earlier AI identity criteria. A weak interpretation recovers identity as equality of trustworthiness level. A strong interpretation requires mutual trustworthiness-preserving reachability, expressed through state isomorphism or natural isomorphism of realized histories. Category theory therefore replaces a single AI identity relation with a structured hierarchy of diachronic and synchronic criteria. The resulting framework identifies identity-related preconditions for transferring responsible-AI claims, evidence, and governance procedures across versions or deployments, without treating categorical identity as sufficient by itself for such transfer.
요약
배포 후 재학습·재구성 등으로 변화하는 AI 시스템이 언제 동일한 시스템으로 간주될 수 있는지라는 형이상학적 문제를 범주론(category theory)으로 형식화하며, 신뢰성(trustworthiness) 수준을 보존하는 라이프사이클 변환으로 구성된 상태 범주 $\mathsf{Sys}_\diamondsuit$와 실현된 이력 범주 $\mathsf{Traj}_{\diamondsuit,[t_0,T]}$를 통해 약한 동일성(신뢰성 수준 동등)과 강한 동일성(상태 동형·자연 동형)의 계층적 기준을 도출한다. 이 프레임워크는 AI 거버넌스에서 책임 있는 AI 증거와 규제 절차를 버전 간 혹은 배포 환경 간에 이전하기 위한 동일성 관련 선행 조건을 식별하는 데 활용된다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.00220v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Learning Transfers: Kan Extensions of Topological Invariants of Learned Representations
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
TRACE: 프로덕션 AI 시스템의 설명가능성 부채 측정을 위한 거버넌스 프레임워크
TRACE: A Governance Framework for Measuring Explainability Debt in Production AI Systems
중대한 영향을 미치는 고위험(high-stakes) 영역에 배포된 프로덕션 AI 시스템에는 기존 모니터링 프레임워크로는 감지하지 못하는 거버넌스 부채가 축적됩니다. 바로 규제 기관, 감사인 또는 영향을 받는 개인이 책무성을 요구할 때 개별 결정을 설명하지 못하는 능력이 점진적으로 심화되는 현상입니다. 본 논문에서는 프로덕션 AI 시스템에서 설명가능성 부채(Explainability Debt)를 측정, 추적 및 개선하기 위한 7가지 도구 기반의 거버넌스 프레임워크인 TRACE(Transparency, Risk, Accountability, Compliance, and Explainability)를 소개합니다. 핵심 도구인 설명가능성 부채 점수(EDS, Explainability Debt Score)는 임의의 시점에서 거버넌스에서 정의한 설명가능성 신뢰도 임계값에 미치지 못하는 프로덕션 결정의 비율을 정량화합니다. 보완 도구로는 DART(위반 예측을 위한 부채 축적률 추적기), SHIV(일일 거버넌스를 위한 시나리오 건전성 및 무결성 검증기), FDE(인과 관계 귀속을 위한 특징 드리프트 평가기), HVE(인간 검증 엔진), AIDE(감사 개입 결정 엔진), ZERO(개선을 위한 무결점 설명가능성 위험 최적화기)가 포함됩니다. 매일 50,000건의 금융 거래를 처리하며 98.46%의 정확도와 0.9990의 ROC-AUC를 달성한 프로덕션 이상거래 탐지(fraud detection) 시스템에 대한 12개월간의 종단적 사례 연구를 통해, 감사 당일 0.23의 EDS를 DART 궤적 분석을 통해 6개월 전에 통계적으로 예측할 수 있었음을 입증했습니다(beta = 0.008/주, R-squared = 0.94, 95% CI: [0.006, 0.010]). 또한 설명가능성 부채의 78%가 가장 규제 위험이 높은 결정 범주(10,000달러 초과 거래)에 집중되어 있었으며, 이는 시스템 수준의 지표로는 전혀 감지할 수 없는 위험 비대칭성이었습니다. TRACE는 프로덕션 AI 배포 환경에서 EU AI 법(EU AI Act) 제13조 준수를 위한 최초의 정량적 운영 아키텍처를 제공하며, 설명 생성(explanation generation)과는 구별되는 설명 거버넌스(explanation governance)라는 새로운 하위 분야를 정립합니다.
토큰 공간: AI 연산을 위한 범주론 프레임워크
Token Space: A Category Theory Framework for AI Computations
토큰 공간(Token Space)은 AI 연산을 위한 범주론적(categorical) 프레임워크이자 수학적 언어입니다. 이는 내부 관계, 프로그램 기술, 실행 상태 및 관찰을 연결하여 구조, 동작 및 비용에 관한 질문들을 적절한 수준에 배치합니다. 다섯 가지 핵심 관점은 구조적 내부, 범주론적 자기 기술, 인터페이스, 출현 동일성 및 확장 가능한 연산과 관련됩니다. 토큰(token)은 운반자 원소와 고정된 기호들의 유한한 레코드이며, 토큰 사상은 선택된 힙을 보존합니다. 기본 범주는 준토포스(quasitopos)이며, 따라서 국소 데카르트 닫힘(locally cartesian closed)이지만 토포스는 아닙니다. 대수적 토큰화(tokenization)는 고정된 유한 시그니처에 대해 충실충만(fully faithful)합니다. 표현된 유한 사상은 동시 그래프 실행, 접합, 함자적 경계, 그리고 커널(kernel) 포함으로 특징지어지는 정확한 상태 이전을 허용합니다. 트랜스포머는 하나의 구현 패밀리입니다. 일관된 출현 접두 문맥(prefix)은 자연스러운 수치 사상을 산출하며, 캐시 불변량은 전체 접두 문맥 평가와의 일치를 증명합니다. 규정된 접근 정책은 재구성 배제 원칙 하에서 최소 유지 인덱스 집합을 결정합니다. 매개변수화된 상태는 변화하는 인터페이스를 표현합니다. 지정된 미래 관찰 힙에 대해 구조적 비식별성은 동작적 동치성입니다. 인코딩이 정확한 점진적 실행을 허용하는 것은 해당 커널이 그 동치성에 포함되는 우합동(right congruence)일 때와 정확히 일치하며, 도달 가능한 모든 정확한 실현은 동작적 상(behavioral quotient) 위로 유일하게 사상됩니다. 교사 유도 힙과 선언된 리드아웃은 이러한 구성을 지식 증류(distillation) 및 명시적 지식과 연결합니다. 정의, 예시, 정리는 이 언어가 표현, 실행, 관찰을 구별하면서 추론의 흐름들을 어떻게 결합하는지 보여줍니다. 효과적인 구현과 정량적 성능은 추후 과제로 남아 있습니다.
ECHO: 바이어스에 기반한 참여형 AI 위해 예측 프레임워크
ECHO: A Participatory Framework for Bias-Anchored AI Harm Anticipation
인공지능(AI) 시스템은 중요한 결정에 점차 많은 영향을 미치며, 가치를 창출하는 동시에 개인, 사회 집단 및 사회 전반에 잠재적 위해(harm)를 초래하기도 합니다. 이에 따라 AI 수명주기 초기 단계에서 위해를 선제적으로 예측하는 접근 방식에 대한 요구가 커지고 있습니다. 기존 연구들은 AI의 바이어스를 위해의 원인으로 지목하고 있으나, 특정 수명주기 바이어스와 위해 간의 구체적인 연관성은 여전히 충분히 규명되지 않았습니다. 본 연구에서는 수명주기 바이어스에 초기 위해 예측을 연계하고, 잠재적 위해와의 인지된 연관성을 도출하는 체계적이고 맥락 인식형(context-sensitive) 참여 프레임워크인 \texttt{ECHO}를 소개합니다. \texttt{ECHO}는 도메인별 이해관계자를 식별하고, 비네트(vignette)를 통해 바이어스를 구체화하며, 인간 참가자와 대규모 언어 모델(LLM)로부터 위해성 판단을 수집하여 이를 기술적 및 추론적 윤리 매트릭스로 구성합니다. 질병 진단 및 채용 도메인에 적용한 결과, \texttt{ECHO}는 특정 AI 바이어스의 그럴듯한 결과로 어떤 위해가 인식되는지를 보여주는 비균일적이고 맥락에 민감한 바이어스-위해 패턴을 포착했습니다. 이러한 패턴의 이론적 해석 가능성과 특정 연관성에 대한 추론적 뒷받침은 도출된 매핑의 타당성을 강화합니다. \texttt{ECHO}는 이해관계자별로 예상되는 위해를 수명주기 바이어스에 연결함으로써, 원인 수준의 위해 예측을 지원하고 향후 AI 거버넌스 조치를 위한 구조화된 입력을 제공합니다.
Jev 시대의 판단: 평가 희소성에서 평가 풍요로
Judgement in the Age of Jev: From Evaluation Scarcity to Evaluation Abundance
생성형 인공지능이 그럴듯한 기호적 인공물(symbolic artefact)의 생성 비용을 낮춤에 따라, 최근 조직학 연구에서는 생산 풍요의 조건 하에서 평가와 식별을 제약 요인으로 주목해 왔다. 본 연구는 여기서 한 걸음 더 나아가, 기계 평가 자체가 일상적이면서도 대규모로 배포될 수 있을 만큼 저렴해지는 또 다른 가능성을 검토한다. 이 조사는 타입화된 확률적 의사결정을 위한 TypeSafe AI의 특화 모델(model)인 Jev에서 촉발되었다. TypeSafe는 윌리엄 스탠리 제번스(William Stanley Jevons)를 명시적으로 인용하며, 더 저렴해진 기계 지능이 이전에는 비경제적이었던 활용처를 열어젖힐 수 있다고 주장한다. 본 논문은 이를 확립된 실증적 결과라기보다는 기술적 도발로 다루며, 기계 평가에 대한 조건부 제번스 역설 가설을 수립한다. 즉, 잠재 수요가 상당하고 보완적 비용이 지배적이지 않은 경우, 활용 가능한 기계 평가의 총 한계 비용이 충분히 크게 감소하면 조직 내 소비가 증가할 수 있다는 것이다. 본 논문은 이러한 잠재적 희소성 전환을 조사하기 위해 반등 효과 경제학과 저비용 예측, 생산 풍요, 기계 평가, 의사결정 배분, 권한, 의존성 및 경영 판단(Executive Judgement)에 관한 연구를 통합한다. 또한 예측, 기계 평가, 조직적 판단, 권한 부여를 비용이 반드시 함께 하락하지는 않는 기능적 활동으로 구분한다. 평가는 증거, 기준, 오류를 공유할 수 있고, 잘못 명시된 루브릭을 확장할 수 있으며, 중대한 단서 조항이 사라진 표현을 기반으로 작동할 수 있고, 임계값과 예외 라우팅을 통해 실질적인 의사결정 권한을 변화시킬 수 있다. 이에 따른 연구 과제는 저렴한 기계 평가가 언제 인간의 평가 업무를 대체하는지, 언제 판단에 대한 수요를 재분배하거나 새로 창출하는지, 그리고 중대한 조직적 의사결정 시점에 활용 가능한 근거에 어떤 영향을 미치는지 규명하는 것이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.