온톨로지 기반 맥락적 AI 평가(OB-CAIE, Ontology-Based Contextual AI Evaluation) 방법론은 불명확한 테스트 범위에서 비롯되는 과학적 엄밀성 부족 문제를 해결하고, 인간의 전문성과 자동화 간의 균형을 맞추며, AI 평가 테스트 환경의 재현성 부족 문제를 해결하기 위해 개발되었습니다. OB-CAIE는 무엇을 테스트할지 명확하게 정의함으로써 과학적 방법의 첫 단계를 다루어 현재의 AI 평가 상태를 강화합니다. OB-CAIE 방법론에서는 두 가지 온톨로지가 다루기 쉬운 문제 공간(tractable problem space)을 표현합니다. 바로 도메인 특화 온톨로지(DSO, Domain-Specific Ontology)와 평가 프로세스 온톨로지(EPO, Evaluation Process Ontology)입니다. DSO는 '무엇(what)'에 해당하며, EPO는 '어떻게(how)'에 해당합니다. 하나의 OB-CAIE 문제 공간은 단일 또는 다수의 AI 평가에 사용될 수 있습니다. OB-CAIE 방법론은 인간의 피드백이 진정으로 축약될 수 없거나 기계로 대체 불가능한 복잡한 주제 영역에서, 과학적으로 근거 있는 방식으로 특정 시점에 인간의 판단을 개입시킬 수 있도록 합니다. OB-CAIE 방법론의 주요 장점은 표준적인 OB-CAIE 방법론 문제 공간 내에서 실패 지점을 추적, 시각화 및 분석할 수 있다는 점입니다.
현재 AI 시스템의 수학적 역량을 평가하기 위해, 우리는 기본적인 수학 상수들에 대한 공식 집합을 제시한다. 이 문제들은 구체적이며 임의의 정밀도(precision)로 수치적 검증이 가능하면서도 증명에는 자명하지 않은 수학이 요구될 수 있어 AI 평가에 적합하다. $π$, $e$, 카탈란 상수, 리만 제타 함수의 특수값과 같은 수학 상수들은 수세기 동안 수학자들을 매료시켜 왔다. 수학 상수를 평가하는 공식의 탐구는 특히 무리수 증명이나 빠른 수렴(convergence)률을 산출하는 경우에, 해당 분야에서 가장 아름다운 수학을 낳아왔다. 라마누잔의 유산은 이러한 전통을 상징적으로 보여준다. 우리가 제공하는 목록은 두 가지 유형의 문제를 포함한다: 저자들에게 증명이 알려져 있으나 초기 단기간 동안 암호화된 상태로 남겨질 공식들, 그리고 아직 증명되지 않은 공식들. 우리는 두 경우 모두에서 AI의 성과를 확인하고자 한다.
현재 AI 평가 프레임워크는 주로 정확성, 견고성, 추론 능력, 정책 준수를 포함한 기술적 성능에 초점을 맞추고 있다. 이러한 지표들은 여전히 필수적이지만, 자연어를 통해 사용자와 직접 상호작용하는 시스템에는 충분하지 않다. 사용자 대면 AI 시스템은 조언자, 코치, 튜터, 동반자로 점점 더 많이 활용되고 있다. 이러한 역할에서 AI의 응답은 사용자가 추론하고, 감정을 해석하며, 믿음을 형성하고, 신뢰를 조율하고, 결정을 내리는 방식에 영향을 미칠 수 있다. 따라서 평가의 적절한 단위는 모델만이 아니라 인간-AI 상호작용이다. 본 논문은 AI 평가에서 누락된 차원으로서 심리적 역량(psychological competence)을 소개한다. 심리적 역량은 사용자 대면 AI 시스템이 사용자의 인지, 감정 해석, 행동적 의사결정을 사용자·맥락·상호작용의 목적에 적합한 방식으로 지원하는 능력으로 정의한다. 여기에는 프레이밍, 어조, 인식된 권위, 반응성, 불확실성 처리, 대화 안내와 같은 상호작용 속성이 포함된다. 기존 평가 방법론은 이 문제의 일부를 포착하지만, 이러한 심리적 효과를 직접적으로 평가하는 경우는 드물다. 행동과학과 인간-AI 상호작용 연구를 바탕으로, 심리적 역량과 그 핵심 영역에 대한 개념적 프레임워크를 제시한다. 특정 벤치마크를 제안하기보다는, 구인(construct)을 정의하고 그 경계를 명확히 하며, 시나리오 기반 프로브, 구조화된 인간 평가, 모델 보조 평가 방법을 통해 어떻게 평가될 수 있는지 설명한다. 심리적 역량은 사용자 대면 AI 시스템의 실세계 영향에 관심을 가진 모델 제공자, 배포 조직, 연구자, 규제 기관 모두가 핵심적으로 고려해야 할 사항이 되어야 한다고 주장한다.
우리는 외교 정책 업무 수행에 활용되는 AI 시스템—넓게는 '국정술(statecraft)'을 실행하는—이 기술적 AI 거버넌스 연구의 우선적 시험 사례가 되어야 한다고 주장한다. 외교 정책 수행이란 정치 행위자들이 대외적 목표를 수립하고 이행하는 과정을 의미한다. 국정술은 극단적인 하방 위험과 표준 평가 관행이 제대로 다루지 못하는 구조적 특성을 지닌 고위험 배포 영역이다. 이러한 특성에는 부분 관측 가능성(partial observability), 무한 행동 공간(unbounded action spaces), 논쟁적 정답(contested ground truth), 다차원적 목표가 포함된다. 본 논문은 문헌에 근거한 연구 어젠다를 제안한다. 우리의 기여는 세 가지로 구성된다: (i) 재앙적 꼬리 위험(catastrophic tail risk)과 기술적 평가 복잡성이 결합되는 외교 정책의 구조적 조건에 관한 주장, (ii) 접근성(ACCESS), 검증(VERIFICATION), 보안(SECURITY), 운용화(OPERATIONALIZATION)보다 평가(ASSESSMENT) 기능에 비대칭적으로 집중되어 있음을 조명하는 에코시스템 검토, (iii) 외교 정책 워크플로우를 인간의 재결합을 포함한 범위가 한정되고 평가 가능한 하위 작업으로 분해하는 수요 측면 평가 프레임워크. AI 시스템이 이미 전쟁과 평화의 수행에 배포되고 있는 상황에서, 기술적 AI 거버넌스 커뮤니티의 공개 평가 인프라가 제한적인 만큼, 이 어젠다는 시급한 우선 과제이다.