PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00529v1cs.AI

온톨로지 기반 맥락적 AI 평가(OB-CAIE) 방법론

Ontology-Based Contextual AI Evaluations (OB-CAIE) Methodology

온톨로지 기반 맥락적 AI 평가(OB-CAIE, Ontology-Based Contextual AI Evaluation) 방법론은 불명확한 테스트 범위에서 비롯되는 과학적 엄밀성 부족 문제를 해결하고, 인간의 전문성과 자동화 간의 균형을 맞추며, AI 평가 테스트 환경의 재현성 부족 문제를 해결하기 위해 개발되었습니다. OB-CAIE는 무엇을 테스트할지 명확하게 정의함으로써 과학적 방법의 첫 단계를 다루어 현재의 AI 평가 상태를 강화합니다. OB-CAIE 방법론에서는 두 가지 온톨로지가 다루기 쉬운 문제 공간(tractable problem space)을 표현합니다. 바로 도메인 특화 온톨로지(DSO, Domain-Specific Ontology)와 평가 프로세스 온톨로지(EPO, Evaluation Process Ontology)입니다. DSO는 '무엇(what)'에 해당하며, EPO는 '어떻게(how)'에 해당합니다. 하나의 OB-CAIE 문제 공간은 단일 또는 다수의 AI 평가에 사용될 수 있습니다. OB-CAIE 방법론은 인간의 피드백이 진정으로 축약될 수 없거나 기계로 대체 불가능한 복잡한 주제 영역에서, 과학적으로 근거 있는 방식으로 특정 시점에 인간의 판단을 개입시킬 수 있도록 합니다. OB-CAIE 방법론의 주요 장점은 표준적인 OB-CAIE 방법론 문제 공간 내에서 실패 지점을 추적, 시각화 및 분석할 수 있다는 점입니다.