분포 변화 하에서 센서 기반 AI의 책임 있는·불확실성 인지 평가: 기기, 피험자, 그리고 지하에서 거의 3년
Accountable and uncertainty-aware evaluation of sensor-based AI under distribution shift: devices, subjects, and nearly three years underground
센서 기based AI 시스템은 학습 당시와 동일한 조건에서 운용되는 경우가 드물다. 기기, 인력, 기록 시대(epoch)가 바뀔 때마다 성능이 저하되며, 무작위 train-test 분할만으로는 이러한 저하를 드러내기 어렵다. 우리는 배포된 모델의 평가를 선언된 기준(reference) 수준과 정량화된 불확실성을 갖춘 측정으로 다루는 단계적·책임 있는 평가 프로토콜을 제안한다. 네 가지 누적 일반화(generalisation) 단계는 기기, 피험자, 시간을 각각 홀드아웃한다. 각 단계는 올바른 클래스 수를 갖춘 우연(chance) 기준에 대해 반복 학습의 분위수(quantile)로 판정하며, out-of-present-scope rate는 배포 시 학습 대비 더 이상 존재하지 않는 클래스로의 조용한 오인(misdirection)을 드러낸다. 명시적 의사결정 규칙은 롤아웃(roll-out) 결정을 평균이 아니라 5% 분위수에 연결한다. 우리는 스마트폰 기반 순환(recurrent) 분류기를 이용한 인프라 없는 지자기(geomagnetic) 위치 추정을 두 실제 지하 광산에서 이 프로토콜로 시연하며, 두 번째 현장에서 해당 방식의 학습 단계를 복제(replication)한다. 변경 없는 모델을 학습 캠페인 34개월 후, 학습 시점에 알려지지 않았던 기기 세대, 홀드아웃 측량자(surveyor)로 기록된 데이터에서 재평가한다. 해당 현장·조건에서의 present-conditioned 정밀도의 5% 분위수는 299회 반복 학습에 걸쳐 0.39이며, 이는 우연 수준의 16.5배이다. 도달 가능한 42개 위치 클래스 구성 전반에 걸쳐 이 값은 ±0.08만큼 변하며, 이는 반복 실행 간 분산보다 수 배 크다. 단일 구성에 대한 반복 학습은 평균이 왜 오해를 부르는지 보여 준다. 이봉(bimodal) 구성은 평균 기반 검定을 확실히 통과하는 반면, 5% 분위수는 우연 수준보다 한 자릿수 이상 낮다.