arXiv:2609.09257v1 cs.LG

분포 변화 하에서 센서 기반 AI의 책임 있는·불확실성 인지 평가: 기기, 피험자, 그리고 지하에서 거의 3년

Accountable and uncertainty-aware evaluation of sensor-based AI under distribution shift: devices, subjects, and nearly three years underground

Benny Platte, Rico Thomanek, Christian Roschke, Marc Ritter

제출 2026-09-08

한국어 초록

센서 기based AI 시스템은 학습 당시와 동일한 조건에서 운용되는 경우가 드물다. 기기, 인력, 기록 시대(epoch)가 바뀔 때마다 성능이 저하되며, 무작위 train-test 분할만으로는 이러한 저하를 드러내기 어렵다. 우리는 배포된 모델의 평가를 선언된 기준(reference) 수준과 정량화된 불확실성을 갖춘 측정으로 다루는 단계적·책임 있는 평가 프로토콜을 제안한다. 네 가지 누적 일반화(generalisation) 단계는 기기, 피험자, 시간을 각각 홀드아웃한다. 각 단계는 올바른 클래스 수를 갖춘 우연(chance) 기준에 대해 반복 학습의 분위수(quantile)로 판정하며, out-of-present-scope rate는 배포 시 학습 대비 더 이상 존재하지 않는 클래스로의 조용한 오인(misdirection)을 드러낸다. 명시적 의사결정 규칙은 롤아웃(roll-out) 결정을 평균이 아니라 5% 분위수에 연결한다. 우리는 스마트폰 기반 순환(recurrent) 분류기를 이용한 인프라 없는 지자기(geomagnetic) 위치 추정을 두 실제 지하 광산에서 이 프로토콜로 시연하며, 두 번째 현장에서 해당 방식의 학습 단계를 복제(replication)한다. 변경 없는 모델을 학습 캠페인 34개월 후, 학습 시점에 알려지지 않았던 기기 세대, 홀드아웃 측량자(surveyor)로 기록된 데이터에서 재평가한다. 해당 현장·조건에서의 present-conditioned 정밀도의 5% 분위수는 299회 반복 학습에 걸쳐 0.39이며, 이는 우연 수준의 16.5배이다. 도달 가능한 42개 위치 클래스 구성 전반에 걸쳐 이 값은 ±0.08만큼 변하며, 이는 반복 실행 간 분산보다 수 배 크다. 단일 구성에 대한 반복 학습은 평균이 왜 오해를 부르는지 보여 준다. 이봉(bimodal) 구성은 평균 기반 검定을 확실히 통과하는 반면, 5% 분위수는 우연 수준보다 한 자릿수 이상 낮다.

원문 초록

Sensor-based AI systems are rarely operated under the conditions under which they were trained: devices, personnel and recording epochs change, and each change degrades performance in ways a random train-test split cannot reveal. We propose a staged, accountable evaluation protocol that treats the evaluation of a deployed model as a measurement with declared reference levels and a quantified uncertainty. Four cumulative generalisation stages hold out devices, subjects and time. Each stage is judged on quantiles of repeated trainings against chance references with the correct class count, an out-of-present-scope rate exposes silent misdirection towards classes that are no longer present in deployment relative to training, and an explicit decision rule ties roll-out decisions not to means but to 5% quantiles. We demonstrate the protocol on infrastructure-free geomagnetic localisation with smartphone-based recurrent classifiers in two real underground mines, including a replication of the scheme's training stages at the second site. Unchanged models are re-evaluated on data recorded 34 months after the training campaign, on a device generation unknown at training time and with a held-out surveyor. The 5% quantile of their present-conditioned precision there is 0.39 over 299 repeated trainings, 16.5 times the chance level; across the composition of the 42 reachable location classes the figure varies by +/-0.08, several times the spread between repeated runs. Repeated trainings of a single configuration show why means mislead: a bimodal configuration passes a mean-based test decisively while its 5% quantile lies more than an order of magnitude below chance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.09257v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.