arXiv:2611.22434v1 cs.LG

인코딩, 해독 가능성, 활용: 무인항공기 의도 인식 사례로 살펴본 벤치마크 측정의 5계층 감사 프레임워크

Encoding, Decodability, and Use: A Five-Layer Framework for Benchmark Measurement Audits with Evidence from UAV Intent Recognition

Zhirong Su, Tian Zhang

제출 2026-11-18

한국어 초록

벤치마크 정확도는 모델이 벤치마크에서 측정하는 개념을 이해한다는 근거로 흔히 해석된다. 이 해석을 관측, 표현, 디코딩, 활용, 행동으로 나누는 5계층 프레임워크를 제안하고 AeroIntent에 적용한다. 프레임워크는 인코딩, 해독 가능성, 활용을 서로 다른 수준으로 다룬다. 관측 계층에서는 드론 프로그램 20개 중 7개에서 관측을 신뢰할 수 없었으며, 방사 속도를 직접 반영하는 시각적 크기 변화는 최소 0.26%여야 드러났다. 표현 계층에서는 과제에 맞춰 설계한 RGB 특징 두 개에서 명목상 신호가 나타났다. RAFT 광학 흐름의 방사 방향 바이어스는 $r=+0.257$($p=0.030$), 경계 상자 안 광학 흐름의 발산은 $r=+0.203$($p=0.029$)이었다. 여러 특징을 읽어 낸 값으로 구한 폴드 평균 테스트 상관계수는 군집 단위 최소 탐지 효과(MDE)를 넘지 않았다. 표본 밖 전체 상관계수의 양의 최댓값은 $r=+0.080$이었다. 디코딩 계층에서 여러 특징에 대한 본페로니 기준($\alpha=0.00714$, 검정력 0.80)의 MDE는 $|r|=0.599$이고, 관찰된 $r=+0.080$의 검정력은 0.00이다. 두 주입 실험으로 MDE가 성립하는 조건을 양쪽에서 확인했다. 정렬된 주입은 시뮬레이션에서 추정한 검정력 이상으로 탐지됐지만 직교하는 주입은 탐지되지 않았다. 활용 계층에서의 정확도는 프로그램의 정체성을 기억하고(프로그램 식별 0.937/0.597/0.210) 여러 영역의 정적 단서를 사용한다는 설명에 부합했다. 행동 계층의 결과는 해당 정확도에 방사 속도 판독이 필요하지 않다는 설명에 부합했다(외관 0.6552 대 경계 상자 궤적 0.4080, 군집 단위 짝지은 차이 $\Delta=+0.2471$, $p=0.0132$).

원문 초록

Benchmark accuracy is routinely read as evidence that a model understands the construct the benchmark measures. We propose and instantiate on AeroIntent a five-layer framework that decomposes that reading into observation, representation, decoding, use, and behaviour. The framework separates encoding, decodability, and use as distinct levels. In the instantiation, the observation layer is unreliable on 7 of the 20 Drone programs and floors the direct visual correlate of radial velocity at a 0.26\% scale change. The representation layer exposes two task-designed RGB features with nominal signals. RAFT flow radial bias reaches $r=+0.257$ ($p=0.030$), and bounding-box optical-flow divergence reaches $r=+0.203$ ($p=0.029$). No multi-feature readout gives a fold-mean test correlation above the cluster minimum detectable effect (MDE), and the largest positive global out-of-sample correlation is $r=+0.080$. The decoding layer sets the MDE at $|r|=0.599$ at the multi-feature Bonferroni threshold ($\alpha=0.00714$, power 0.80), and the observed $r=+0.080$ has power 0.00. Two injection experiments establish the MDE's condition from both sides: aligned injections are detected at or above the simulated power, and orthogonal injections are not detected. The use layer finds accuracy consistent with program memory (program-identity 0.937/0.597/0.210) and multi-region static cues. The behaviour layer is consistent with accuracy not requiring a radial-velocity readout (appearance 0.6552 vs bounding-box trajectory 0.4080, cluster-level paired $\Delta=+0.2471$, $p=0.0132$).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22434v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.