생성된 모든 장면이 고정되어 있을 때도 텍스트-to-3D(Text-to-3D) 리더보드의 순위가 바뀔 수 있을까요? 본 논문에서는 카메라 설정과 캡션 문구가 측정 프로토콜의 일부가 되는 렌더링 이미지 평가를 대상으로 이 질문을 검증합니다. 6개의 생성기에서 얻은 300개의 고정된 장면에 대해 19개의 정렬(alignment) 평가기와 1개의 지각적 품질 대조군을 대상으로 8가지 렌더링 및 캡션 요인을 변화시킨 후, 4가지 목표 장면 저하를 테스트합니다. 17/19의 정렬 평가기에서 최대 구성 분산이 생성기 간 분산을 초과했으며, 11/19에서는 프롬프트 부트스트랩 하한이 1을 넘었습니다. 순위는 점수보다 안정적이지만, 18/19의 평가기에서 특정 구성에 따라 점수 추정치 기준 1위가 바뀌었습니다. 쌍별 프로토콜 마진 엔벨로프는 테스트된 설정 전반에서 어떤 비교가 방향성을 유지하는지 보여줍니다. 선택된 일부 쌍은 반대 방향의 점별 구간을 갖지만, 전체 탐색에 대한 동시 추론(simultaneous inference)에서 유의미하게 유지되는 역전은 없습니다. 따라서 관찰된 1위 변화는 기술적(descriptive)인 것일 뿐, 생성기 우수성의 확정된 변화는 아닙니다. 민감도는 별개의 문제로 남습니다. 프롬프트가 없는 대조군을 포함해 어떤 평가기도 레이아웃 뒤섞기에서 동점 조정 방향 판별력 67%를 넘지 못했으며, 이는 인간 검증 기준 진리값이라기보다는 진단적 성격에 가깝습니다. 본 검증은 점수 안정성, 결정 불확실성, 목표 민감도를 분리하여 분석하며, 프로토콜 의존적 비교 및 선택 편향을 고려한 불확실성과 함께 (생성기, 점수, 카드 ID)를 보고할 것을 권장합니다.
뇌 MRI를 위한 비지도 이상 탐지(UAD) 방법들은 단일 점수로 순위가 매겨지지만, 이 점수는 거의 보고되지 않는 선택 사항들에 의존합니다. 즉, 각 이상 맵이 참조 데이터와 어떻게 정렬되는지, 임계값이 어떤 데이터에서 어떻게 설정되는지, 어떤 위양성 예산, 지표, 집계 방식 및 병변 정의가 사용되는지 등입니다. 본 논문에서는 이러한 선택 사항들을 명시하고 그 영향을 측정하는 평가 프로토콜인 MIRTO를 제시합니다. MIRTO는 정합(registration) 확인 및 알려진 검정력을 가진 무라벨 진단으로 모든 비교의 기하학적 구조를 제어하고, 검증(validation) 데이터에서만 임계값을 설정하며 테스트에서 실제로 실현된 위양성 체적을 보고하고, 15,552개의 타당한 평가 파이프라인 전반에 걸쳐 각 비교를 반복하며, 다중성 제어가 적용된 대응 피험자 부트스트랩 신뢰구간을 첨부합니다. 동일한 정상 데이터로 학습(training)되고 312명의 BraTS 2020 피험자를 대상으로 테스트된 4가지 UAD 방법에 적용한 결과, MIRTO는 저장된 맵과 참조 데이터 간의 축 순서 불일치로 인해 확산 모델(diffusion model)의 복셀 AUROC가 0.873에서 0.583으로 떨어진 반면 슬라이스 수준 AUROC는 거의 변하지 않았음을 보여주었습니다. 각 지표 내에서 모델 방식은 복셀 AUROC 및 AUPRC 분산의 최소 0.95, Dice의 0.77을 설명했으나, 병변 정의와 적중 기준이 지배적이었던 병변 민감도에서는 0.14만을 설명했습니다. 검증 임계값에서 유의미했던 Dice 우위는 실현된 위양성 부담이 동일할 때 사라졌으며, 엄밀한 항등 분석을 통해 이를 임계값 전이(threshold transfer)의 영향으로 귀속시켰습니다. REFLECT의 잠재 집계 방식을 학습 없이 변경함으로써 동일 부담에서 Dice를 0.052 향상했습니다. 9개의 가설이 명시적 기준에 따라 검정되었으며, 프로토콜 개발에 동일한 코호트가 사용되었으므로 모든 추론(inference)은 탐색적입니다.
AI 평가는 도구 사용과 반복적 문제 해결을 수반하는 더 긴 궤적(trajectory)에서 이점을 얻는 더 어려운 과제로 점점 이동하고 있다. 그 결과 성능은 테스트 시점에 사용 가능한 연산의 양과 배분("추론 연산", inference compute)에 점점 더 민감해지고 있다. 그럼에도 많은 평가는 여전히 단일한 제한적 예산에서 성능을 보고하며, 이는 낮은 점수가 모델의 근본적 능력보다는 평가 설정을 반영할 수 있음을 의미한다. 이를 검증하기 위해, 우리는 소프트웨어 공학, 수학, 의학, 사이버보안에 걸친 7개의 어려운 벤치마크에서 최대 12개의 프론티어 언어 모델을 평가했다. 우리는 세 가지 단순한 추론 스케일링(inference-scaling) 개입을 결합한 통제된 설정을 사용했다: 더 큰 토큰 예산, 컨텍스트 압축(context compaction), 그리고 모델 자체 또는 최소한의 정확성 피드백(correctness feedback)에 의해 안내되는 반복 제출 시도. 우리는 세 가지 주요 결과를 발견했다. 첫째, 더 큰 토큰 예산은 사이버보안, FrontierMath, Humanity's Last Exam, TerminalBench를 포함해 여러 도메인의 벤치마크에서 성능을 상당히 향상시킨다. 둘째, 고정 예산 평가는 모델이 발전함에 따라 프론티어 역량을 점점 더 과소평가할 수 있다. 최신 모델은 큰 예산에서 더 높은 성능에 도달하며, 여기서 더 어려운 과제를 해결할 수 있게 되고 더 안정적으로 해결한다. 셋째, 벤치마크마다 어떤 추론 스케일링 방법이 가장 도움이 되는지가 다르다: 반복 제출은 전반적으로 성능을 향상시키지만, 더 큰 토큰 예산, 외부 피드백, 병렬 시도의 가치는 벤치마크에 따라 달라진다. 전반적으로 우리 결과는 벤치마크 점수가 프로토콜에 의존적임을 보여준다. 따라서 우리는 평가가 추론 시 연산의 함수로서 역량을 보고하고, 프로토콜 선택을 명시적으로 기술하며, 특히 안전성 또는 정책 관련 맥락에서 일치하는 예산 하에서 넓은 공유 연산 범위에 걸쳐 모델 세대를 비교해야 한다고 주장한다.
Offline root-cause-analysis (RCA) benchmarks commonly rank methods by a single pooled top-1 accuracy across multiple subsystems, and engineers often read the pooled winner as a recommendation for their own subsystem. We audit that reading on three public RCA benchmark families -- OpenRCA, RCAEval, and PetShop -- covering 11 subsystems and 778 matched scoring units. To keep pairwise comparisons on identical cases, the main analysis retains four methods or comparators with complete coverage: BARO, a CD-1min adapter, max-$|Z|$, and per-service alert-count. All six pairwise comparisons show subsystem-level effects of both signs, every random-effects 95\% prediction interval crosses zero, and case-level interaction tests reject exchangeability in 5 of 6 pairs. Leave-one-system-out selection picks the lower-scoring method on up to 5 of 11 held-out subsystems, with regret reaching 24.8 pp on RCAEval / Sock-Shop. We release a 320-line audit module; given a matched RCA benchmark score table, it recomputes the same per-subsystem stability checks alongside pooled scores.