arXiv:1910.00969

ConfusionFlow: A model-agnostic visualization for temporal analysis of classifier confusion

Andreas Hinterreiter, Peter Ruch, Holger Stitz, Martin Ennemoser, Jürgen Bernard, Hendrik Strobelt, Marc Streit

제출 2019-10-02

원문 초록

Classifiers are among the most widely used supervised machine learning algorithms. Many classification models exist, and choosing the right one for a given task is difficult. During model selection and debugging, data scientists need to assess classifiers' performances, evaluate their learning behavior over time, and compare different models. Typically, this analysis is based on single-number performance measures such as accuracy. A more detailed evaluation of classifiers is possible by inspecting class errors. The confusion matrix is an established way for visualizing these class errors, but it was not designed with temporal or comparative analysis in mind. More generally, established performance analysis systems do not allow a combined temporal and comparative analysis of class-level information. To address this issue, we propose ConfusionFlow, an interactive, comparative visualization tool that combines the benefits of class confusion matrices with the visualization of performance characteristics over time. ConfusionFlow is model-agnostic and can be used to compare performances for different model types, model architectures, and/or training and test datasets. We demonstrate the usefulness of ConfusionFlow in a case study on instance selection strategies in active learning. We further assess the scalability of ConfusionFlow and present a use case in the context of neural network pruning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23896v1cs.AI공통 태그 Active Learning, Model Selection

자율 재료 발견을 위한 비용 인식 회수 경로 식별 및 베이지안 최적화

Cost-Aware Recovery-Pathway Identification and Bayesian Optimization for Autonomous Materials Discovery

자율 실험실은 실험 수행을 자동화하지만, 캠페인은 또한 어떤 회수 경로가 최적화할 가치가 있는지 결정해야 한다. 우리는 이를 이질적인 실험 비용 하에서 이산적인 경로 식별 단계와 경로 내 연속 최적화 단계를 갖는 순차적 의사결정 문제로 공식화한다. 우리의 구현인 Coactive learning은 EC2(Golovin et al., 2010)에서 영감을 받은 비용 민감 베이지안 가설 판별 정책과 가우시안 프로세스 베이지안 최적화(Srinivas et al., 2010)를 결합한다. 명시적으로 진술된 가정 하에서, 고정 예산 캠페인 시도 1회의 기대 지출은 기대 경로 식별 비용과 상한이 설정된 경로 내 최적화 예산의 합으로 한정된다. 우리는 PNNL의 CICERO 선택적 침전 연구(Ritchhart et al., 2026)에서 보고된 선별된 결과로 제약된 합성 벤치마크(benchmark)에서 이 방법을 평가한다. 이 방법은 정답 경로에 대한 오라클 레이블을 받지 않으면서 첫 번째 플레이트로 경로를 판별하는 강력한 split-plate 기준선(baseline) 및 오라클 경로 베이지안 최적화 기준과 비슷한 성능을 보인다. 이 방법에는 후보 가설 공간과 진단 가능도(likelihood) 모델이 주어진다. NdFeB에서 영감을 받은 사례에서, 이 방법은 처음에 그럴듯하지만 열등한 수산화물 경로를 선택하는 commit-first 기준선의 시뮬레이션 페널티를 피한다. 이 가상의 잘못된 선(先)확정 시나리오는 CICERO에서 보고된 수산화물-옥살레이트 성능 대비에 의해 동기화된다. 우리는 이러한 결론이 가정된 비용 모델에 대해 얼마나 민감한지 특성화한다. 코드와 벤치마크는 오픈 소스이다.

arXiv:2607.21480v1cs.LG공통 태그 Active Learning, Model Selection

고재현율 후보 생성을 위한 유한 표본 커버리지 감사: 인증과 학습 이론적 설계

Finite-Sample Coverage Audits for High-Recall Candidate Generation: Certification and Learning-Theoretic Design

경험적 파이프라인에서 초기 고재현율 단계는 어떤 항목이 이후의 검토, 라벨링, 모델링 단계로 넘어갈지를 결정하며, 이 단계에서 놓친 관련 항목은 이후 모든 단계에서 손실된다. 우리는 유한 표본 유효성 하에서 이 놓친 관련 질량이 작다는 것을 인증하기 위해 필요한 감사 라벨 수를 연구하며, 주요 결과는 이 문제의 라벨 복잡도를 특성화한다. 우리는 먼저 후보 집합 내부의 라벨만을 사용하는 어떤 절차도 놓친 질량에 대한 비자명한 상한을 인증할 수 없음을 보인다. 감사는 미회수 관련 항목이 존재할 수 있는 유일한 영역인 제외 풀(excluded pool)을 샘플링해야 한다. 그다음 매칭되는 유한 코퍼스 하한을 증명한다. 관련 항목이 하나도 없을 때 $m$개 미만의 놓친 관련 항목을 높은 확률로 인증하는 임의의 유효한 감사는, 적응적이고 포함 풀(included pool) 전체에 라벨을 부여할 수 있더라도, 제외 풀 라벨의 $N_0/m$ 차(order)만큼을 검사해야 한다. 따라서 제외 풀 감사는 제로 누락(zero-miss) 체계에서 놓친 질량 인증에 있어 단순히 편리한 것이 아니라 minimax rate-optimal하다. 이 특성화를 바탕으로, 우리는 점근 근사 대신 이항 및 초기하(hypergeometric) 역변환을 사용하는 정확한 유한 표본 도구 키트를 개발한다. 이는 놓친 질량을 인증하고, 이중 풀(two-pool) 설계를 통해 재현율로 변환하며, 사전 지정된 중첩 후보 생성기(nested candidate generator) 패밀리를 동시에 인증하고, 선언된 교란 메커니즘에 대한 스트레스 테스트 인증서를 생성한다. 이러한 인증서는 관측 가능한 검토 부담과 결합하여 놓친 질량 목표를 충족하는 사전 지정 후보 생성기 중 부담이 가장 적은 것을 선택하는 데 사용할 수 있다. 모든 보장은 하나의 규율 하에서 성립한다. 후보 생성기, 또는 그로부터 선택되는 사전 지정 패밀리, 그리고 감사 규칙은 인증 라벨을 조사하기 전에 고정된다.

arXiv:2607.11720v1cs.LG공통 태그 Active Learning, Model Selection

능동적 오프라인-온라인 강화학습

Active Offline-to-Online Reinforcement Learning

배경: 오프라인 강화학습(RL)은 대규모의 사전 수집된 데이터셋으로부터 효과적인 정책을 학습하고, 이후 제한된 온라인 상호작용을 통해 성능을 개선할 수 있게 한다. 이러한 오프라인-온라인 강화학습(O2O-RL) 패러다임은 상호작용 비용이 높거나 잠재적으로 위험한 비정상(nonstationary) 도메인에서 특히 유망하다. 표준 O2O-RL 파이프라인은 여러 후보 정책을 오프라인으로 학습하고, 오프-정책(off-policy) 또는 온라인 평가를 통해 이를 평가한 뒤, 추정 가치가 가장 높은 정책을 배포하여 미세조정(fine-tuning)한다. 그러나 오프라인 사전학습과 마찬가지로, 미세조정 성능은 알고리즘과 하이퍼파라미터 선택에 매우 민감하여 단일 정책으로 확정하는 것은 위험을 수반한다. 목적: 본 연구는 O2O-RL 환경에서 제한된 상호작용 예산 내에 미세조정을 위한 능동적 정책 선택 문제를 다룬다. 이는 해당 문제를 다룬 최초의 연구이다. 방법: 온라인 상호작용을 정책 평가에 할당하는 것(고성능 정책 식별에 기여)과 미세조정에 할당하는 것(정책 성능 향상에 기여) 사이의 근본적인 트레이드오프를 규명하여 문제를 정식화한다. 이후 온라인 평가를 통해 획득한 관측값에 피팅된 국소 선형 성능 예측(locally linear performance forecasts)으로부터 도출된 미래 성능의 상한 신뢰 구간(upper-confidence bounds)에 기반하여 미세조정할 정책을 능동적으로 선택함으로써 이 트레이드오프를 균형 있게 조정하는 방법을 제안한다. 결과: 다양한 실험에 걸쳐 제안된 방법은 기존 O2O-RL 베이스라인을 일관되게 능가한다. 결론: 정책을 능동적으로 선택하고 미세조정하는 방식은 단일 정책으로 확정하거나 예산을 모든 정책에 균등하게 배분하는 방식보다 제한된 온라인 상호작용 예산을 더 효과적으로 활용한다. 또한 본 프레임워크는 온라인 상호작용이 비용이 높거나 위험한 실제 시스템에서의 실용적 배포를 향해 오프라인 강화학습을 진전시킨다.

arXiv:2607.05461v1cs.LG공통 태그 Active Learning, Model Selection

AdaStop: DNN 테스트 선택을 위한 비용 인식 조기 종료

AdaStop: Cost-Aware Early Stopping for DNN Test Selection

심층 신경망(DNN) 테스트를 위한 기존 방법들은 주로 고정된 레이블링 예산 내에서 모델 결함을 드러낼 가능성이 높은 테스트 입력을 우선시한다. 실제로 해당 예산을 결정하는 것은 어렵다. 테스트가 너무 적으면 실패를 놓치고, 너무 많으면 불필요한 레이블링 비용이 발생한다. 본 연구는 DNN 테스트에서의 중단 문제를 다룬다. 우리는 테스트를 입력에 레이블을 부여하는 데 비용 $c$가 발생하고 결함을 발견하면 가치 $v$를 얻는 비용-편익 의사결정 과정으로 공식화한다. 이 공식화를 기반으로, 테스트 중 한계 결함 발견율을 추정하고 추정된 비율이 임계값 $τ= c/v$ 아래로 떨어질 때 레이블링을 중단하는 프레임워크인 AdaStop을 제안한다. 여러 데이터셋, 아키텍처, 선택 전략에 걸친 실험 결과, 레이블링 예산의 $9$--$31\%$만을 사용하여 결함의 $65$--$84\%$를 발견할 수 있음을 보인다.

arXiv:2606.26460v1cs.AI공통 태그 Active Learning, Model Selection

auto-psych: 에이전트 주도 이론 발견과 실험을 통한 마음의 과학 자동화

auto-psych: Automating the science of mind using agent-driven theory discovery and experimentation

AI 기반 과학 자동화는 에이전트가 가설을 생성하고, 실험을 설계하며, 데이터를 분석함으로써 점점 더 가능해지고 있다. 그러나 이 파이프라인에서 데이터 수집은 주요 병목이다. 심리학, 특히 계산 인지과학(computational cognitive science)은 이론이 종종 코드로 표현되고 크라우드소싱 플랫폼이 대규모 프로그래매틱 인간 데이터 수집을 가능하게 하므로 AI 실험의 혜택을 받기에 적합한 위치에 있다. 본 연구에서는 계산 인지과학에서 이론을 생성하는 프로젝트에 자동화된 발견 기법을 적용하며, 에이전트 기반 시스템이 크라우드소싱 설문 실험을 통해 독립적으로 인간 데이터를 수집한다. 테스트베드로, 인지 심리학의 고전적 사례 연구인 동전 던지기 순서 중 어느 것이 주관적으로 더 무작위적으로 느껴지는지 판단하는 문제를 사용한다. 우리 시스템 auto-psych는 중첩된 에이전트 기반 발견 루프를 사용하여 인간 행동에 대한 설명적 이론을 생성한다. 내부 루프는 확률적 인지 모델을 추측하고, 적합시키고, 비판한다; 외부 루프는 이러한 모델을 검증하기 위한 실험을 설계하고, 온라인으로 실행하며, 데이터를 분석한다. 이 시스템은 체계적 실험을 통해 합성 데이터로부터 정답 이론(ground-truth)을 빠르고 신뢰성 있게 복원할 수 있지만, 중첩 구조는 모델 성능에 핵심적이다. 또한, 세 번의 독립적인 인간 실험 시퀀스에서 이 시스템은 과학 문헌에서 생성된 이론보다 데이터에 더 잘 맞는 이론을 찾는다. 따라서 본 연구는 계산 인지과학에서 자동화된 데이터 수집과 이론 발견의 실현 가능성을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.