Unsupervised Estimation of Ensemble Accuracy
원문 초록
Ensemble learning combines several individual models to obtain a better generalization performance. In this work we present a practical method for estimating the joint power of several classifiers. It differs from existing approaches which focus on "diversity" measures by not relying on labels. This makes it both accurate and practical in the modern setting of unsupervised learning with huge datasets. The heart of the method is a combinatorial bound on the number of mistakes the ensemble is likely to make. The bound can be efficiently approximated in time linear in the number of samples. We relate the bound to actual misclassifications, hence its usefulness as a predictor of performance. We demonstrate the method on popular large-scale face recognition datasets which provide a useful playground for fine-grain classification tasks using noisy data over many classes.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조합 융합을 통한 양자-고전 모델의 다양성 인지 앙상블
Diversity-Aware Ensemble of Quantum-Classical Models via Combinatorial Fusion
변분 양자 회로(VQC)는 회로 구조에 매우 민감하지만, 대부분의 양자 머신러닝 파이프라인은 단 하나의 최적 설계를 선택하고 나머지 후보는 폐기합니다. 본 논문에서는 양자 회로 탐색 공간 전반의 구조적 다양성을 활용하여 모델 융합(model fusion)을 통해 더 강력한 예측을 생성할 수 있는지 다룹니다. 순위-점수 함수(RSF)와 인지적 다양성(CD)을 활용해 여러 점수 산정 시스템을 선택하고 결합하는 모델 융합 프레임워크인 조합 융합 분석(CFA)을 구조적으로 다양한 29개의 고전 모델 및 양자 회로 풀에 적용합니다. 다양성 인지 모델 선택 방법을 사용하여 최대의 다양성을 지닌 모델 서브셋을 식별하고, 이를 점수 및 순위 결합 방식 모두로 결합합니다. 서로 다른 도메인을 포괄하는 4개의 이진 분류 벤치마크에 대한 실험 결과, CFA 기반의 하이브리드 고전-양자 융합은 고려된 모든 데이터셋에서 최고 성능의 개별 모델보다 일관되게 우수한 성능을 보였으며 정확도가 최대 6.03% 향상되었습니다. 관련 문헌과의 비교에서도 CFA 프레임워크는 4개 데이터셋 전반에서 더욱 우수한 성능을 달성합니다.
인공 숙의 군중의 지혜
The Wisdom of Artificial Deliberative Crowds
많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.
다양성 지표는 다양성을 측정하는가? LLM 앙상블에서 다수결 투표 이득에 대한 역량 통제 감사
Are Diversity Metrics Measuring Diversity? A Capability-Controlled Audit of Majority-Vote Gain in LLM Ensembles
LLM에 대한 다수결 투표는 다양성으로부터 이득을 본다고 널리 가정되며, 다양성 측정치는 어떤 모델을 결합할지 선택하는 데 사용된다. 우리는 이러한 다섯 가지 측정치가 다양성을 추적하는지, 아니면 주로 역량을 재표현하는지를 묻고, 명시적 역량 통제 하에서 MMLU-Pro에서 30개 LLM의 31,900개 부분집합(TruthfulQA에서는 29개)에 걸쳐 최고 성능 멤버 대비 다수결 투표 이득의 예측변수로서 이를 감사한다. 세 가지 발견이 도출된다. 첫째, 잠재적 상보성(latent complementarity)은 어디에나 존재한다. 오라클 이득은 모든 부분집합에서 양수이지만, 단순 투표는 전체 표준 크기-3 부분집합의 9.98%에서만(홀드아웃 최고 선택 시 18.71%) 최강 멤버를 이기며, 크기 2–4를 통합한 비율은 1.27%로, 이는 부분적으로 결정론적 짝수 크기 투표 행동을 반영한다. 둘째, 공동 정확도 프록시(strict diversity)는 평균 정확도를 1에서 뺀 값과 거의 공선(collinear)이다(크기-3 Spearman rho = +0.991 / +0.988). 원(raw) 다양성–이득 연관은 역량과 강하게 얽혀 있으며, 한 가지 예외를 제외하고 통제 하에서 불안정하다. 셋째, 세 가지 선형 분할표(contingency-table) 통계량은 대수적으로 분리 불가능(non-separable)하다. 역량 통제 후 경험적으로 안정적인 잔여는, 더 많은 공유 오류가 더 낮은 이득에 대응하는 완만한 잔차 쌍별 공동 실패(co-failure) 연관이다. 이 방향은 견고하지만 그 크기는 구성에 따라 달라진다. strict diversity, disagreement, double-fault를 독립 예측변수로 취급하는 공동 원(raw)공간 선형 회귀는 구조적으로 계수(rank) 부족(rank-deficient)이다.
확률적 샘플링은 인식론적으로 얕다: LLM에서 온도 변동과 모델 다양성 간 차원 격차
Stochastic Sampling is Epistemically Shallow: The Dimensionality Gap Between Temperature Variation and Model Diversity in LLMs
언어 모델이 반복 실행마다 다른 답을 낼 때, 그 변동이 모델이 모르는 것을 드러내는가? Self-consistency는 다수결 투표를 통해 그 변동을 질문별 불확실성 추정치로 바꾼다. 그러나 같은 변동이 교차-질문 구조—관련 질문들이 다양한 앙상블이 그러듯 함께 뒤집히는 현상—를 드러내는가? 우리는 동일한 질문들에 대해 두 가지 체제를 비교한다: $τ=1$에서 $100$회 실행한 단일 모델 대 $τ=0$에서 각각 1회씩 실행한 24개 LLM 앙상블. Marchenko--Pastur 무작위 행렬 검정이 양쪽 모두에서 신호와 샘플링 노이즈를 분리한다. 단일 모델 내에서는 5개 패밀리와 3개 벤치마크(MMLU, HellaSwag, GSM8K) 전반에 걸쳐 노이즈 위로 올라오는 차원은 최대 1개뿐이다. 앙상블에서는 4개의 고유값이 노이즈 경계를 넘지만, 난이도가 맞춰진 Bernoulli null은 $500$회 Monte Carlo 추출 중 최대 1개만 생성한다. Self-consistency는 질문별 불확실성은 정확하게 제공하지만 탐지 가능한 교차-질문 구조는 제공하지 않으며, 다양한 앙상블만이 모델이 모르는 것을 드러낸다.
Rank-1 신원 합의가 1:N 얼굴 매칭에서 갤러리 등록 여부를 점수 임계값 설정보다 더 정확하게 예측한다
Rank-1 Identity Consensus Predicts Gallery Enrollment in 1:N Face Matching More Accurately than Score Thresholding
운영 환경의 1:N 얼굴 식별에서 각 프로브(probe)마다 중요한 질문이 생깁니다: 이 사람이 갤러리에 등록되어 있는가? 위험은 크고 비대칭적입니다. 동일인-존재(mate-present, MP) 프로브를 거절하면 유효한 단서를 잃고, 동일인-부재(mate-absent, MA) 프로브를 수락하면 반환되는 모든 후보가 오식별이 되며, 최악의 경우 부당 구속으로 이어집니다. 대부분의 접근법은 매칭 점수에 임계값을 두지만, 점수는 이미지 품질과 갤러리 규모·구성에 따라 크게 달라져, 배포 전에 고정한 임계값은 현실적 조건에서 취약합니다. 우리의 이전 연구는 1-consistency를 도입했는데, 이는 여러 독립적으로 학습된 매처(matcher) 간 순위 합의에 기반한 유일한 방법입니다: 모든 매처가 동일한 rank-1 신원을 반환하면 프로브를 MP로 라벨링합니다. 본 연구는 1-consistency를 (갤러리, 프로브 품질) 시나리오 36개에 걸쳐 스트레스 테스트합니다. 이는 네 가지 품질 수준과 두 가지 구조 축—신원당 이미지 수, 전체 등록 신원 수—을 포함합니다. 우리는 배포된 임계값이 달성할 수 있는 범위를 한정하는 두 가지 점수 임계값 방식과 벤치마킹합니다. 한 번 기준선 조건에서 보정된 고정 점수 임계값(Fixed Score-Thresholding, FST)은 품질이 저하되면 비대칭적으로 붕괴합니다: MP 재현율은 2% 미만으로 떨어지는 반면 MA 재현율은 거의 100%를 유지합니다. 시나리오별로 재조정되는 오라클 점수 임계값(Oracle Score-Thresholding, OST)은 임계값이 이론적으로 달성할 수 있는 최선이지만, 품질이 저하된 프로브에 대해 1-consistency는 조정 없이 OST와 동등한 성능을 보입니다. 둘은 주로 오류 유형에서 차이납니다(OST는 MP 재현율을, 1-consistency는 MA 재현율을 선호). 하지만 한 축에서 1-consistency는 단순히 오라클과 맞먹는 것에 그치지 않습니다: 프로브를 MP로 라벨링할 때, 심각한 저하 조건에서 OST의 66-84% 대비 97-100%의 확률로 올바른 동일인을 반환합니다. 요약하면, 1-consistency는 불가능한 요구사항 없이 오라클 수준의 정확도를 제공합니다: 임계값을 설정하지 않으므로, 프로브가 도착할 조건에 대한 사전 지식이 필요 없으며, 이것이 사용 가능하게 만드는 요소입니다.
주관적 지도학습을 위한 앙상블 다양성 최적화
Ensemble Diversity Optimization for Subjective Supervision
주관적 자연어 처리(NLP) 태스크는 주석자 간의 체계적인 의견 불일치를 자주 나타내며, 불확실성을 축소하는 것이 아니라 표현하는 모델을 필요로 한다. 우리는 앙상블 다양성 최적화(Ensemble Diversity Optimization, EDO)를 소개한다. EDO는 통합된 미분 가능 목적 함수를 통해 앙상블 가중치, 유효 카디널리티, 캘리브레이션을 공동으로 최적화하는 예측 공간 프레임워크이다. EDO는 Gumbel-소프트맥스 완화를 통해 앙상블 구성과 크기를 엔드투엔드로 학습하며, 불일치를 보존하거나 억제하는 방향으로 최적화를 유도하기 위해 검증 데이터로 조정된 부호 있는 다양성 정규화기를 통합한다. 이 정규화는 앙상블 붕괴를 방지하고 유용성-캘리브레이션 트레이드오프의 제어된 탐색을 가능하게 한다. 이 프레임워크는 소프트 F1 대리 함수, 클래스 불균형 해소를 위한 클래스 가중 교차 엔트로피, 앙상블 내부 변동성을 조절하기 위한 신뢰도 가중 다양성을 통합한다. 네 가지 주관적 텍스트 분류 벤치마크(ArMIS, ConvAbuse, HS-Brexit, MD-Agreement)에 대한 실험에서 EDO는 확률적 캘리브레이션을 크게 향상시켜, 기준선에 따라 교차 엔트로피를 40~78% 감소시키고 Soft-CE, Soft-MD, Top-5 Voting, WEL 대비 Brier 점수를 낮추며, 경쟁력 있는 F1을 유지하고 주석자 분포와의 정렬을 개선하는 것으로 나타났다. 이러한 결과는 부호 있는 다양성 정규화기와 함께 앙상블 구조를 공동 최적화하는 것이 지도학습에서 인간의 주관성을 모델링하기 위한 효율적이고 모델에 구애받지 않는 접근법임을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.