arXiv:2111.09043

ORSA: Outlier Robust Stacked Aggregation for Best- and Worst-Case Approximations of Ensemble Systems\

Peter Domanski, Dirk Pflüger, Jochen Rivoir, Raphaël Latty

제출 2021-11-17

원문 초록

In recent years, the usage of ensemble learning in applications has grown significantly due to increasing computational power allowing the training of large ensembles in reasonable time frames. Many applications, e.g., malware detection, face recognition, or financial decision-making, use a finite set of learning algorithms and do aggregate them in a way that a better predictive performance is obtained than any other of the individual learning algorithms. In the field of Post-Silicon Validation for semiconductor devices (PSV), data sets are typically provided that consist of various devices like, e.g., chips of different manufacturing lines. In PSV, the task is to approximate the underlying function of the data with multiple learning algorithms, each trained on a device-specific subset, instead of improving the performance of arbitrary classifiers on the entire data set. Furthermore, the expectation is that an unknown number of subsets describe functions showing very different characteristics. Corresponding ensemble members, which are called outliers, can heavily influence the approximation. Our method aims to find a suitable approximation that is robust to outliers and represents the best or worst case in a way that will apply to as many types as possible. A 'soft-max' or 'soft-min' function is used in place of a maximum or minimum operator. A Neural Network (NN) is trained to learn this 'soft-function' in a two-stage process. First, we select a subset of ensemble members that is representative of the best or worst case. Second, we combine these members and define a weighting that uses the properties of the Local Outlier Factor (LOF) to increase the influence of non-outliers and to decrease outliers. The weighting ensures robustness to outliers and makes sure that approximations are suitable for most types.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10615v1stat.ML공통 태그 Decision Making, Ensemble Learning

JevForest: 예산 제약 특징 획득을 위한 경로 투표

JevForest: Path Voting for Budgeted Feature Acquisition

제한된 관측 예산 하에서 어떤 정보를 관측할지 선택하는 것은 예측의 핵심 문제입니다. 본 연구에서는 부트스트랩된 트리들의 경로 의존적 제안을 종합하고 전역 학습(training) 정보 이득으로 가중치를 부여하며 공유 마스크 분류기로 획득한 값으로부터 예측을 수행하는 특징(feature) 획득 정책인 JevForest를 연구합니다. 온라인 구현체는 이 정책에 의해 선택된 의미적 답변을 얻기 위해 Jev에 질의합니다. 균형 잡힌 소규모 홀드아웃 샘플에서 4개 질문 포레스트 획득 방식은 AG News($n=48$)에서 정적 이득 순위 매김의 $0.667$, 무작위 순서의 $0.583$에 비해 $0.729$의 정확도를 달성했습니다. TREC($n=24$)에서는 순위가 역전되어 포레스트 정확도가 $0.667$인 반면, 정적 이득 순위 매김과 무작위 순서는 각각 $0.750$ 및 $0.833$이었습니다. 8개 질문을 한 번의 배치(batch)로 모두 질의하는 방식은 4개의 순차적 포레스트 질의보다 측정된 비용과 지연 시간이 더 낮으면서도 더 높은 정확도를 산출했으며, 직접적인 Jev 분류(classification)는 더 적은 비용으로 배치 정확도와 일치했습니다. 오프라인 MiniBooNE 실험에서는 함께 변경되는 3개의 데이터 및 포레스트 시드에 걸쳐 10개 특징에서 $0.845\pm0.010$, 40개 특징에서 $0.885\pm0.008$의 정확도(평균 $\pm$ 표본 표준편차)를 보였습니다. 함께 제공되는 뉴턴 부스팅(Newton boosting) 구현체는 전체 특징에 대한 예비 합성 결과를 제공합니다. 이러한 탐색적 결과는 유효한 Jev 획득 워크플로를 확립하지만 경로 투표의 일반적인 이점을 뒷받침하지는 못하며, 그 가치는 과제, 예측기, 그리고 질문 예산과 실제 질의 비용 간의 구분에 따라 달라집니다.

arXiv:2610.01014v1cs.AI공통 태그 Decision Making, Ensemble Learning

발견에서 결정까지: 대규모 언어 모델(LLM) 투표에서의 유한 예산 회복 가능성

From Discovery to Decision: Finite-Budget Recoverability in LLM Voting

여러 대규모 언어 모델(LLM) 응답에 대한 투표는 테스트 시간 스케일링(test-time scaling)과 앙상블(ensemble) 추론(inference)에서 널리 쓰이는 기본 연산(primitive)입니다. 더 많은 응답을 수집하면 후보 집합이 확장되어 정답이 발견될 가능성이 높아질 수 있습니다. 그러나 고정된 호출 예산 내에서는 발견된 답변이라도 최종적인 다수결(plurality) 승자가 되기 위해 남은 호출 횟수 내에서 충분한 지지를 축적해야 하므로, '발견과 결정 간의 격차(discovery-to-decision gap)'가 발생합니다. 본 연구에서는 실현된 투표 상태와 남은 호출 예산을 통해 이러한 격차를 특성화합니다. 저자들은 명확한 회복 가능성 임계값(recoverability threshold)을 유도하고, 샘플링이 진행됨에 따라 관찰된 후보 집합은 확장되기만 하는 반면 도달 가능한 최종 승자 집합은 축소되기만 하여 후보 수준의 전환 창(conversion window)이 유도됨을 보입니다. 지정된 독립동일분포(iid) 응답 법칙 하에서, 동일한 상태를 통해 정확한 유한 구간(finite-horizon) 최종 확률을 도출할 수 있습니다. 나아가 오답 식별자를 병합하는 것은 단일 호출 정확도를 보존하면서도 다수결 정확도를 향상시킬 수 없으며, 오답 확률 재분배의 효과는 실현된 투표 상태에 따라 달라짐을 보입니다. 단일 원소 도달 가능성(singleton reachability)은 정답 레이블이 필요 없는(gold-free) 정확한 잠금 보증서(locking certificate)를 제공합니다. 알려진 답변 공간(universe)에 대해, 이 보증서의 최초 작동 시점은 모든 허용 가능한 연속 과정이 동일한 고정 예산 출력을 생성하는 가장 빠른 접두 문맥(prefix)에 해당합니다. 실증적으로, 발견되었으나 선택되지 못한 대부분의 정답은 발견된 이후에야 비로소 도달 가능성을 상실합니다. 통제된 Word16 실험에서, 입력 순열(permutation)은 단일 호출 정확도를 본질적으로 유지하면서도 원시 다수결 정확도를 21.1%p 향상시켰습니다. 또한 정확한 잠금 기법은 16회 호출 예산에서 모든 고정 예산 출력을 보존하면서도 호출 수를 28-30% 절감합니다.

arXiv:2609.22497v1cs.AI공통 태그 Decision Making, Ensemble Learning

인공 숙의 군중의 지혜

The Wisdom of Artificial Deliberative Crowds

많은 비전문가 추정치의 집계는 종종 개별 전문가 판단을 능가하며, 이 현상은 군중의 지혜(wisdom of crowds)로 알려져 있다. 이는 보통 추정치의 독립성에 기인한다고 여겨지지만, 숙의(deliberation)를 통해 더 강한 효과가 나타난다. 소규모 숙의 집단의 합의 추정치를 평균내는 것은 고전적인 군중의 지혜를 능가하며, 숙의 이후 개별 판단 자체도 더 정확해진다. 이러한 개선이 대규모 언어 모델(LLM)이 서로 숙의할 때에도 이전되는지는 알려져 있지 않다. 여기서 우리는 이전에 인간 참가자 대상으로 사용된 3단계 숙의 패러다임을 세 가지 서로 다른 계열의 대규모 언어 모델에 맞게 조정하고, 현실적 이해관계가 점점 커지는 네 가지 영역에서 이를 검증한다: 시각적 수치 추정(Study 1), 기계학습 논문 동료 심사(Study 2), 인공지능 에이전트의 숨겨진 악의적 행동 탐지(Study 3), 실제 예측 시장과의 스포츠 예측(Study 4). 영역 전반에 걸쳐 숙의는 독립적 응답의 수동적 집계를 넘어 집단적 오류를 줄였고, 숙의 이후 개별 판단은 이러한 집단적 이득을 유지했다. 주목할 점은, 이 이점에는 모델 다양성이 필요했다는 것이다. 단일 모델의 클론들로 구성된 집단은 숙의로부터 이득을 얻지 못했다. 이러한 결과는 기계 숙의를 범용 집계 메커니즘으로 확립하며, 다양성을 핵심 요소로 제시한다.

arXiv:2609.27710v3cs.CV공통 태그 Ensemble Learning

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.