개념 병목 모델을 위한 라쇼몽 슬라이스의 매개변수 효율적 구축
Parameter-Efficient Construction of the Rashomon Slice for Concept Bottleneck Models
한국어 초록
많은 머신러닝 문제에서 근본적으로 서로 다른 내부 논리에 의존하면서도 거의 동일한 예측 성능을 달성하는 여러 모델이 존재할 수 있습니다. 그러나 표준적인 학습(training) 절차는 단일 모델만을 생성하므로, 다운스트림 요구에 더 적합할 수 있는 대안들을 탐색할 실질적인 방법을 제공하지 못합니다. 이처럼 동등하게 정확한 모델들의 집합을 라쇼몽 집합(Rashomon set)이라고 합니다. 라쇼몽 집합을 탐색하는 것은 중간 단계의 인간이 이해할 수 있는 개념을 통해 예측을 수행하여 컴퓨터 비전(CV) 분야에서 널리 사용되는 개념 병목 모델(Concept Bottleneck Models, CBMs)과 같이 크고 복잡한 가설 공간에서 특히 어렵습니다. 본 논문에서는 CBM의 라쇼몽 집합을 효율적으로 탐색하는 방법을 제시합니다. 제안하는 프레임워크는 특화된 병렬 매개변수 효율적 적응 모듈을 체크포인팅 기법 및 개념 다양성 목표와 결합하여, 단 한 번의 학습 과정에서 동등하게 정확한 다수의 CBM을 생성합니다. 실증적 결과는 제안하는 방법이 훨씬 적은 메모리를 사용하면서도 베이스라인보다 다양성이 더 뛰어난 모델들을 찾아냄을 보여줍니다. 나아가 이렇게 다양하면서도 정확한 CBM들에 접근할 수 있게 됨으로써 신뢰할 수 있는 모델 선택, 클래스 간 혼동 해소, 의사결정 시 신뢰성 있는 기권(abstention)이 가능해짐을 입증합니다.
원문 초록
In many machine learning problems, there may exist multiple models that achieve nearly identical predictive performance while relying on fundamentally different internal logic. However, standard training procedures produce a single model, offering no practical way to explore alternatives that may better suit downstream needs. The set of these equally accurate models is known as the Rashomon set. Exploring the Rashomon set is particularly challenging in large and complex hypothesis spaces, such as Concept Bottleneck Models (CBMs), which are widely used in computer vision to make predictions through intermediate, human-understandable concepts. In this paper, we provide a method for efficiently exploring the Rashomon set of CBMs. Our framework introduces a specialized parallel parameter-efficient adaptation module, combined with a checkpointing scheme and a concept diversity objective, to generate multiple equally accurate CBMs from a single training process. Empirical results show that our method finds models with better diversity than baselines while using much less memory. We further demonstrate that access to these diverse yet accurate CBMs enables trustworthy model selection, resolution of inter-class confusion, and reliable abstention in decision-making.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2511.19636v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조합 융합을 통한 양자-고전 모델의 다양성 인지 앙상블
Diversity-Aware Ensemble of Quantum-Classical Models via Combinatorial Fusion
변분 양자 회로(VQC)는 회로 구조에 매우 민감하지만, 대부분의 양자 머신러닝 파이프라인은 단 하나의 최적 설계를 선택하고 나머지 후보는 폐기합니다. 본 논문에서는 양자 회로 탐색 공간 전반의 구조적 다양성을 활용하여 모델 융합(model fusion)을 통해 더 강력한 예측을 생성할 수 있는지 다룹니다. 순위-점수 함수(RSF)와 인지적 다양성(CD)을 활용해 여러 점수 산정 시스템을 선택하고 결합하는 모델 융합 프레임워크인 조합 융합 분석(CFA)을 구조적으로 다양한 29개의 고전 모델 및 양자 회로 풀에 적용합니다. 다양성 인지 모델 선택 방법을 사용하여 최대의 다양성을 지닌 모델 서브셋을 식별하고, 이를 점수 및 순위 결합 방식 모두로 결합합니다. 서로 다른 도메인을 포괄하는 4개의 이진 분류 벤치마크에 대한 실험 결과, CFA 기반의 하이브리드 고전-양자 융합은 고려된 모든 데이터셋에서 최고 성능의 개별 모델보다 일관되게 우수한 성능을 보였으며 정확도가 최대 6.03% 향상되었습니다. 관련 문헌과의 비교에서도 CFA 프레임워크는 4개 데이터셋 전반에서 더욱 우수한 성능을 달성합니다.
DecoupleMix: 확장 가능한 VLM 데이터 레시피를 위한 분리형 비율 탐색 및 볼록 할당
DecoupleMix: Decoupled Ratio Search and Convex Allocation for Scalable VLM Data Recipes
비전-언어 모델(VLM)의 데이터 큐레이션(data curation)은 점점 활발해지고 있지만, 사전학습 혼합(mixture) 구성에 대한 공개된 관행은 여전히 대체로 휴리스틱(heuristic)에 의존한다. 실무자들은 품질 필터를 통과한 데이터셋을 쌓아 올리고, 도메인 간 비율은 직관에 따라 설정하며, 새로운 데이터를 편입할 원칙적이고 귀속 가능(attributable)한 기준을 갖추지 못한 채 최첨단 레시피는 공개되지 않은 상태로 남아 있다. 우리는 데이터 구성을 체계적인 혼합 최적화(mixture-optimization) 문제로 공식화하고, 혼합을 두 개의 직교(orthogonal) 하위 문제—역량(capability) 간 클래스 간(inter-class) 비율과 카테고리 내 클래스 내(intra-class) 비율—로 분리함으로써 이를 재현 가능한 엔지니어링 절차로 전환한다. 클래스 간 할당에는 단일 변수 반복 탐색을 사용하고, 클래스 내 구성에는 다차원의 데이터셋 수준 평가로 품질(Quality)과 난이도(Difficulty)를 점수화한 뒤, 다양성(diversity) 목표를 갖춘 제약 볼록 최적화(constrained convex optimization)로 선택 문제를 공식화한다. DecoupleMix 프레임워크는 두 가지 핵심 기능을 제공한다: 다음에 수집할 데이터를 안내하고, 데이터셋 검증을 통제 가능하고 귀속 가능한 실험으로 만든다. 실험 결과, 우리 접근법은 휴리스틱 기준선(baseline)을 일관되게 능가한다. 더 나아가, 소규모 프록시(proxy)에서 발견한 최적 비율은 재조정(retuning) 없이 더 큰 규모로 원활히 이전(transfer)된다. 800억(80B) 개의 추가 멀티모달 지속 사전학습(continue-pretraining) 토큰을 사용하여, 우리 VLM은 훨씬 더 큰 멀티모달 예산으로 학습된 강력한 오픈소스 모델과 경쟁력 있는 성능을 보인다.
다양성 지표는 다양성을 측정하는가? LLM 앙상블에서 다수결 투표 이득에 대한 역량 통제 감사
Are Diversity Metrics Measuring Diversity? A Capability-Controlled Audit of Majority-Vote Gain in LLM Ensembles
LLM에 대한 다수결 투표는 다양성으로부터 이득을 본다고 널리 가정되며, 다양성 측정치는 어떤 모델을 결합할지 선택하는 데 사용된다. 우리는 이러한 다섯 가지 측정치가 다양성을 추적하는지, 아니면 주로 역량을 재표현하는지를 묻고, 명시적 역량 통제 하에서 MMLU-Pro에서 30개 LLM의 31,900개 부분집합(TruthfulQA에서는 29개)에 걸쳐 최고 성능 멤버 대비 다수결 투표 이득의 예측변수로서 이를 감사한다. 세 가지 발견이 도출된다. 첫째, 잠재적 상보성(latent complementarity)은 어디에나 존재한다. 오라클 이득은 모든 부분집합에서 양수이지만, 단순 투표는 전체 표준 크기-3 부분집합의 9.98%에서만(홀드아웃 최고 선택 시 18.71%) 최강 멤버를 이기며, 크기 2–4를 통합한 비율은 1.27%로, 이는 부분적으로 결정론적 짝수 크기 투표 행동을 반영한다. 둘째, 공동 정확도 프록시(strict diversity)는 평균 정확도를 1에서 뺀 값과 거의 공선(collinear)이다(크기-3 Spearman rho = +0.991 / +0.988). 원(raw) 다양성–이득 연관은 역량과 강하게 얽혀 있으며, 한 가지 예외를 제외하고 통제 하에서 불안정하다. 셋째, 세 가지 선형 분할표(contingency-table) 통계량은 대수적으로 분리 불가능(non-separable)하다. 역량 통제 후 경험적으로 안정적인 잔여는, 더 많은 공유 오류가 더 낮은 이득에 대응하는 완만한 잔차 쌍별 공동 실패(co-failure) 연관이다. 이 방향은 견고하지만 그 크기는 구성에 따라 달라진다. strict diversity, disagreement, double-fault를 독립 예측변수로 취급하는 공동 원(raw)공간 선형 회귀는 구조적으로 계수(rank) 부족(rank-deficient)이다.
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
Program-as-Weights: 퍼지 함수를 위한 프로그래밍 패러다임
Program-as-Weights: A Programming Paradigm for Fuzzy Functions
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
토론
이 논문과 연결된 포럼 글이 아직 없습니다.