arXiv:1711.02368

Distributed Bayesian Piecewise Sparse Linear Models

Masato Asahara, Ryohei Fujimaki

제출 2017-11-07

원문 초록

The importance of interpretability of machine learning models has been increasing due to emerging enterprise predictive analytics, threat of data privacy, accountability of artificial intelligence in society, and so on. Piecewise linear models have been actively studied to achieve both accuracy and interpretability. They often produce competitive accuracy against state-of-the-art non-linear methods. In addition, their representations (i.e., rule-based segmentation plus sparse linear formula) are often preferred by domain experts. A disadvantage of such models, however, is high computational cost for simultaneous determinations of the number of "pieces" and cardinality of each linear predictor, which has restricted their applicability to middle-scale data sets. This paper proposes a distributed factorized asymptotic Bayesian (FAB) inference of learning piece-wise sparse linear models on distributed memory architectures. The distributed FAB inference solves the simultaneous model selection issue without communicating $O(N)$ data where N is the number of training samples and achieves linear scale-out against the number of CPU cores. Experimental results demonstrate that the distributed FAB inference achieves high prediction accuracy and performance scalability with both synthetic and benchmark data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.01539v3cs.NE공통 태그 Model Selection

MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화

MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning

본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.

arXiv:2610.15897v3cs.CL공통 태그 Model Selection

검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리

Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines

수학 문제에서 Qwen3-8B가 Llama-3.1-8B를 검토하면 정확도가 33.2점 상승하지만, Qwen3-8B 단독의 정확도가 그 결과보다 6.4점 더 높다. 다른 모델의 답을 검토하는 방식은 보통 생성 모델 대비 향상 폭으로 평가된다. 본 연구는 이러한 평가가 검증(verification)과 능력 전이(capability transfer)를 혼동한다는 점을 보인다. 검증은 어느 한 모델 단독보다 더 높은 정확도를 더하는 것이고, 능력 전이는 더 강한 검토 모델이 스스로도 낼 수 있었던 답을 제공하는 것이다. 수학, 지식, 코드, 추론 영역에서 12개 오픈 웨이트 모델(3B~72B)의 48개 쌍에 대해 더 강한 모델 단독과 비교해 측정한 결과, 검토 방식이 이를 능가하는 경우는 96개 검토 방향 중 9개에 불과했으며, 능력 격차가 클수록 성능이 더 나빠졌다. 그 원인은 앵커링이다. 검토 모델이 대체로 생성 모델을 따라가면서 자신의 올바른 답을 버린다. 검토 방식은 더 강한 모델 단독 대비 2.6~2.8배의 비용이 드는 반면, 동일한 두 번의 호출을 사용하는 선택기(selector)는 검토 방식보다 2.7~4.2점 더 정확하면서 비용도 더 저렴하다. 검증에 관한 연구는 생성 모델 대비 향상 폭만이 아니라 더 강한 모델 단독의 성능도 함께 보고해야 한다.

arXiv:2602.05786v4cs.LG공통 태그 Model Selection

트리 부스팅을 위한 하이퍼파라미터 선택

Selecting Hyperparameters for Tree-Boosting

트리 부스팅은 표 형식(tabular) 데이터에 널리 사용되는 기계학습 기법이다. 그러나 표본 외(out-of-sample) 정확도는 여러 하이퍼파라미터에 크게 의존한다. 본 논문에서는 $59$개의 회귀 및 이진 분류 데이터셋을 사용하여, 무작위 그리드 탐색(random grid search), 트리 구조 파르센 추정기(tree-structured Parzen estimator, TPE), 가우스 과정 기반 베이지안 최적화(Gaussian-process-based Bayesian optimization, GP-BO), Hyperband, 순차 모델 기반 알고리즘 구성(sequential model-based algorithm configuration, SMAC) 방법, 결정적 전체 그리드 탐색(deterministic full grid search)을 포함한 트리 부스팅을 위한 여러 인기 하이퍼파라미터 최적화(optimization) 방법을 실증적으로 비교한다. SMAC 방법은 평균적으로 고려된 다른 모든 방법을 명확히 능가하며, 고정된 튜닝 예산 하에서 다양한 표 형식 데이터셋 전반에 걸쳐 안정적인 성능을 제공한다. 이는 광범위한 수동 시행착오 튜닝을 감당할 수 없는 사용자에게 중요한 의미를 갖는다. 또한 (i) 정확한 튜닝을 위해서는 일반적으로 $100$회를 넘는 상대적으로 많은 시행(trial)이 필요하다, (ii) 하이퍼파라미터의 기본값을 사용하거나 작은 그리드에 대한 전체 탐색을 수행하는 것은 종종 매우 부정확한 모델을 초래한다, (iii) 고려된 모든 하이퍼파라미터가 트리 부스팅의 정확도에 실질적인 영향을 미칠 수 있으며, 즉 다른 것들보다 더 중요한 소수의 하이퍼파라미터 집합은 존재하지 않는다, (iv) 회귀 작업에서 부스팅 반복 횟수를 탐색 공간에 포함하는 것보다 조기 종료를 사용하여 선택하는 것이 더 정확한 결과를 낳는다.

arXiv:2605.29310v3cs.AI공통 태그 Model Selection

단계별 모델 라우팅을 위한 루브릭 기반 프로세스 보상

Rubric-Guided Process Reward for Stepwise Model Routing

단계별 모델 라우팅(stepwise model routing)은 각 추론 단계를 적합한 모델에 배정함으로써 대규모 추론 모델(LRM)의 효율을 높인다. 최근 방법들은 라우팅을 순차적 의사결정 과정으로 형식화하고 강화학습으로 라우터를 학습한다. 그러나 라우팅을 프로세스로 모델링함에도 불구하고, 라우터는 여전히 결과(outcome) 보상으로 지도된다. 이러한 보상은 최종 답의 정확성만 반영하며 중간 라우팅 결정을 평가하지 못해, 성능과 일반화를 약화시킬 수 있다. 이 공백을 메우기 위해, 우리는 단계별 모델 라우팅을 위한 루브릭 기반 프로세스 보상 프레임워크 RoRo를 제안한다. RoRo는 먼저 다양한 라우팅 궤적을 수집하고, 결과, 비용, 프로세스 품질을 바탕으로 선호 쌍(preference pairs)을 구성한다. 이어 Rubricor가 쿼리별 평가 루브릭을 생성하고 Judge가 이 루브릭 하에서 라우팅 궤적을 채점하도록 교대 최적화(alternating optimization)로 학습한다. 이렇게 얻은 프로세스 보상은 결과 보상과 결합되어 GRPO를 통해 라우팅 정책을 최적화한다. 동일 계열(same-family) 및 교차 계열(cross-family) 설정 모두에서 다섯 개의 추론 벤치마크에 대한 실험은 RoRo가 강력한 기준선들을 일관되게 능가하며 더 나은 정확도-비용 트레이드오프를 달성함을 보여준다.

arXiv:2606.21633v3cs.LG공통 태그 CPU

HERALD: CPU-GPU 협력형 KV 캐시 검색을 통한 고처리량 블록 확산 LLM 추론

HERALD: High-Throughput Block Diffusion LLM Inference via CPU-GPU Cooperative KV Cache Retrieval

블록 확산 LLM(block dLLM)은 토큰을 병렬로 생성하여 디코딩 처리량을 향상시키며, 자기회귀 LLM의 차세대 대안으로 부상하고 있다. 그러나 긴 컨텍스트에서는 KV 캐시가 메모리 대역폭과 용량 양면에서 여전히 주요한 처리량 병목이다. 자기회귀 LLM에서는 두 병목을 완화하기 위해 동적 희소 어텐션을 KV 오프로딩과 결합하는 경우가 많으며, 전체 KV 캐시를 CPU DRAM에 두고 핵심 부분집합만 GPU로 가져온다. 그러나 대역폭이 제한된 PCIe를 통한 KV 부분집합 선택과 검색은 상당한 오프로딩 오버헤드를 일으켜 GPU를 자주 정체시킨다. 우리는 KV 오프로딩을 지원하는 블록 dLLM용 최초의 동적 희소 어텐션 방법인 HERALD를 제시한다. HERALD는 블록 dLLM의 특성, 즉 블록마다 한 번 선택된 핵심 KV 부분집합이 해당 블록의 모든 디노이징 단계에서 재사용된다는 점을 활용하여, 다음 블록의 선택을 현재 블록의 디노이징 뒤에 숨길 수 있게 한다. HERALD는 실행 시스템과 함께 설계된 2단계 선택 알고리즘으로 이를 구현한다. GPU가 현재 블록을 디노이징하는 동안 CPU는 현재 블록의 B개 쿼리를 병합한 단일 쿼리로 다음 블록을 위해 전체 KV 캐시를 추측적으로 탐색하여 선택 연산을 Bx만큼 줄이고, 이후 GPU가 다음 블록의 실제 쿼리로 후보를 최종 top-K 부분집합으로 정제한다. K=1024에서 HERALD는 네 가지 블록 dLLM에 걸쳐 LongBench와 추론 과제에서 Dense 대비 거의 손실 없는 정확도를 달성하며, 디코딩 처리량을 Dense GPU 전용 추론 대비 최대 3.70배, 최신 블록 dLLM 희소 어텐션 방법인 MAGE 대비 2.59배, MAGE의 직접적인 KV 오프로딩 확장인 MAGE-Offload 대비 8.38배 향상시킨다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.