MS-BACO: A new Model Selection algorithm using Binary Ant Colony Optimization for neural complexity and error reduction
원문 초록
Stabilizing the complexity of Feedforward Neural Networks (FNNs) for the given approximation task can be managed by defining an appropriate model magnitude which is also greatly correlated with the generalization quality and computational efficiency. However, deciding on the right level of model complexity can be highly challenging in FNN applications. In this paper, a new Model Selection algorithm using Binary Ant Colony Optimization (MS-BACO) is proposed in order to achieve the optimal FNN model in terms of neural complexity and cross-entropy error. MS-BACO is a meta-heuristic algorithm that treats the problem as a combinatorial optimization problem. By quantifying both the amount of correlation exists among hidden neurons and the sensitivity of the FNN output to the hidden neurons using a sample-based sensitivity analysis method called, extended Fourier amplitude sensitivity test, the algorithm mostly tends to select the FNN model containing hidden neurons with most distinct hyperplanes and high contribution percentage. Performance of the proposed algorithm with three different designs of heuristic information is investigated. Comparison of the findings verifies that the newly introduced algorithm is able to provide more compact and accurate FNN model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
JOVE: 자원 인지형 LLM 태스크 그래프를 위한 공동 실행 및 검증
JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs
복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.
분류 성능의 지표로서 라이프-유사 네트워크 오토마타 규칙의 형태 불규칙성
Shape irregularity of Life-Like Network Automaton rules as an indicator of classification performance
복잡 네트워크(Complex Network, CN) 분류는 스케일 불변(scale-invariant)이면서도 계산적으로 효율적인 고수준의 구조적 특성화를 필요로 합니다. 라이프-유사 네트워크 오토마타(Life-Like Network Automata, LLNA) 기반 방법은 사전에 제공된 특징 없이도 창발적 시간 패턴을 활용하여 네트워크 기술자(descriptor)를 추출하는 흥미로운 방식을 제공하지만, 그 효과는 오토마타 전이 규칙의 선택이라는 높은 비용의 조합 최적화 문제로 인해 병목 현상을 겪습니다. 기존 연구들은 대규모 응용에 실현 불가능한 전수 탐색(exhaustive search)에 의존하는 반면, 본 연구는 규칙 공간이 LLNA 전이 함수와 톱니 형태의 유사성을 정량화하는 '들쭉날쭉함(jaggedness)'이라는 특성으로 근본적으로 구조화되어 있음을 밝힙니다. 우리는 이 지표가 혼돈성(chaoticity)과 민감도(sensitivity)에 대한 이론적 대리 지표로 작용함을 입증하며, 이러한 특성은 네트워크 범주 간의 식별력 있는 동적 동작을 생성하는 데 필수적입니다. 나아가, 우리는 들쭉날쭉함을 활용하여 규칙 선택을 유도하는 휴리스틱 탐색 전략을 도입합니다. 실험 결과에 따르면 본 접근법은 전수 탐색 방식에 비해 계산 오버헤드를 90% 줄이면서도 전역 최적값 대비 5% 이내의 분류 정확도를 달성합니다. 우리의 발견은 패턴 인식을 위한 오토마타 기반 방법을 최적화하는 새롭고 효율적인 프레임워크를 제공합니다.
모든 오류가 스케일링으로 해결되지는 않는다: 비전-언어 추론에서 스케일링이 멈추는 지점
Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference
비전-언어 모델(VLM)은 미세한 지각을 위해 더 많은 시각 정보를 처리하는 것과 복잡한 추론을 위해 더 큰 언어 백본을 사용하는 것 사이에서 고정된 예산 트레이드오프(trade-off)에 직면합니다. 기존 연구들은 특히 고해상도 배포 환경에서 백본 크기와 입력 해상도를 어떻게 조합하여 배포해야 하는지 알려주지 못합니다. 이러한 공백을 해결하기 위해, 본 논문은 언어 백본 크기와 시각적 토큰(visual token) 수에 따라 VLM 성능이 어떻게 변화하는지 설명하는 '분리 가능 법칙(Separable Law)'을 제안합니다. 저자들은 언어 백본 크기가 1B에서 72B에 이르는 26개의 InternVL 및 QwenVL 모델을 대상으로 224픽셀부터 8K 해상도에 이르는 4개의 고해상도 벤치마크에서 측정한 데이터를 바탕으로 이 법칙을 적합(fitting)했습니다. 연구 결과, 스케일링에 반응하는 질문은 해당 질문이 요구하는 능력(skill)을 통해 예측할 수 있는 반면, 상당한 비율의 질문은 스케일링에 전혀 반응하지 않는다는 것을 발견했습니다. 또한 두 모델 패밀리가 더 큰 백본으로부터 얻는 이득은 유사하지만, 더 많은 시각적 토큰으로부터 얻는 이득은 크게 다르다는 점을 확인했습니다. 비용 법칙(cost law)과 결합된 분리 가능 법칙은 백본 크기와 시각적 토큰 간의 계산 자원을 할당하기 위한 닫힌 형식(closed-form) 규칙을 제공합니다. 가용 구성에 제약이 있는 배포 환경에서도 이 법칙은 동일한 예산 내에서 실현 가능한 최선의 선택에 근접한 성능을 내는 모델과 이미지 크기를 찾아냅니다. 본 연구가 모델이 추론해야 할 대상에 맞춰 고해상도에서 얼마나 많은 것을 보게 할지 결정하는 원칙적인 방법을 제공하기를 기대합니다.
희소 가우시안 프로세스 회귀에서의 기저 함수 선택
On Basis Function Selection for Sparse Gaussian Process Regression
희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.
LLM 리더보드 주장은 숨겨진 모델 선택에 얼마나 민감한가?
How Sensitive Are LLM Leaderboard Claims to Hidden Model Selection?
LLM 리더보드에서의 성능 향상은 비공개로 평가된 여러 모델 변형 중에서 이루어진 선택을 반영할 수 있지만, 변형의 수와 이들 간의 의존성은 모두 공개되어 있지 않다. 본 연구는 공개된 마진(margin)이 고정된 비교 대상에 대한 제공자의 우위를 뒷받침하는 통계적 증거를 유지하면서 몇 개의 숨겨진 변형까지 지지할 수 있는지를 묻는다. 고정된 후보 모델군에 대해 가우시안 마진 모델을 가정하고, 모델군 내 상관관계의 하한에 대한 함수로서 이 최대 개수를 나타내는 민감도 곡선을 유도한다. 관련 상관관계는 순위 산정에 사용된 점수와 표본추출 모델에 부합해야 한다. 통제된 모델군에서 문항 단위를 통합한(pooled) 문항 상관관계는 0.90인 반면, 종합 점수(composite-score) 상관관계는 문항을 재표집할 때 0.46, MMLU 과목을 재표집할 때 0.92이다. Open LLM Leaderboard의 인접 순위 주장 394건에 대한 문항 기반 감사 결과, 391건은 선택을 고려하기 전부터 이미 통계적 뒷받침이 부족한 것으로 나타났다. 보정 전 검정을 통과한 주장들 중에서도, 인증 여부는 숨겨진 모델군의 상관관계에 대한 가정에 좌우될 수 있다. 이렇게 얻어진 곡선은 관측되지 않은 탐색 규모를 추정하지 않으면서 이러한 가정을 명시적으로 드러낸다.
COMED: 다중 LLM 추론에서 라우팅과 협업 사이의 빠진 중간 영역
COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference
어떤 단일 대규모 언어 모델(LLM)도 모든 질의에 대해 일관되게 신뢰할 수는 없으며, 이는 모델 간 라우팅을 수행하거나 모델들의 출력을 결합하는 다중 모델 추론(inference) 시스템의 필요성을 이끌어냈습니다. 그러나 라우팅은 초기 모델을 선택한 후 멈추는 반면, 밀집 협업(dense collaboration)은 모든 질의마다 동료 모델(peers)을 호출합니다. 본 연구에서는 협업이 비단조적(non-monotonic)임을 보여줍니다. 동료 모델은 어떤 모델도 단독으로 해결하지 못한 실패를 복구할 수도 있지만, 초기에 정답이었던 답변을 손상시킬 수도 있습니다. 이에 따라 선택적 교차 모델 협업을 위한 앵커 사후 컨트롤러인 COMED(Controlled Model Escalation for Multi-LLM Deliberation)를 제안합니다. COMED는 앵커 자체 일관성(self-consistency), 라우터 마진(margin), 그리고 경량 동료 프로브(probe)를 활용하여 확신도가 높은 답변은 수용하고, 모호한 경우는 검증하며, 협업이 유익할 가능성이 높을 때만 에스컬레이션합니다. 본 논문에서는 협업으로 유발되는 피해보다 복구된 오류가 더 많을 때 선택적 협업이 성능을 향상시킨다는 점을 구제-피해 분해(rescue-harm decomposition)를 통해 정식화합니다. 의학, 과학 및 일반 추론 벤치마크 전반에 걸쳐 COMED는 밀집 협업보다 더 적은 수의 모델을 호출하고 더 적은 디코딩 토큰(token)을 사용하면서도, 16개의 모든 오픈 가중치(weight) 설정에서 고정 및 라우팅된 앵커를 개선하였으며 MedQA에서는 최대 +10.7%p의 향상을 달성했습니다. 프론티어 모델을 활용한 HLE에서 COMED는 GPT-5.5의 성능을 23.1%에서 28.1%로 끌어올려 밀집 협업을 능가하고 최고 성능을 기록했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.