$S^{2}$-LBI: Stochastic Split Linearized Bregman Iterations for Parsimonious Deep Learning
원문 초록
This paper proposes a novel Stochastic Split Linearized Bregman Iteration ($S^{2}$-LBI) algorithm to efficiently train the deep network. The $S^{2}$-LBI introduces an iterative regularization path with structural sparsity. Our $S^{2}$-LBI combines the computational efficiency of the LBI, and model selection consistency in learning the structural sparsity. The computed solution path intrinsically enables us to enlarge or simplify a network, which theoretically, is benefited from the dynamics property of our $S^{2}$-LBI algorithm. The experimental results validate our $S^{2}$-LBI on MNIST and CIFAR-10 dataset. For example, in MNIST, we can either boost a network with only 1.5K parameters (1 convolutional layer of 5 filters, and 1 FC layer), achieves 98.40\% recognition accuracy; or we simplify $82.5\%$ of parameters in LeNet-5 network, and still achieves the 98.47\% recognition accuracy. In addition, we also have the learning results on ImageNet, which will be added in the next version of our report.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
JOVE: 자원 인지형 LLM 태스크 그래프를 위한 공동 실행 및 검증
JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs
복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.
모든 오류가 스케일링으로 해결되지는 않는다: 비전-언어 추론에서 스케일링이 멈추는 지점
Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference
비전-언어 모델(VLM)은 미세한 지각을 위해 더 많은 시각 정보를 처리하는 것과 복잡한 추론을 위해 더 큰 언어 백본을 사용하는 것 사이에서 고정된 예산 트레이드오프(trade-off)에 직면합니다. 기존 연구들은 특히 고해상도 배포 환경에서 백본 크기와 입력 해상도를 어떻게 조합하여 배포해야 하는지 알려주지 못합니다. 이러한 공백을 해결하기 위해, 본 논문은 언어 백본 크기와 시각적 토큰(visual token) 수에 따라 VLM 성능이 어떻게 변화하는지 설명하는 '분리 가능 법칙(Separable Law)'을 제안합니다. 저자들은 언어 백본 크기가 1B에서 72B에 이르는 26개의 InternVL 및 QwenVL 모델을 대상으로 224픽셀부터 8K 해상도에 이르는 4개의 고해상도 벤치마크에서 측정한 데이터를 바탕으로 이 법칙을 적합(fitting)했습니다. 연구 결과, 스케일링에 반응하는 질문은 해당 질문이 요구하는 능력(skill)을 통해 예측할 수 있는 반면, 상당한 비율의 질문은 스케일링에 전혀 반응하지 않는다는 것을 발견했습니다. 또한 두 모델 패밀리가 더 큰 백본으로부터 얻는 이득은 유사하지만, 더 많은 시각적 토큰으로부터 얻는 이득은 크게 다르다는 점을 확인했습니다. 비용 법칙(cost law)과 결합된 분리 가능 법칙은 백본 크기와 시각적 토큰 간의 계산 자원을 할당하기 위한 닫힌 형식(closed-form) 규칙을 제공합니다. 가용 구성에 제약이 있는 배포 환경에서도 이 법칙은 동일한 예산 내에서 실현 가능한 최선의 선택에 근접한 성능을 내는 모델과 이미지 크기를 찾아냅니다. 본 연구가 모델이 추론해야 할 대상에 맞춰 고해상도에서 얼마나 많은 것을 보게 할지 결정하는 원칙적인 방법을 제공하기를 기대합니다.
희소 가우시안 프로세스 회귀에서의 기저 함수 선택
On Basis Function Selection for Sparse Gaussian Process Regression
희소 가우시안 프로세스는 입력 공간 상의 고정 기저 $\{\phi_j\}$로의 적절한 전개로 커널을 대체함으로써 $O(N)$ 추론을 달성한다. 계산 예산 $M \ll N$이 주어지면, 실무자들은 관례적으로 기저를 처음 $M$개 항으로 잘라(truncate) 사용한다. 그러나 형식적 프레임워크상 데이터에 실제로 중요한 $M$개의 기저 함수만 선택하는 것을 막을 수는 없다. 이렇게 하면 신호가 없는 기저 함수에 예산을 쓰는 것을 피할 수 있지만, 후보를 순위 매기기 위한 기준이 필요하다. 우리는 기저 함수 선택 문제에 대한 정보 이론적 관점에서 도출한 세 가지 기준을 제안한다. 각 기준은 선택 시점의 서로 다른 지식 상태에 대응한다: 무-데이터(no-data) 상태, 무-사전(no-prior) 상태, 그리고 그 중간(in-between) 상태. 그런 다음 세 가지 기저 계열—Hilbert 공간 가우시안 프로세스(HSGP), 변분 푸리에 특징(VFF), 변분 inducing 구면 조화(VISH)—에 대해 여섯 개의 UCI 회귀 벤치마크에서 절단(truncation) 대비 선택(selection) 전략의 성능을 연구한다. 우리는 무-데이터 기준이 안전한 기본값이며, HSGP, VFF, VISH에 대해 절단과 동등하거나 더 나은 성능을 보이고, VISH에서는 상당한 이득을, 해당 기저 계열에 대해 최근 개발된 선택 휴리스틱 대비 개선을 보인다고 관찰한다. 데이터를 고려한 무-사전 및 중간 기준은 세 계열 중 실무에서 가장 널리 쓰이는 HSGP에 대해 절단 대비 상당한 이득을 제공한다.
COMED: 다중 LLM 추론에서 라우팅과 협업 사이의 빠진 중간 영역
COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference
어떤 단일 대규모 언어 모델(LLM)도 모든 질의에 대해 일관되게 신뢰할 수는 없으며, 이는 모델 간 라우팅을 수행하거나 모델들의 출력을 결합하는 다중 모델 추론(inference) 시스템의 필요성을 이끌어냈습니다. 그러나 라우팅은 초기 모델을 선택한 후 멈추는 반면, 밀집 협업(dense collaboration)은 모든 질의마다 동료 모델(peers)을 호출합니다. 본 연구에서는 협업이 비단조적(non-monotonic)임을 보여줍니다. 동료 모델은 어떤 모델도 단독으로 해결하지 못한 실패를 복구할 수도 있지만, 초기에 정답이었던 답변을 손상시킬 수도 있습니다. 이에 따라 선택적 교차 모델 협업을 위한 앵커 사후 컨트롤러인 COMED(Controlled Model Escalation for Multi-LLM Deliberation)를 제안합니다. COMED는 앵커 자체 일관성(self-consistency), 라우터 마진(margin), 그리고 경량 동료 프로브(probe)를 활용하여 확신도가 높은 답변은 수용하고, 모호한 경우는 검증하며, 협업이 유익할 가능성이 높을 때만 에스컬레이션합니다. 본 논문에서는 협업으로 유발되는 피해보다 복구된 오류가 더 많을 때 선택적 협업이 성능을 향상시킨다는 점을 구제-피해 분해(rescue-harm decomposition)를 통해 정식화합니다. 의학, 과학 및 일반 추론 벤치마크 전반에 걸쳐 COMED는 밀집 협업보다 더 적은 수의 모델을 호출하고 더 적은 디코딩 토큰(token)을 사용하면서도, 16개의 모든 오픈 가중치(weight) 설정에서 고정 및 라우팅된 앵커를 개선하였으며 MedQA에서는 최대 +10.7%p의 향상을 달성했습니다. 프론티어 모델을 활용한 HLE에서 COMED는 GPT-5.5의 성능을 23.1%에서 28.1%로 끌어올려 밀집 협업을 능가하고 최고 성능을 기록했습니다.
검색 및 하드웨어 제약 하에서 튀르키예어 도메인 문서를 위한 오픈 가중치 LLM 평가
Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints
튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.
배포 전 PTQ 구성 선택을 위한 양자화 가격 예측
Predicting Quantization Price for Selecting PTQ Configurations Before Deployment
가중치 공간 사후 학습(post-training) 양자화(PTQ)는 완성된 양자화 모델이 출력 분포 드리프트를 드러내기 전에 유한 형식, 세분화(granularity), 양자화기(quantizer) 계열, 변환, 비트 수를 정해야 한다. 기존 PTQ 방법은 재구성 오류, 헤시안 민감도, 변환 효과, 하류 손실 등 이러한 성능 저하의 중요한 요소를 예측하지만, 이러한 요소는 보통 양자화 기하(geometry)를 고정한 뒤 또는 서로 다른 구성군(configuration family) 안에서 따로 점수화된다. 우리는 가중치 공간 PTQ를 가격이 매겨진 층 출력 오류를 이용한 배포 전 구성 선택 문제로 형식화한다. 각 허용 가능한 층 구성은 배포 비용을 지닌 오류 생성기로 취급되며, 이는 층 출력 오류 공분산 $\boldsymbol{\Sigma}_l(\alpha_l)$을 유도하고, full-precision 모델은 하류 곡률(curvature)로 그 공분산에 가격을 매긴다, $\widehat{\rho}_l(\alpha_l)=\frac{1}{2}\operatorname{Tr}\left(\widehat{\mathbf{H}}_l\,\widehat{\boldsymbol{\Sigma}}_l(\alpha_l)\right)$. 이 가격은 full-precision에서 양자화 모델로의 순방향 KL에서 유도되며, 1차 항은 기준(reference) 모델에서 상쇄된다. 이를 통해 재구성 및 대각(diagonal) 점수는 가격 인수를 떨어뜨린 축약 프록시가 되고, 유한 형식, 코드북(codebook), 세분화, 동등(equivalent) 변환은 유도하는 공분산과 지불하는 비용을 통해 비교 가능한 후보가 된다. trace 축약(reduction)은 보정(calibration) 시점 가격 테이블과 예산 제약 가격 안내(price-guided) 선택기를 산출하며, 고정 기하 비트 할당을 조직화 문제가 아니라 특수한 경우로 만든다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.