Training Deep Boltzmann Networks with Sparse Ising Machines
원문 초록
The slowing down of Moore's law has driven the development of unconventional computing paradigms, such as specialized Ising machines tailored to solve combinatorial optimization problems. In this paper, we show a new application domain for probabilistic bit (p-bit) based Ising machines by training deep generative AI models with them. Using sparse, asynchronous, and massively parallel Ising machines we train deep Boltzmann networks in a hybrid probabilistic-classical computing setup. We use the full MNIST and Fashion MNIST (FMNIST) dataset without any downsampling and a reduced version of CIFAR-10 dataset in hardware-aware network topologies implemented in moderately sized Field Programmable Gate Arrays (FPGA). For MNIST, our machine using only 4,264 nodes (p-bits) and about 30,000 parameters achieves the same classification accuracy (90%) as an optimized software-based restricted Boltzmann Machine (RBM) with approximately 3.25 million parameters. Similar results follow for FMNIST and CIFAR-10. Additionally, the sparse deep Boltzmann network can generate new handwritten digits and fashion products, a task the 3.25 million parameter RBM fails at despite achieving the same accuracy. Our hybrid computer takes a measured 50 to 64 billion probabilistic flips per second, which is at least an order of magnitude faster than superficially similar Graphics and Tensor Processing Unit (GPU/TPU) based implementations. The massively parallel architecture can comfortably perform the contrastive divergence algorithm (CD-n) with up to n = 10 million sweeps per update, beyond the capabilities of existing software implementations. These results demonstrate the potential of using Ising machines for traditionally hard-to-train deep generative Boltzmann networks, with further possible improvement in nanodevice-based realizations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SPORD: 공급망 계획을 위한 Simulation-Propose-then-OR-Dispose 접근법
SPORD: A Simulation-Propose-then-OR-Dispose Approach for Supply Chain Planning
수년간 이커머스 기업의 공급망 계획은 서로 분리된 프로젝트들의 모음 형태로 운영되어 왔다. 정적 네트워크 계획부터 동적 창고 품목 구성(assortment) 계획에 이르는 각 계획 업무는 분석가들이 처음부터 모델을 구축하고, 보정하고, 검증할 수 없는 결과물을 바탕으로 경영진을 설득하여 실행에 옮기도록 하는 데 수주가 걸리게 한다. 이를 야기하는 세 가지 장벽이 있다: 표준화가 어렵기 때문에 맞춤형 모델이 난립한다(운영 분절); 일단 통합되면 수백만 SKU, 수천 개 노드, 복잡한 라우팅 로직이라는 조합적 규모가 솔버가 짧은 시간 창 내에 처리할 수 있는 범위를 초과한다(계산적 난해성); 수학적으로 최적의 해도 경영진이 신뢰하지 않으면 실행되지 못한다(실행 장벽). 이 격차를 메우기 위해 JD.com의 NetSim 플랫폼으로 배포된 Simulation-Propose-then-OR-Dispose(SPORD) 방법을 제안하고 구현했다. 핵심 통찰은 분리(decoupling)이다: 시뮬레이션이 모든 고유한 비즈니스 로직을 흡수하면서 운영상 유효한 후보 경로의 전체 집합을 생성하고 평가하여 제안(propose)하고, 정수 계획(integer program)이 전역적으로 최적인 부분집합을 선택하여 처리(dispose)한다. 계산 측면에서 행렬-벡터화 CPU/GPU 가속 시뮬레이션은 순차 방식 대비 10~100배 속도 향상을 달성했고, 리스트 스케줄링 알고리즘은 결합 주문 처리를 수 시간에서 수 분으로 단축했다. 운영 측면에서 지능형 진단 엔진을 통해 폐루프(closed loop)를 구축했다. 2025년 이후 NetSim은 20,000개 이상의 공급업체에 대한 end-to-end 서비스를 최적화했고, 지역 간 이행(fulfillment)률은 6.1%에서 4.9%로 감소했으며, 월평균 탄소 감축량은 약 5,745 tCO2e이다. SPORD는 시뮬레이션을 모니터링에서 능동적 계획으로 전환한다. 투명한 출력은 회의적인 경영진을 적극적으로 참여하는 협력자로 바꾸고, 모듈형 아키텍처는 다음 계획 수립에 재구축이 아닌 구성(configuration)만 필요하게 한다.
CayleyR: 순환 교집합을 통한 TopSpin 퍼즐 풀이
CayleyR: Solving the TopSpin puzzle via cycle intersection
cayleyR는 Cayley 그래프에서 순환 교집합을 탐지하여 순열 퍼즐을 풀기 위한 R 패키지입니다. 핵심 알고리즘은 반복적 양방향 탐색을 수행합니다. 초기 순열 상태와 목표 순열 상태 모두에서 무작위 연산 시퀀스가 대칭군 Sn의 Cayley 그래프에서 순환을 생성하며, 이들 순환의 교집합이 연결 경로를 제공합니다. 직접적인 교집합이 발견되지 않으면 거리 기반 브리지 선택이 간격을 좁히고, 이 과정이 반복됩니다. 이 패키지는 TopSpin(n,k) 퍼즐을 대상으로 하며, 그 상태 공간은 순환 시프트와 접두 반전으로 생성된 Sn의 Cayley 그래프입니다. 수학적 프레임워크, 알고리즘, 그리고 C++ 해시 인덱스 상태 저장소와 선택적 Vulkan GPU 가속을 결합한 구현을 설명합니다. 이 소프트웨어는 CRAN에서 공개적으로 이용할 수 있습니다.
교통 관리를 위한 비용 최적 파운데이션 모델 배포 포트폴리오
Cost-Optimal Foundation Model Deployment Portfolio for Transportation Management
파운데이션 모델(foundation model)에는 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)이 포함되며, 이상 탐지, 사고 보고, 여행자 정보 제공과 같은 교통 관리 센터(TMC) 업무에 점점 더 많이 사용되고 있다. 여러 이러한 모델을 TMC 기능 전반에 배포하는 것은 포트폴리오 질문을 제기한다: 각 기능에 어떤 모델이, 어떤 배포 모드로, 그리고 어떤 공유 하드웨어 예산 하에서 제공되어야 하는가? 우리는 이를 파운데이션 모델 배포 포트폴리오(FMDP) 문제로 공식화한다. 이는 공유 GPU 용량에 대해 기능별 품질, 지연 시간, 안전성 제약을 만족하면서 총 소유 비용(TCO)을 최소화하는 혼합 정수 프로그램이다. 0-1 배낭 문제로의 환원을 통해 이 문제가 NP-난해함을 증명하고, 다항 시간 탐욕적 휴리스틱을 제안한다. 다섯 가지 TMC 기능과 19개의 후보 (모델, 모드) 쌍을 포함한 예시 사례 연구에서, FMDP는 4개 기능을 오픈소스 API로, 오픈소스 모델이 품질 하한을 충족하지 못하는 1개 기능을 폐쇄형 API로 라우팅하는 혼합 포트폴리오를 식별하여 월 $34(가장 저렴한 실행 가능한 전체 폐쇄형 API 기준선 대비 97% 절감)의 비용을 산출한다. 손익분기 분석에 따르면, 온프레미스 GPU 투자는 시간당 약 309회의 비전 쿼리 이상이거나 API 가격이 두 배로 오를 때만 합리적이 된다.
Prioritizing Search Space Regions in the Low Autocorrelation Binary Sequences Problem
낮은 자기상관 이진 수열 문제(LABS)는 통신, 신호 처리, 위성 항법 분야에서 중요한 응용을 갖는 어려운 조합 최적화 과제이다. 본 논문은 LABS 탐색 공간의 제한 클래스에 걸쳐 계산 노력을 적응적으로 배분하기 위해 Thompson 샘플링과 병렬 자기회피 보행(self-avoiding walk)을 결합한 하이브리드 탐색 프레임워크를 제안한다. 파티션을 다중 팔 밴딧(multi-armed bandit) 설정의 팔(arm)로 모델링함으로써, 제안된 방법은 덜 샘플링된 영역의 탐험(exploration)을 유지하면서도 경험적으로 더 높은 성능 지수(merit factor)를 산출하는 파티션 쪽으로 탐색 자원을 동적으로 전환한다. 이 접근법은 GPU 병렬 실행, 공유 사후 업데이트, 효율적인 이웃 평가, 그리고 사이클 방지를 위한 블룸 필터(Bloom filter)를 통해 추가로 가속된다. 또한 제약된 분할 비대칭 공간(partitioned skew-symmetric space)을 먼저 탐색한 후 비제약 공간에서 최적 후보를 정제하는 2단계 최적화 전략을 사용한다. 긴 이진 수열에 대한 실험 결과, 제안된 방법은 $450 \le L \le 527$ 범위의 35개 수열 길이와 $L=573$에 대해 이전에 알려진 최선의 결과를 개선하였다. 특히 $L=451$에서 성능 지수 8.0을 초과하는 새로운 최장 수열을 보고한다. 결과는 또한 Thompson 샘플링이 더 나은 관측 성능을 보이는 파티션을 효과적으로 우선시함을 보여주며, LABS 최적화에서 온라인 데이터 기반 자원 배분의 가치를 확인한다. 전반적으로 제안된 프레임워크는 고성능 성능 지수 최대화를 위한 확장 가능하고 효과적인 전략을 제공한다.
MMAO: Mechanism and Stability Analysis of Metabolic Closed-Loop Metaheuristics
지지 비지배점에 의한 다목적 네트워크 문제의 비지배 집합 표현
Representing the Non-dominated Set of Multi-objective Network Problems by Supported Non-dominated Points
다목적 조합 최적화에서 비지지 비지배점(unsupported non-dominated point)은 통상 지지점(supported point)보다 수가 많으며, 계산하기도 훨씬 어려운 경우가 많다. 최근 연구에 따르면 극단 지지 비지배점(extreme supported non-dominated point)은 특정 이진 문제의 비지배 집합에 대해 고품질 표현을 제공한다. 본 논문에서는 이 관찰이 용량 제한 네트워크 최적화 문제로 일반화되지 않음을 보인다. 즉, 호(arc) 용량이 증가할수록 표현 품질이 저하되는 반면, 지지 비지배점은 여러 품질 지표에서 지속적으로 고품질 표현을 제공한다. 그러나 지지점 집합도 실용적인 응용에서는 지나치게 클 수 있으며, 일반적으로 소수의 고정된 대안만이 요구된다. 비지배 집합에서 고정 크기 표현을 선택하려면 계산 비용이 높은 전체 집합 생성이 필요하므로, 표현이 제공하려는 계산 상의 이점이 감소한다. 따라서 본 논문은 부분집합 선택 문제에서 (극단) 지지점을 대안적 후보 집합으로 제안한다. 수치 실험 결과, 후보 집합을 지지 비지배점으로 제한하더라도 완전한 비지배 집합에서 선택한 것과 거의 동일한 품질의 고정 크기 표현을 얻을 수 있음을 보인다. 종합하면, 지지 비지배점은 고품질 표현이자 부분집합 선택을 위한 합리적인 후보 집합으로 모두 활용될 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.