PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10630v1cs.LG

Phase-HDC: 이산 위상 학습에서 옵티마이저 히스토리를 그래디언트 임계값으로 대체하기

Phase-HDC: Replacing Optimizer History with Gradient Thresholds in Discrete Phase Learning

컴팩트한 모델을 학습(training)할 때는 종종 모델 저장보다 훨씬 더 많은 메모리가 필요한데, 이는 옵티마이저(optimizer)가 과거 그래디언트(gradient)의 자체 기록을 유지하기 때문입니다. 학습된 매개변수(parameter)가 저비트 각도인 초차원 분류기(hyperdimensional classifier)의 경우(이를 위상 메모리(\emph{phase memory})라 부름), 이러한 기록은 모델 자체보다 몇 배 더 많은 메모리를 차지합니다. 본 연구에서는 오직 모델 자체만을 저장하면서도 이러한 모델을 학습시킬 수 있는지 질문을 던집니다. 제안하는 방법인 Phase-HDC는 현재 그래디언트의 부호와 반대 방향으로, 그리고 해당 그래디언트가 충분히 클 때에만 업데이트당 저장된 각도를 최대 한 단계씩 회전시킵니다. 우리는 이 단순한 규칙이 변경된 모든 매개변수가 고정 비용을 지불하는 1차 손실(loss) 모델의 정확한 해임을 보여줍니다. 업데이트 규칙을 제외한 모든 조건을 동일하게 유지했을 때, Phase-HDC는 6비트 모멘텀을 사용하는 Adam과 동등한 정확도를 유지하면서도 3배 적은 저장 공간을 사용합니다. 11개의 이미지, 테이블형, 텍스트 데이터셋에 걸쳐, 이 방법은 표준 float32 Adam보다 16~23배, 8비트 Adam보다 4~6배 적은 저장 공간을 차지합니다. 이에 따른 대가는 float32 Adam 대비 평균 약 5%p의 정확도 손실이지만, Phase-HDC는 8비트 Adam이 붕괴하는 바이트 수준 텍스트 예측을 포함하여 11개 데이터셋 중 6개에서 8비트 Adam보다 더 높은 정확도를 달성합니다. 계측된 학습 실행 분석은 이러한 결과를 설명해 줍니다. 매개변수가 이산적인 그리드 상에 위치해야 하는 경우, Adam의 모멘텀은 주로 매개변수가 조금이라도 움직일지 여부만을 결정하게 되며, 이는 현재 그래디언트에 대한 임계값을 통해 메모리 없이도 내릴 수 있는 결정입니다. 또한 모멘텀의 거친 양자화(quantization)는 데이터에 드물게 포함된 입력에 대해 이러한 결정을 망가뜨립니다. 저장 공간 절감은 측정된 하드웨어 메모리가 아닌 논리적 상태 기준입니다.

arXiv:2609.28409v1cs.LG

Clifford 변분 오토인코더를 이용한 홀로그래픽 축소 표현(Holographic Reduced Representations) 학습

Learning Holographic Reduced Representations with Clifford Variational Autoencoders

벡터 심볼릭 대수(Vector Symbolic Algebras, VSA)는 무작위로 생성된 원자 벡터 심볼과 실수값 데이터의 분수 거듭제곱 인코딩(fractional power encoding)에 벡터 대수를 적용하여, 데이터 구조를 초고차원 벡터 공간으로 사영한다. 비정형 데이터를 임베딩하는 문제는 여전히 해결되지 않은 과제로 남아 있다. 본 논문에서는 임의의 차원에서 데이터를 Clifford 토러스(Clifford torus)로 사영하는 방법을 학습하는 변분 오토인코더(variational autoencoder)인 \textit{Clifford-VAE}를 제안한다. MNIST, FashionMNIST, CIFAR-10 데이터셋을 사용한 실험 결과, Clifford-VAE는 준지도 분류(semi-supervised classification) 과제에서 Gaussian VAE 및 Hyperspherical VAE가 생성하는 표현과 대등한 수준의 표현을 생성하는 동시에, 자기 바인딩 및 언바인딩(self-binding and unbinding), 역할-채움자 복원(role-filler recovery), 번들 용량(bundle capacity)에 대한 VSA 벤치마크 테스트에서는 Gaussian 및 Hyperspherical 대응 모델보다 우수한 성능을 보인다. Clifford-VAE는 지각 데이터(perceptual data)를 심볼릭 추론 프레임워크에 그라운딩(grounding)하기 위한 원리적인 기법을 제공하며, VSA 문헌에서 오랫동안 이어져 온 문제에 대한 새로운 접근법을 제시한다.

arXiv:2509.14617v4cs.LG

HD3C: 엣지 디바이스를 위한 효율적인 의료 데이터 분류

HD3C: Efficient Medical Data Classification for Edge Devices

효율적인 의료 데이터 분류는 현대 질병 스크리닝에 필수적이며, 특히 전력 예산과 연산 능력이 제한된 자원 제약 환경에서 더욱 그렇다. 본 논문에서는 저전력 엣지 디바이스를 위해 설계된 경량 분류 프레임워크인 HD3C를 제안한다. HD3C는 데이터를 고차원 하이퍼벡터(hypervector)로 인코딩하고, 이를 여러 클러스터 프로토타입으로 집계한 뒤, 초공간(hyperspace)에서의 유사도 검색을 통해 분류를 수행한다. 세 가지 의료 분류 작업에서 HD3C를 평가한 결과, 심장음 분류에서는 정확도 차이가 1% 미만인 상태로 Bayesian ResNet보다 350배 더 에너지 효율적이었다. 또한 HD3C는 노이즈, 제한된 학습 데이터, 하드웨어 오류에 대해 탁월한 견고성을 보였으며, 이는 이론적 분석과 실험 결과 모두로 뒷받침되어 실제 환경에서의 신뢰성 있는 배포 가능성을 보여준다.

arXiv:2607.11936v1cs.LG

대수 인코딩을 통한 초차원 분해의 큐빗 효율적 양자 탐색

Qubit-Efficient Quantum Search for Hyperdimensional Decomposition via Logarithmic Encoding

초차원 컴퓨팅(HDC)은 차원 $D$의 고차원 하이퍼벡터(hypervector)를 사용하여 기호를 표현한다. 하이퍼벡터 분해에서는 결합(bound)된 목표 하이퍼벡터로부터 크기 $N$의 코드북(codebook)에서 추출된 $F$개의 구성 하이퍼벡터를 복원하는 것이 목표이다. 이는 $N^F$개의 후보 튜플에 대한 탐색을 필요로 하므로, 대규모에서는 계산적으로 실행이 사실상 불가능하다. 최근의 양자 접근법은 이차적 탐색 이점을 제공하지만, 일반적으로 큐빗 비효율적인 $O(D)$-큐빗 하이퍼벡터 표현에 의존한다. 본 연구는 표현 비용을 $O(\log D)$로 줄이는 HDC 분해를 위한 큐빗 효율적 양자 프레임워크를 제안한다. 이 프레임워크는 대수(logarithmic) 하이퍼벡터 및 결합(binding) 인코딩과, 밀집 하이퍼벡터의 회로 수준 조작을 위한 가역적 하이퍼벡터 조회 연산자를 도입한다. 수정된 Dürr-Høyer 탐색 절차와 결합하면, 이 방법은 $O(\sqrt{N^F})$ 탐색 복잡도를 유지하면서 큐빗 사용량을 크게 줄인다. 실험 결과는 올바른 유사도 계산, 실행 가능한 영역에서의 정확한 분해, 그리고 명시적 $D$-큐빗 하이퍼벡터 인코딩에 기반한 기준선 대비 현저히 개선된 큐빗 스케일링을 검증하며, 최대 $2{,}000\times$ 적은 큐빗을 달성한다.

arXiv:2606.31819v1cs.AI

Creating Intelligence: A Computational Foundation for AGI

집합론과 초고차원 컴퓨팅(hyperdimensional computing)에 기반한 새로운 마음의 계산 이론을 제안하며, 연속적 가중치와 행렬 곱 대신 희소 이진 데이터(sparse binary data)와 위상적 소성(topological plasticity)으로 연상 메모리(associative memory)를 구현하는 핵심 알고리즘을 소개한다. 부분집합 패턴 매칭을 인지의 근본 엔진으로 보고, 이 이산 논리 기반 알고리즘이 인메모리 하드웨어에 직접 구현 가능하여 인간 수준의 에너지 효율을 갖는 합성 지능으로 가는 새로운 경로를 제시한다.

arXiv:2606.26547v1cs.PL

초차원 컴퓨팅을 위한 컴파일러 주도 근사 튜닝

Compiler-Driven Approximation Tuning for Hyperdimensional Computing

초차원 컴퓨팅(HDC) 워크로드에서 소프트웨어·하드웨어 근사를 자동으로 찾아 적용하는 ApproxHDC를 제안하며, HPVM-HDC 컴파일러를 확장해 CPU·GPU·ReRAM·PCM 가속기 등 이기종 백엔드에 재타깃 가능한 컴파일과 효율적 탐색을 지원한다. 실험에서 사용자 지정 QoS를 유지하면서 CPU 최대 17.25배, GPU 15.02배, SpecPCM 4.69배 속도 향상을 달성했고 MicroHD 대비 최대 3.49배 빠르며, HDC 특화 탐색 공간 가지치기로 설계 공간을 최대 86자릿수 줄여 수분 내 고품질 구성을 찾을 수 있다.

arXiv:2606.22421v1cs.LG

QeHDC: 양자 향상 결합 및 SuperClass Construction에 기반한 초차원 컴puting

QeHDC: Hyperdimensional Computing based on Quantum-enhanced binding and SuperClass Construction

초차원 컴puting(HDC)은 인간 인지에서 영감을 받은 견고한 계산 프레임워크로, 고차원 벡터 공간에서 단순하고 효율적인 연산을 특징으로 한다. 양자 향상 초차원 컴puting(QeHDC)은 양자 역학적 특성을 활용해 계산 효율을 높이며 고전 HDC를 확장한다. 본 논문에서는 일회 학습(one-pass training) 방식을 갖춘 새로운 Quantum HDC 프레임워크를 제안하며, 사인파 및 양자 인코딩을 활용해 고전 데이터를 양자 진폭(amplitude) 상태로 효율적으로 투영한다. 본 프레임워크는 양자 회로로 구현된 참조 상태 기반(reference-state-based) 양자 결합(binding) 연산을 새롭게 도입한다. 또한 고유값 분해(eigenvalue decomposition)를 통해 핵심 양자 상태 특징을 효과적으로 추출하는 밀도 행렬(density matrix) 기반 슈퍼클래스 생성 전략을 제안하여, 보다 정확하고 견고한 클래스 표현을 가능하게 한다. 표준 벤치마크 데이터셋에서 수행한 실험적 평가는 기존 고전 방식 및 기존 양자 향상 접근법 대비 본 접근법의 우수한 성능, 노이즈에 대한 견고성, 계산적 실현 가능성을 입증한다. 결과는 양자 향상 분류 작업에서 Quantum HDC의 실용적 이점과 잠재력을 부각하며, 양자 영감(quantum-inspired) 계산 패러다임의 향후 발전을 위한 기반을 마련한다.