arXiv:2606.27802v1 cs.LG

하이브리드 상각화 추론을 통한 계층적 희소 예측 코딩 가속화

Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference

Kazuhisa Fujita

제출 2026-06-26

한국어 초록

계층적 예측 코딩은 다층 생성 모델에서 오류 주도 추론으로서의 지각에 대한 해석 가능한 프레임워크를 제공하는 반면, 희소 코딩은 명시적 희소성 제약을 통해 간결한 잠재 표현을 부과한다. 이 둘의 결합은 계층적 희소 예측 코딩 모델을 산출하며, 매력적인 계산적 및 신경과학적 특성을 갖지만, 실용적 사용은 종종 반복적 잠재 추론의 비용에 의해 제한된다. 이러한 모델에서는 각 입력이 유용한 희소 표현을 얻기 전에 많은 순환적 정제 단계를 필요로 할 수 있으며, 이 부담은 계층이 깊어질수록 더욱 심해진다. 우리는 계층적 희소 에너지를 고정하고 추론 절차를 변화시킴으로써 이 병목을 연구한다. 비교에는 네 가지 방식이 포함된다: ISTA에 기반한 고전적 반복 추론, 가속화된 MFISTA 기준, 계층적 모델에 맞게 조정된 LISTA 스타일 bottom-up 인코더를 사용하는 구조 정보를 활용한 상각화 추론, 그리고 이 빠른 상각화 초기화 뒤에 소수의 보정적 에너지 기반 정제 단계가 이어지는 하이브리드 방법. 이 공유 목표 하에서 우리는 정적 이미지 벤치마크에서 재구성 품질, 희소성, 지연 시간, 안정성을 측정한다. 결과는 얕은 LISTA 스타일 초기화와 짧은 보정적 순환이 순수 상각화를 개선하면서도 긴 반복 추론보다 훨씬 빠르게 유지됨을 보여준다.

원문 초록

Hierarchical predictive coding provides an interpretable framework for perception as error-driven inference in multi-layer generative models, while sparse coding imposes parsimonious latent representations through explicit sparsity constraints. Their combination yields hierarchical sparse predictive coding models with appealing computational and neuroscientific properties, but practical use is often limited by the cost of iterative latent inference. In such models, each input may require many recurrent refinement steps before a useful sparse representation is obtained, and this burden becomes more severe as the hierarchy deepens. We study this bottleneck by holding the hierarchical sparse energy fixed and varying the inference procedure. The comparison includes four schemes: classical iterative inference based on ISTA, an accelerated MFISTA reference, structurally informed amortized inference using a LISTA-style bottom-up encoder adapted to the hierarchical model, and a hybrid method in which this fast amortized initialization is followed by a small number of corrective energy-based refinement steps. Under this shared objective, we measure reconstruction quality, sparsity, latency, and stability on static image benchmarks. The results show that a shallow LISTA-style initializer plus short corrective recurrence improves over pure amortization while remaining much faster than long iterative inference.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.27802v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.04781v2cs.CV공통 태그 Image Reconstruction, Representation Learning

적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저

Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate

이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.

arXiv:2610.02410v1cs.LG공통 태그 Representation Learning, Computational Efficiency

적응형 커버리지와 집중 샘플링을 통한 효율적인 신경장 학습

Efficient Neural Field Learning via Adaptive Coverage and Focused Sampling

암시적 신경 표현(Implicit Neural Representations, INR)은 고차원 연속 필드(continuous field)를 모델링하기 위한 유연한 프레임워크를 제공하지만, 공간적 이질성을 무시하는 균일한 서브샘플링으로 인해 학습 효율이 떨어지는 경우가 많습니다. 기존의 적응형 샘플링 방법들은 높은 오차를 보이는 샘플에 우선순위를 두어 이 문제를 부분적으로 해결하지만, 일반적으로 포인트 수준에서 작동하므로 국소적 영역에서의 중복 샘플링과 도메인의 불충분한 커버리지를 초래하곤 합니다. 본 논문에서는 커버리지와 중요도를 분리함으로써 학습 효율을 향상시키는 구조화된 샘플링 프레임워크인 ACES(Adaptive Coverage-aware Efficient Sampling)를 제안합니다. ACES는 도메인 커버리지를 보장하고 중복성을 줄이기 위해 적응형 공간 분할을 구성하며, 학습 중 정보량이 많은 영역의 우선순위를 정하기 위해 영역 수준의 중요도 가중치를 적용합니다. 본 연구에서는 적응형 분할이 영역 내 균질성을 증가시켜 그래디언트 분산을 줄이고, 영역 수준 가중치 적용 시 제어된 바이어스가 표준 비편향 추정량 대비 최적화 효율을 향상시킬 수 있음을 이론적 분석을 통해 보여줍니다. 과학적 필드 학습 태스크에 대한 실험 결과, ACES는 균일 샘플링 및 포인트 단위 적응형 샘플링 베이스라인보다 더 빠른 수렴과 더 낮은 오차를 달성하며, 국소적 복잡성이 높은 필드에서 가장 큰 성능 향상을 보이는 것으로 나타났습니다.

arXiv:2610.02440v1cs.LG공통 태그 Representation Learning, Computational Efficiency

가산적 양자화 표현을 통한 밴딧

Bandits via Additive Quantized Representations

맥락적 밴딧(contextual bandit)은 비선형 보상(reward) 모델링과 온라인 효율성 사이의 균형을 필요로 한다. 트리 앙상블과 신경망 기반 방법은 비선형성을 포착할 수 있지만 주기적인 재학습과 대규모 리플레이 버퍼를 필요로 한다. 선형 모델은 관측값마다 O(1) 메모리로 효율적으로 업데이트할 수 있지만, 근본적으로 선형 보상 구조에만 제한된다. 우리는 이러한 간극을 메우기 위한 표현 층(representation layer)으로 잔차 양자화(Residual Quantization, RQ)를 제안한다. 오프라인으로 학습된 RQ 코드북(codebook)은 연속적인 맥락(context)을 여러 수준에 걸친 이산적 중심점(centroid) 할당으로 매핑하며, 이 수준들은 섀도 메커니즘(shadow mechanism)을 통해 동적으로 설정된다. 이를 통해 엄격하게 제한된 메모리로 비선형 표현력을 달성하는 다양한 가산적(additive) 밴딧 알고리즘을 구현할 수 있다. 13개의 데이터셋(dataset)에 걸쳐, RQ 변형들은 13개 중 11개 데이터셋에서 비-RQ 대응 모델을 종종 큰 차이로 능가했으며, 더블링 재학습(doubling-retrain) 방식의 XGBoost 및 신경망 베이스라인과 비슷한 성능을 최대 1000배 적은 메모리로 달성했다.

arXiv:2610.02497v1cs.LG공통 태그 Representation Learning, Computational Efficiency

LiteEMG-FM: 강건한 EMG 센싱을 위한 효율적이고 배포 가능한 파운데이션 모델

LiteEMG-FM: An Efficient and Deployable Foundation Model for Robust EMG Sensing

근전도(EMG) 신호는 개인, 신체 부위, 측정 세션 및 센싱 하드웨어에 따라 크게 달라지며, 이는 보조 장치 및 인간-컴퓨터 상호작용(HCI)을 위한 모델의 일반화를 제한합니다. 또한 기존의 시계열 파운데이션 모델(foundation model)은 실시간 웨어러블 배포에 연산 비용이 많이 들고, EMG 특유의 시간-주파수 특성을 잘 포착하지 못하는 경우가 많습니다. 본 논문에서는 실용적인 EMG 센싱을 위한 효율적인 하이브리드 CNN-트랜스포머(Transformer) 파운데이션 모델인 LiteEMG-FM을 제시합니다. 16개의 다양한 상·하체 EMG 데이터셋에서 사전학습된 LiteEMG-FM은 사용자와 데이터셋 전반에 걸쳐 일반화되는 표현을 학습합니다. 리소스가 제한된 배포 환경을 위해, 경량 상시 작동(always-on) 1D-CNN이 휴식 상태 및 비목표 활동을 필터링하고 유효한 제스처에 대해서만 LiteEMG-FM을 활성화하는 계층적 웨이크업 아키텍처를 구현합니다. 우리는 완전 추론 오프로딩, 분할 추론, 완전 온디바이스 처리 방식을 평가하여 지연 시간, 전력 소비량, 메모리 사용량 간의 트레이드오프를 규명합니다. 다양한 평가 환경에서 LiteEMG-FM은 최신 시계열 파운데이션 모델 및 지도학습 베이스라인을 능가하며, 특히 캘리브레이션이 없는(zero-calibration) 피험자 간 환경 및 데이터 부족 조건에서 뛰어난 성능을 보입니다. 이러한 결과는 LiteEMG-FM이 EMG 응용 분야에 효과적이고 효율적이며 배포 가능한 파운데이션 모델임을 입증합니다.

arXiv:2610.02697v1cs.RO공통 태그 Representation Learning, Computational Efficiency

GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습

GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation

최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.