희소 사전 코딩(sparse dictionary coding)은 신호를 소수의 사전 원자(dictionary atom)들의 선형결합으로 표현한다. 이는 시간적 사전과 공간적 사전을 공동으로 사용하여 이미지, 시계열, 그래프 신호 및 다중 방식 시공간(spatio-temporal) 데이터에 적용되어 왔다. 이산 푸리에 변환, 웨이블릿, 그래프 푸리에와 같이 데이터에 무관한(analytical) 사전은 효율적인 구현과 우수한 실용적 성능으로 인해 널리 채택되었다. 반면, 데이터로부터 학습된 사전은 더 희소하고 정확한 해법을 제공하지만, 사전과 코딩 계수 모두를 학습해야 한다. 다중 사전 시나리오에서는 인코딩 계수가 사전들로부터 모든 원자 조합에 대응하므로 이는 특히 어려워진다. 이 도전에 대응하기 위해, 우리는 2개 사전 시나리오를 위한 저랭크 코딩 모델을 제안하고 그 데이터 복잡도(data complexity)를 연구한다. 구체적으로, 동일한 분포에서 나온 보지 못한 샘플에 일반화되는 사전을 학습하는 데 필요한 샘플 수에 대한 상한과 하한을 확립한다. 우리는 희소 코딩 행렬과 학습된 사전 사이의 교대 최적화(alternating optimization)를 사용하는 AODL이라는 교대 볼록 최적화(alternating convex optimization) 해법을 제안한다. 합성 데이터셋과 실제 데이터셋 모두에서 데이터 재구성 및 결측값 대입(missing value imputation)에 대한 품질을 입증한다. 고정된 재구성 품질에서 AODL은 비저랭크 및 해석적(고정) 사전 기준선(baseline)에 비해 최대 90% 더 희소한 해법을 학습한다. 또한 학습된 사전은 학습 샘플의 패턴에 대한 해석 가능한 통찰을 드러낸다.
$L^4$ 손실(오차의 평균 4승)로 학습된 단일 은닉층 ReLU 네트워크가 뉴런 수(50개)보다 많은 입력 특징(100개)을 중첩에서의 연산(computation in superposition) 방식으로 처리함을 보이며, 이를 역공학한 결과 각 특징에 희소 이진 코드워드가 할당되고 인코더의 유사역행렬로 디코딩되는 구조를 발견했다. 단 3개의 스칼라 파라미터로 네트워크 성능의 대부분을 재현할 수 있으며, 수동 설계된 코드로 구축한 동등한 네트워크로 이를 검증했다.
계층적 예측 코딩은 다층 생성 모델에서 오류 주도 추론으로서의 지각에 대한 해석 가능한 프레임워크를 제공하는 반면, 희소 코딩은 명시적 희소성 제약을 통해 간결한 잠재 표현을 부과한다. 이 둘의 결합은 계층적 희소 예측 코딩 모델을 산출하며, 매력적인 계산적 및 신경과학적 특성을 갖지만, 실용적 사용은 종종 반복적 잠재 추론의 비용에 의해 제한된다. 이러한 모델에서는 각 입력이 유용한 희소 표현을 얻기 전에 많은 순환적 정제 단계를 필요로 할 수 있으며, 이 부담은 계층이 깊어질수록 더욱 심해진다. 우리는 계층적 희소 에너지를 고정하고 추론 절차를 변화시킴으로써 이 병목을 연구한다. 비교에는 네 가지 방식이 포함된다: ISTA에 기반한 고전적 반복 추론, 가속화된 MFISTA 기준, 계층적 모델에 맞게 조정된 LISTA 스타일 bottom-up 인코더를 사용하는 구조 정보를 활용한 상각화 추론, 그리고 이 빠른 상각화 초기화 뒤에 소수의 보정적 에너지 기반 정제 단계가 이어지는 하이브리드 방법. 이 공유 목표 하에서 우리는 정적 이미지 벤치마크에서 재구성 품질, 희소성, 지연 시간, 안정성을 측정한다. 결과는 얕은 LISTA 스타일 초기화와 짧은 보정적 순환이 순수 상각화를 개선하면서도 긴 반복 추론보다 훨씬 빠르게 유지됨을 보여준다.
저자원 개체명 인식(NER)을 위해 토큰 임베딩과 BiLSTM-CRF 사이에 후각 수용체-glomerular 병목 구조를 넣어, 사전학습 임베딩 없이 6개 다국어 데이터셋에서 희소 조합 코딩 기반 표현을 학습한다. 심각한 데이터 부족(1k 문장)에서 표현 병목이 강력한 정규화(regularizer)로 작용해 F1을 높였고, 벵골어·텔루구어 등 저자원 설정에서 일반 병목 대비 유의미한 이득과 수용체 층의 희소 특화가 관찰되었다.
사전 학습(dictionary learning)은 오랫동안 최적화와 확률론적 관점 모두에서 연구되어 왔다. 요소별(element-wise) 희소성(sparsity) 정규화(regularization)(예: L1 기반 sparse coding)를 갖는 공식화는 잘 정립된 확률론적 해석을 허용하는 반면, 전역 제약을 부과하는 많은 구조화 변형은 명확하고 다루기 쉬운 생성 모델(generative model) 관점이 부족하다. 본 논문에서는 활성화된 사전 원자 수에 단순한 전역 정규화를 부과하는, 실용적으로는 효과적이지만 이론적으로는 충분히 탐구되지 않은 사전 학습 방법의 한 클래스를 재검토하며, 이를 절약적 활성화 사전 학습(PADL)이라고 부른다. PADL이 구조화된 생성 모델 하에서 보조 잠재 변수가 전역 활성화 패턴을 제어하는 최대 사후(MAP) 추정과 동등한 공식화를 갖음을 보인다. 이 공식화는 원래 공식화 하에서는 얻기 어려운 일반화 보장을 도출할 수 있게 한다. 더 중요한 것은, 희소성, 저장 비용, 재구성 정확도 사이의 트레이드오프에 대한 해석적 특성화를 제공하여 최적 하이퍼파라미터(hyperparameter)의 데이터 기반 추정을 가능하게 한다는 점이다. 이러한 연결을 바탕으로 수동 하이퍼파라미터 튜닝을 제거하는 효율적이고 해석 가능한 PADL 알고리즘을 개발하였으며, 시각 벤치마크(benchmark)에서 유사한 희소성 수준 하에서 개선된 재구성 성능을 달성한다. 또한 비전-언어(vision-language) 모델의 추론(inference) 가속에서의 실용적 유용성을 입증한다.