Towards a Design Framework for TNN-Based Neuromorphic Sensory Processing Units
원문 초록
Temporal Neural Networks (TNNs) are spiking neural networks that exhibit brain-like sensory processing with high energy efficiency. This work presents the ongoing research towards developing a custom design framework for designing efficient application-specific TNN-based Neuromorphic Sensory Processing Units (NSPUs). This paper examines previous works on NSPU designs for UCR time-series clustering and MNIST image classification applications. Current ideas for a custom design framework and tools that enable efficient software-to-hardware design flow for rapid design space exploration of application-specific NSPUs while leveraging EDA tools to obtain post-layout netlist and power-performance-area (PPA) metrics are described. Future research directions are also outlined.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Better Alternative to Piecewise Linear Time Series Segmentation
학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측
Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics
다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.
하나가 다른 하나로 이어진다: 시계열 인과 발견의 핵심 요소
One Thing Leads to Another: The Essentials of Time Series Causal Discovery
시계열 인과 발견(time series causal discovery) --- 시계열들 간의 인과관계를 탐지하는 과정 --- 은 반세기도 더 전의 신호 처리(signal processing) 연구에 그 뿌리를 두고 있다. 이후 이 분야는 활발하고 폭넓은 관심을 받아왔으며, 통계학, 동역학계(dynamical systems), 머신러닝 등 여러 분야에서 서로 다른 형태로 발전해왔다. 이처럼 파편화되어 끊임없이 변화하는 연구 지형에 처음 발을 들이는 것은 부담스러울 수 있다. 본 튜토리얼은 여러 연구 공동체에 걸친 시계열 인과 발견에 대한 통합적인 개요를 제공한다. 우리는 현대의 발견 방법들이 기반으로 삼는 핵심 원리들을 소개하고, 그 한계와 가정들을 논의한다. 또한 발견 방법들이 어떻게 평가, 벤치마크, 파인튜닝(fine-tuning)되는지도 논의한다. 더 나아가 시계열에 대한 인과 발견이 농업 및 지구과학, 헬스케어, 그리고 인공지능 시스템에서의 다운스트림 작업(downstream task)에 어떻게 점점 더 중요해지고 있는지를 논의한다. 우리는 본 튜토리얼이 최근 쏟아지는 인과성(causality) 연구들을 탐색하는 데 유용한 자료가 될 뿐만 아니라, 신호 처리 분야의 독자들이 인과 문제에 기여하도록 초대하는 역할을 할 것이라고 믿는다. 독자들에게 추가적인 도움을 주기 위해, 우리는 유용한 코드 패키지와 자료들을 연결해주는 동반 저장소(companion repository)를 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery 에서 운영하고 있다.
MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기
MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series
자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.
TopTimeNet: 위상학적으로 보조된 시계열 분류 모델
TopTimeNet: Topologically-assisted time-series classification model
시계열에서 주기적 역학과 혼돈 역학을 구별하는 것은 물리학과 공학 모두에서 근본적인 과제입니다. 그러나 엔드투엔드(end-to-end) 학습 기반 아키텍처는 상당한 비용을 들여 데이터로부터 표현과 결정 경계를 모두 찾아내야 합니다. 본 연구에서는 이러한 작업을 분리하는 TopTimeNet을 소개합니다. 고정된 비학습 단계에서 타켄스 지연 임베딩(Takens delay embeddings) 및 지속성 호몰로지(persistent homology)를 통해 $42$차원의 기하학적·위상수학적 기술자를 추출하고, 경량 학습 가능 단계에서 분류를 수행합니다. $49$개의 비선형 동역학계로 구성된 벤치마크에서, $1{,}638$개의 매개변수를 갖는 구성은 $33$배 더 많은 학습 가능한 매개변수를 갖는 구성의 평균 정확도와 일치합니다. 또한, 이 접근법은 세 자리에서 네 자리 수(orders of magnitude)만큼 더 적은 학습 가능 매개변수를 요구하면서도 합성곱 신경망(CNN)에 필적하는 평균 정확도를 제공하고 수렴된 트랜스포머 모델의 평균 성능을 능가합니다. 견고성 또한 노이즈가 유입되는 위치에 크게 좌우됩니다. TopTimeNet은 사전 계산된 특징에 대한 섭동에는 완만하게 저하되지만, 원시 신호에 노이즈가 유입되어 전체 특징 추출 파이프라인이 재계산될 때는 급격히 저하되므로, 사전 계산된 특징의 섭동에 대한 견고성이 원시 신호부터 예측까지 이어지는 전체 파이프라인의 견고성을 의미하지는 않음을 보여줍니다. 이러한 결과는 고정된 기하학적 및 위상수학적 특징 구성을 경량 판별 단계와 분리함으로써 실질적으로 훨씬 적은 학습 가능 매개변수로도 대등한 분류 정확도를 달성할 수 있음을 보여줍니다.
이미지 잠재 공간에서 퍼지 규칙으로: 위장관 파운데이션 모델의 해석 가능한 분석
From Image Latent Space to Fuzzy Rules: Interpretable Analysis of Gastrointestinal Foundation Model
대규모 데이터셋으로 사전학습된 파운데이션 모델은 의료 영상 과제로의 강력한 전이 가능성을 보여준다. 그러나 이들의 잠재 표현이 임상적으로 관련 있는 정보를 어떻게 인코딩하는지 이해하는 것은 안전이 중요한(safety-critical) 영역에서 여전히 미해결 과제로 남아 있다. 본 연구는 사전학습된 파운데이션 모델의 내부 레이어가 생성하는 패치 수준 특징을 어떠한 미세조정 없이 해석하는 프로토타입 기반 퍼지 규칙 프레임워크를 제안한다. 클래스별 프로토타입은 특징 공간에서의 군집화(clustering)를 통해 학습되며, 이를 통해 압축된 시각적 패턴을 얻는다. 이후 패치 특징은 프로토타입과의 유사도로 표현되고, 사람이 읽을 수 있는 언어적 IF-THEN 조건을 가진 퍼지 규칙에 의해 분류된다. 이 프레임워크는 ImageNet-1K와 GastroNet-5M으로 사전학습된 ViT-S/16 백본의 마지막 두 블록에 걸쳐 적용되며, 동일한 고정(frozen) 특징 조건에서 k-최근접 이웃(k-nearest neighbours), 커널 SVM, 선형 프로빙(linear probing)과 비교하여 무선 캡슐 내시경 분류, 위장관 내시경 분류, 대장 용종 분할(segmentation) 과제에서 벤치마크된다. 실험 분석 결과, 제안된 방법은 백본 미세조정 없이도 이러한 블랙박스 분류기들과 비슷한 정확도에 도달하며, 도메인 특화 사전학습이 판별력이 있으면서도 기호적으로 압축 가능한 특징을 산출함을 보여준다. 도출된 규칙은 실제 데이터로부터 추출되어 해석 가능한 용어로 표현되기 때문에, 합성 의료 영상을 조사하는 도구로도 추가로 활용되어, 생성 모델이 어떤 실제 프로토타입과 규칙을 재현하거나 재현하지 못하는지를 사람이 읽을 수 있는 방식으로 설명하며, 단일 점수로 요약하는 대신 합성 영상이 실제 조직과 어디에서 달라지는지를 국소적으로 파악할 수 있게 한다. 따라서 이 프레임워크는 파운데이션 모델이 임상적으로 관련 있는 구조를 어떻게 조직화하는지에 대한 투명하고 깊이 수준에서 해석 가능한(depth-resolved) 시각을 제공하며, 추출된 규칙의 실용적인 후속 활용 방안도 함께 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.