LinFormer: A Linear-based Lightweight Transformer Architecture For Time-Aware MIMO Channel Prediction
원문 초록
The emergence of 6th generation (6G) mobile networks brings new challenges in supporting high-mobility communications, particularly in addressing the issue of channel aging. While existing channel prediction methods offer improved accuracy at the expense of increased computational complexity, limiting their practical application in mobile networks. To address these challenges, we present LinFormer, an innovative channel prediction framework based on a scalable, all-linear, encoder-only Transformer model. Our approach, inspired by natural language processing (NLP) models such as BERT, adapts an encoder-only architecture specifically for channel prediction tasks. We propose replacing the computationally intensive attention mechanism commonly used in Transformers with a time-aware multi-layer perceptron (TMLP), significantly reducing computational demands. The inherent time awareness of TMLP module makes it particularly suitable for channel prediction tasks. We enhance LinFormer's training process by employing a weighted mean squared error loss (WMSELoss) function and data augmentation techniques, leveraging larger, readily available communication datasets. Our approach achieves a substantial reduction in computational complexity while maintaining high prediction accuracy, making it more suitable for deployment in cost-effective base stations (BS). Comprehensive experiments using both simulated and measured data demonstrate that LinFormer outperforms existing methods across various mobility scenarios, offering a promising solution for future wireless communication systems.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
농업 예측 작업에서 머신러닝 성능 향상을 위한 작업 조건부 합성 데이터 생성
Task-Conditioned Synthetic Data Generation for Improving Machine Learning Performance in Agricultural Prediction Tasks
머신러닝(ML) 알고리즘은 다양한 맥락에서 농업 변수를 추정하는 데 널리 활용되어 왔다. 그러나 학습 데이터의 양과 질이 ML 알고리즘의 성능에 큰 영향을 미치기 때문에, 참조 데이터가 부족하거나 불완전한 경우 그 활용이 제한될 수 있다. 합성 데이터 생성(SDG)은 원본 데이터의 주요 특성을 보존하는 인공적이지만 현실적인 샘플을 생성함으로써 이 문제를 해결하는 실용적인 접근법을 제공한다. 본 연구는 교사-학생 지식 증류(knowledge transfer)와 표 형식 데이터에 대한 문맥 내 학습(ICL)을 기반으로, 베이지안 네트워크 생성기와 트랜스포머 기반 표 형식 파운데이션 모델(TabICL)을 결합한 작업 조건부 SDG(TCSDG) 알고리즘을 제안한다. 제안된 알고리즘은 작물 수확량 예측과 작물 유형 분류(classification)의 두 가지 농업 예측 작업에서 평가되었다. 또한 6가지 벤치마크 SDG 알고리즘을 활용하여 TCSDG와의 성능을 비교하였다. 12개 연구 지점, 2가지 학습(training) 데이터 비율, 4가지 증배 비율, 3가지 예측 ML 알고리즘에 걸쳐, 원본 데이터에 TCSDG 생성 합성 데이터를 증강하면 작물 유형 분류 실험의 89%, 작물 수확량 예측 실험의 74%에서 ML 성능이 향상되었다. TCSDG는 벤치마크 SDG 알고리즘들을 크게 능가했으며, 집계 수준에서 두 작업 모두에 걸쳐 일관되게 ML 성능을 향상시킨 유일한 방법이었다. 본 연구는 신중하게 설계되고 처리된 합성 데이터가 정밀 농업(precision-agriculture) 응용 분야에서 ML 성능을 향상시킬 수 있음을 입증한다. TCSDG는 농업 ML 예측의 다운스트림 작업을 지원하는 합성 데이터를 생성하기 위한 실용적이고 확장 가능한 프레임워크를 제공한다. TCSDG의 전체 구현은 https://github.com/HamidEbrahimy/TCSDG 에서 오픈 소스로 공개되어 있다.
LongE2V: 비디오 확산 모델을 활용한 장기 이벤트 기반 비디오 복원, 예측 및 프레임 보간
LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models
희소 이벤트 스트림에서 고품질 비디오를 복원하는 것은 어려운 과제이다. 회귀 방법은 텍스처를 흐릿하게 만드는 경향이 있으며, 기존 생성 모델은 장기 안정성 확보에 어려움을 겪는다. 우리는 사전학습된 비디오 확산 사전 지식(prior)을 활용하여 이벤트 기반 비디오 복원, 예측, 프레임 보간을 통합적으로 처리하는 새로운 접근법인 LongE2V를 제안한다. 기반 비디오 모델을 미세조정함으로써, 우리의 접근법은 높은 데이터 효율성과 우수한 지각적 품질을 달성한다. 극도로 긴 시퀀스에서의 시간적 드리프트를 완화하기 위해 자기회귀적 언롤링(Autoregressive Unrolling)과 적응형 컨텍스트 전환(Adaptive Context Switching)을 도입한다. 또한 프레임 보간 시 정밀한 양방향 일관성을 보장하기 위해 교차 잔차 보정을 포함한 재인코딩 정렬(Reencoding Alignment with Cross Residual Correction)을 제안한다. 나아가, 이벤트 복셀 밀도 증강(Event Voxel Density Augmentation)은 다양한 센서 해상도에 걸쳐 강건성을 보장한다. 실세계 벤치마크에서의 광범위한 실험을 통해 LongE2V가 세 가지 과제 모두에서 최첨단 방법을 능가하며, 뛰어난 시간적 일관성과 제로샷 일반화 능력을 보임을 입증한다. 프로젝트 페이지: https://cdfan0627.github.io/LongE2V-page/
Long Term Stock Prediction based on Financial Statements
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
Ocular Verification for Virtual Reality
토론
이 논문과 연결된 포럼 글이 아직 없습니다.