본 논문은 측도 이론과 주파수 분석을 통해 대규모 언어 모델(LLM)의 트랜스포머/어텐션 메커니즘을 재공식화하고, 환각(hallucination)이 불가피한 구조적 한계임을 이론적으로 보였다. 임베딩 공간은 σ-대수 위의 조건부 기댓값으로 기능하며, 의미적 진실 집합과 동형(isomorphic)이 되지 못하는 것이 논리적 일관성 붕괴의 근본 원인이다.
저자들은 이산 푸리에 변환(DFT)을 사용해 의미 개념 계층 구조(SCHS)를 명시적으로 구축하는 WavePhaseNet을 제안한다. 시퀀스 차원을 따라 DFT를 적용하면 의미 정보가 주파수 대역으로 분해된다. 저주파 성분은 전역적 의미와 의도를 포착하고, 고주파 성분은 국소적 구문과 표현을 나타낸다. 이러한 단계적 분리는 대각화 공간에서 정밀한 의미 조작을 가능하게 한다.
GPT-4의 24,576차원 임베딩 공간은 언어 자기유사성과 Zipf 법칙에 기반한 1/f 스펙트럼 구조를 보인다. 누적 에너지 분석을 통해 저자들은 약 3,000차원이 "완전한 표현(complete representation)"의 하한을 구성함을 도출했다. 이는 24,576차원에서 3,000차원으로의 축소가 의미와 의도를 보존하면서 엄밀한 추론을 가능하게 하고 환각을 억제함을 보여준다.
중첩되는 국소 윈도우에 대한 코호몰로지적 정규화를 통해 구축된 축소 임베딩 공간은 그래프 구조와 cochain complex를 정의할 수 있게 한다. 이는 국소 추론 간 불일치를 coboundary 기반 손실로 정량화한다. Hodge 이론에 기반한 harmonic projection을 적용하면 cohomology를 의미적 일관성을 제어하고 최대한 일관적인 전역 표현을 추출하는 계산 가능한 정규화 원리로 위치시킬 수 있다.
저조도 이미지 향상(LLIE)은 다양하고 까다로운 저조도 환경에서 이미지 품질과 선명도를 개선하는 것을 목표로 한다. 그러나 기존 심층 학습 기반 LLIE 방법은 실제 조명을 정확히 포착하고 텍스처 디테일을 복원하는 데 어려움을 겪으며, 이는 주로 알고리즘적 강점이 충분히 활용되지 않기 때문이다. 이러한 문제를 해결하기 위해, 저조도 이미지의 안내를 다중 스케일 어텐션을 통해 네트워크에 주입하는 U자형 단일 단계 아키텍처를 채택한 LLIE용 지도 학습 주파수 영역 심층 학습 네트워크인 다중 스케일 어텐션과 푸리에 변환의 결합(MSFT)을 제안한다. 또한 MSFT의 자체 모듈에서 사전 채널(priori channels)의 진폭 정보와 저조도 이미지의 진폭 정보를 융합하고, 네트워크 전반에 걸쳐 다중 스케일 안내를 수행한다. 이후, 미세한 콘텐츠와 텍스처와 같은 희미한 특징을 더 잘 향상시키고 디코딩 단계에서 전역 문맥 신뢰도를 더 잘 융합하기 위해, 다중 형태 시너지 어텐션(multi-shape synergistic attention)과 고차원 공간에서 정보를 효과적으로 통합하여 풍부한 텍스처 정보를 담은 최상의 특징 공간 채널에 임베딩하는 경량 네트워크를 각각 도입한다. LOL, SID, SMID, SDSD 데이터셋에서 수행한 광범위한 실험은 MSFT가 최신(state-of-the-art) 경쟁 방법들을 크게 능가함을 보여준다. 예를 들어, Retinexformer와 비교했을 때 본 방법은 SDSD-outdoor 데이터셋에서 최대 41.76데시벨의 피크 신호 대 잡음비(PSNR)를 달성하여 11.92데시벌 향상되었으며, 구조적 유사성 지수(SSIM) 0.988로 13.80% 개선되었다.
등변(equivariant) 네트워크는 가중치 공유를 통해 기하학적 대칭을 구조적 사전 지식(prior)으로 내장하여, 비전 작업 전반에서 뛰어난 매개변수 효율성을 달성한다. 그러나 이러한 매개변수 효율성은 연산 효율로 이어지지 않는다. 기존 구현은 구조화된 가중치를 밀집(dense) 행렬로 펼친 뒤 범용 밀집 커널에 전달하므로, 등변 층의 FLOPs는 비등변(non-equivariant) 대응물보다 작지 않다. 본 논문에서는 현대 등변 아키텍처에서 가장 기본적이며 자주 사용되는 모듈인 등변 선형(EQ-Linear) 층이 본질적으로 그룹 차원을 따른 순환 합성곱(circular convolution)과 채널 차원을 따른 선형 변환의 합성임을 관찰한다. 이 관찰에 기반하여, 우리는 그룹 차원을 따른 푸리에 합성곱 정리(Fourier convolution theorem)와 실수 DFT의 켤레 대칭(conjugate symmetry)을 결합하여 복잡도를 $\mathcal{O}(NDC)$에서 $\mathcal{O}(NDC/T)$로 줄이는 정확한 가속 알고리즘인 Flash EQ-Linear를 제안한다. 또한 순전파와 역전파, FP32 및 FP16 정밀도를 모두 아우르는 Flash EQ-Linear 전용 CUDA 커널을 제공한다. 연산자 수준에서 Flash EQ-Linear는 PyTorch의 F.linear 대비 순전파 최대 ${2\times}$ 속도 향상을 달성한다. 네트워크 수준에서는 Flash EQ-ViT와 Flash EQ-Swin이 등변 및 비등변 베이스라인 모두에 대해 최대 ${1.7\times}$ end-to-end 속도 향상을 달성한다. 우리가 아는 한, 이는 등변 네트워크가 정확도, 매개변수 효율성, 추론 속도라는 세 축 모두에서 비등변 대응물을 엄격히 압도한 최초의 사례이다. 코드는 https://github.com/zhongchenzhao/FlashEQLinear 에서 이용할 수 있다.
단위원 다양체 $S^1$ 위에서 시퀀스 상태를 위상(phase)으로 표현하는 Phasor Transformer 블록을 제안하며, 학습 가능한 위상 이동과 파라미터 없는 이산 푸리에 변환(DFT) 토큰 결합을 조합해 명시적 어텐션 맵 없이 $\mathcal{O}(N\log N)$ 전역 토큰 혼합을 달성한다. 이를 쌓아 구성한 Large Phasor Model(LPM)은 합성 다중 주파수 시계열 벤치마크에서 셀프-어텐션 대비 훨씬 적은 파라미터로 경쟁력 있는 성능을 보이며, 진동 도메인에서의 확장 가능한 시간적 모델링에 대한 효율성-정확도 프론티어를 제시한다.
H-Score 기반 특징 학습(feature learning)에서 유한 폭(finite-width) 신경망의 절단 오차(truncation error)가 입력 기저(basis)에 민감함을 이론적으로 증명하고, 근사 정상(stationary) 과정에 대해 FFT를 저비용 전처리기(preconditioner)로 적용하면 8개 다변량 데이터셋에서 NMSE를 최대 50%까지 감소시킬 수 있음을 실험으로 검증했다. 또한 네트워크 학습 전에 스펙트럼 엔트로피와 누적 의존 에너지 기반의 학습-불필요(training-free) 지표를 도입해 FFT 전처리의 효과를 사전 예측할 수 있음을 보였다.