How does the way information reaches a transformer -- as symbolic tokens, a clean per-factor "oracle" code, or an entangled perceptual vector -- shape whether it binds that information compositionally? We study ~6-10K-parameter transformers on finite factored worlds enumerated exhaustively, so every measurement covers the whole input space and the informative routes are information-matched (exact Bayes ceiling 1.0). Four findings. (1) Endpoint invariance: on held-out binding queries no informative route reaches converged zero-shot composition -- each ends at or below chance, so the failure reflects inductive bias under a lookup-sufficient objective, not missing information. It also holds with the state in its own sequence position rather than added to every token. (2) Readability governs few-shot binding: when a small fraction of the held-out type is leaked into training, sample efficiency tracks code readability. The least readable entangled code is worst (-0.147 pooled, under both schemes); a dimension-matched control and a graded readability sweep isolate readability from input dimension. (3) The injection site, not the pathway: v1 read the remaining ordering among readable routes as pathway parameter sharing; that is withdrawn. The compared pathways are block-decomposable, hence one function class, so sharing was never manipulated; the ordering comes from the initialization scale of the broadcast-added state and vanishes when it gets its own position (+0.057 -> -0.006, 20 paired seeds/cell). (4) Failure anatomy: symbolic routes lose the answer at the readout; index routes mis-bind -- the answer stays decodable, yet an input intervention shows the output tracks the wrong slot. The central positive claim is readability; the others bound what a pathway comparison can establish. Code, manifests, and per-seed logs are released.
Transformer inference on long sequences is expensive because softmax attention repeatedly reads from a large KV cache. The prevalent approach to this bottleneck is KV cache compression, which replaces the full cache with a compact summary. Despite its practical importance, the design of such summaries is largely driven by empirical experimentation. On the theoretical side, existing results show that KV cache compression can be impossible in the worst case, but offer little systematic guidance for designing algorithms in regimes where accurate compression is possible. We bridge this gap by characterizing the minimax risk of KV cache compression in terms of the intrinsic compressibility of a cache, revealing when and how accurate compression is possible. In particular, we show that, once attention can sharply retrieve individual tokens, compression can only uniformly outperform random sampling by exploiting information about future queries, regardless how redundant the cache is inherently. Additionally, our results yield novel design principles for KV cache compression under causal masking that map efficiently to prefill and autoregressive decoding while achieving minimax-optimal risk. We instantiate these principles in a practical algorithm and illustrate how our theoretical findings can be put to practical use. Overall, our results opens a principled avenue for KV cache compression with theoretical guarantees.
위성 관측으로부터 행성경계층 고도(PBLH)를 추정하는 것은 대기 상단 복사휘도(top-of-atmosphere radiances)와 지표 부근 대기 구조 간의 간접적인 관계로 인해 까다로운 회귀 문제입니다. 위성 통과 데이터의 멀티모달 특성과 공간적 불완전성을 처리할 수 있는 아키텍처의 부재, 그리고 적절한 데이터셋의 부족으로 인해 그동안 발전이 제한적이었습니다. 본 논문에서는 이전 연구에서 소개한 MetOp 복사휘도와 ERA5 PBLH 레이블을 결합한 대규모 데이터셋을 기반으로 세 가지 기여를 제시합니다. 첫째, 픽셀 단위 회귀, 관측폭(swath) 단위 시퀀스 모델, 그리고 전체 궤도 통과 영역에서 작동하는 합성곱 및 트랜스포머 모델을 아우르는 8가지 접근법에 걸쳐 벤치마크를 구축합니다. 둘째, 입력 블록에 대한 그룹화된 샤플리 분해(grouped Shapley decomposition)를 사용하여 결과 모델이 실제로 무엇에 의존하는지 정량화합니다. 셋째, 마스킹된 입력 처리 방식을 통해 전천후 조건에서 작동할 수 있는 최적의 성능을 가진 아키텍처인 이중 인코더 트랜스포머를 제시합니다. 제안된 모델은 별도로 분리된 글로벌 테스트 세트에서 MAE = 155.8 m를 달성하여 모든 평가 하위 집합에서 모든 기준선(baseline)을 능가했습니다. TEAMx 관측 캠페인과 겹치는 이틀 동안 획득된 30개의 분포 외(out-of-distribution) 그래뉼(granule)에서도 MAE = 165.3 m를 달성하여 동일한 데이터로 학습된 픽셀 단위 기준선(MAE = 197 m)을 능가했습니다.
인공지능에서 메모리 수요가 증가함에 따라 더 적은 학습 가능 매개변수로 학습하려는 동기가 커지고 있다. 본 연구는 반복(iteration)마다 매개변수를 공유하며 하나의 적합된 연산자를 반복 적용하는 루프 추정기(looped estimator)가 동일한 매개변수 예산 하에서 통계적 정확도를 향상시킬 수 있는지 묻는다. 이에 대응하는 기존의 비공유(untied) 추정기는 각 반복마다 별도의 매개변수를 사용한다. 일반적인 가능도(likelihood) 모델에 대해, 루프 시브(sieve) 최대 가능도 추정에 대한 제곱 Hellinger 위험의 상한과, 튜닝된 비공유 모델군에 대한 미니맥스 하한을 확립한다. 이 경계들은 매개변수-반복-정확도 간의 트레이드오프를 드러낸다. 즉, 반복 계산은 매개변수를 추가하지 않고도 근사를 개선할 수 있으나, 계산 비용과 적합된 함수 클래스의 복잡도를 증가시킨다. 알려진 Hölder 매끄러움을 갖는 목표 함수에 대해, 루프 잔차 순방향 신경망(residual feedforward network)과 특정한 post-layer-normalized 트랜스포머(Transformer)는 유계 실수 매개변수의 개수를 고정한 채로 로그 인자를 제외하고 미니맥스 다항 수렴률을 달성한다. 충분히 큰 고정 예산에서는 표본 크기가 증가함에 따라 루프 방식의 최악 사례 위험이 0으로 수렴하는 반면, 최적의 비공유 방식의 최악 사례 위험은 0으로부터 일정 수준 이상 떨어진 채로 유지된다. 명시된 예산 증가 조건 하에서는 루프 대 비공유 위험 비율 또한 0으로 수렴한다. 가우시안 및 라플라스 회귀, 이진 응답, 에너지 기반 밀도 추정을 통해 이론을 예시한다.
자폐 스펙트럼 장애(ASD)는 기존의 임상 평가 방식이 주관적이고 많은 시간이 소요되며 전문가 평가를 필요로 하기 때문에 조기 진단이 여전히 어려운 신경발달 질환이다. 보행은 자동화된 ASD 선별 검사를 위한 유망한 비침습적 행동 바이오마커를 제공하지만, 기존 연구들은 분할(fold) 간 안정성을 공식적으로 평가하지 않은 채 주로 단일 데이터셋 평가, 합성곱(convolutional) 아키텍처, 교차 검증(cross-validation) 성능에 대한 기술적 요약에 의존해 왔다. 본 연구는 사전에 계산된 통계적 보행 기술자(descriptor)와 원시 생체역학적 지면 반발력(ground-reaction-force) 측정값이라는 구조적으로 서로 다른 두 가지 3D 보행 특징 표현에서 평가되는 ASD 분류용 어텐션 강화 트랜스포머 프레임워크로 이러한 한계를 해결한다. 5겹 교차 검증에서 제안된 프레임워크는 공개 Kinect 기반 벤치마크에서 99.00%의 정확도, 99.02%의 정밀도, 99.00%의 재현율, 99.00%의 F1 점수, 99.00%의 특이도를 달성하여 비교 대상 최신 기법들의 성능을 능가했다. 또한 독립적인 비공개 포스 플레이트(force-plate) 데이터셋에서는 평균 95.00%의 정확도, 93.81%의 정밀도, 96.67%의 재현율, 95.13%의 F1 점수, 93.33%의 특이도를 달성했다.
가중치와 바이어스는 일반적으로 별도의 매개변수 텐서로 최적화되지만, 아핀 층의 입력 평균이 0이 아닐 때는 서로 다른 함수를 나타내지 않는다. 입력 평균이 $μ$인 아핀 사상 $z=Wx+b$에서, 가중치 업데이트는 바이어스 업데이트와 기능적으로 구분할 수 없는, 샘플에 독립적인 변위 $ΔWμ$를 포함한다. 우리는 이 숨겨진 기여를 경계 이동(boundary motion)이라 부르고, 각 업데이트를 중심화된, 샘플에 따라 변하는 형태(shape) 성분과 공유된 경계(boundary) 성분으로 분해한다. IMDb에서 처음부터 학습한 4층 트랜스포머에서, 바이어스 유사 항 $g_bμ^\top$의 중앙값 노름은 아핀 층과 학습 체크포인트 전반에 걸쳐 원시 가중치 그래디언트 노름의 0.664와 같다. 더 주목할 만한 점은, 중앙값 비율 $\norm{ΔWμ}/\norm{Δb}$가 134.7인 반면 $\norm{ΔWμ}/\norm{Δb+ΔWμ}$는 0.994라는 것이다. 따라서 AdamW 하에서 관측된 경계 이동은 명시적 바이어스보다는 거의 전적으로 가중치 행렬을 통해 실현된다. 우리는 가중치에 의해 유발된 경계 변위를 보상하고, 독립적인 Adam 상태로 $g_W-g_bμ^\top$와 $g_b$를 최적화하는 진단용 옵티마이저인 Shape--Boundary Orthogonal AdamW(SBO-AdamW)를 구현한다. 단일 시드 실험에서 SBO-AdamW는 검증 정확도를 81.68\%에서 85.81\%로, 검증으로 선택한 테스트 정확도를 78.73\%에서 82.73\%로 높였으며, 최적 검증 체크포인트는 3000 스텝이 아닌 800 스텝에서 나타났다. 그러나 이동 배치 중심 보상은 심각한 바이어스 좌표 표류를 유발하고 경계 에너지를 크게 감소시킨다. 따라서 현재의 증거는 숨겨진 경계 이동이 중요한 최적화 메커니즘임을 뒷받침하지만, 아직 최종적인 범용 옵티마이저를 확립하지는 못한다. 안정적인 중심화 아핀 매개변수화가 필요한 다음 단계로 확인되었다.
본 연구에서는 트랜스포머 신경망의 추론 시간을 효율적으로 최적화하는 방법을 탐구하며, 이를 금융 시계열에서의 실시간 이상(anomaly) 탐지에 적용한다. 금융 시계열은 자산 가격과 같은 가격 시계열이다. 불행히도 데이터에는 종종 오류나 이상치가 포함되어 있어, 후속 데이터 처리 작업을 무용하게 만들거나 불안정하게 하거나 심지어 해롭게 만들 수 있다. 또한 금융 시계열 데이터의 양이 크게 증가하고 있다. 따라서 정확도와 처리 속도 측면에서 더 나은 데이터 정제 방법이 필요하다. 신경망 아키텍처로서 트랜스포머는 자연어 처리(NLP) 및 컴퓨터 비전(CV) 등 많은 작업에서 우수한 성능을 달성해 왔다. 시계열 모델링, 특히 이상 탐지 작업은 장기 의존성(long-range dependencies)과 상호작용을 포착하는 능력을 포함하여 트랜스포머 아키텍처의 특성을 여러 방식으로 활용할 수 있다. 현장 프로그래머블 게이트 어레이(FPGA)와 같이 점점 강력해지는 하드웨어는 재구성 가능성과 고성능 덕분에 최근 몇 년간 사용이 증가하고 있다. 이들은 트랜스포머 아키텍처의 연산을 가속하는 데 효율적으로 활용될 수 있다. 시계열 모델링을 위한 다양한 트랜스포머 아키텍처와 이를 FPGA 보드(PYNQ-Z2)에 효율적으로 구현하는 방법을 탐구한다. 특히 시계열에서 이상을 탐지하기 위한 트랜스포머 적용을 검토하고, 지연(latency)을 최소화하기 위해 FPGA 보드에 효율적으로 구현하는 방법을 보여준다. 코드는 https://github.com/thxi/icl_thesis 에서 이용할 수 있다.
인공지능(AI)은 여러 의료 과제에서 유망한 성능을 보여왔지만, 질환 간 복잡하게 겹치는 증상으로 인해 AI를 이용한 정확한 치매 원인 진단은 여전히 어려운 과제로 남아 있다. 센터 간 샘플을 결합하여 데이터셋 크기를 확대하면 성능 향상을 기대할 수 있지만, 센터나 인구 집단 간 고유한 데이터 이질성은 이를 저해하는 갈등을 유발한다. 기존 다중 과제 학습(multi-task learning) 패러다임은 유망한 틀을 제공하지만, 이질성에 대응하기 위한 핵심 메타 정보(예: 사이트별 촬영 방식, 모달리티 가용성)를 고려하지 못한다. 이 문제를 해결하기 위해, 우리는 치매 원인 진단을 위한 협력적 메타 지식 강화(Collaborative Meta Knowledge Enhancement, COME) 프레임워크를 제안한다. 이 프레임워크는 다중 센터 촬영 의미, 출처 식별자, 모달리티 지표를 이질성 인식 임베딩(heterogeneity-aware embedding)으로 통합 트랜스포머 아키텍처에 주입하여 확장 학습(scale-up training)을 수행하고, 이질성의 명시적 모델링을 가능하게 한다. 또한 참조 모델을 통해 학습 중 모델이 허위 상관(spurious correlation)에 빠지지 않도록 정규화하기 위해 신뢰 영역 제약 최적화(trust-region constrained optimization) 방식을 설계하였다. 7개의 독립 코호트 전반에서 우리 방법은 도메인 내(in-domain) 최첨단 성능을 달성하며, 평균 매크로 평균 AUC 85.62%와 최강 기준선 대비 4.29%p 향상을 기록하면서, 센터 간 및 시퀀스 간 평가 모두에서 우수한 도메인 외(out-of-domain) 일반화를 유지한다. 광범위한 검증 또한 모델 예측과 확립된 바이오마커(아밀로이드, 타우) 및 임상 중증도 간의 정렬(alignment)을 확인하여, COME이 실제 환경에서 견고하고 해석 가능한 치매 진단을 가능하게 할 잠재력을 보여준다.
최근 핵융합은 상당한 진전을 이루었으며, 글로벌 에너지 과제를 해결하는 가장 중요한 경로 중 하나가 될 것으로 기대된다. 본 논문은 가시광선 카메라를 이용해 플라즈마를 관측하고, 시공간적 운동 단서를 분석하며, 광 강도의 2차원 공간 분포를 예측하는 데 초점을 맞춘다. 이는 심층 신경망을 활용한 향후 과학 실험을 위한 기초 토대를 제공하는 것을 목표로 한다. 구체적으로, 우리는 미분 트랜스포머를 중심으로 한 새로운 백본 네트워크인 Delta-InvFormer를 제안한다. 핵심 통찰은 연속적인 비디오 프레임을 입력으로 사용하면 플라즈마의 역학을 더 잘 포착할 수 있다는 것이다. 또한 공간 및 시간 미분 셀프 어텐션(self-attention)은 노이즈 신호의 간섭을 효과적으로 완화하여 고품질 특징 추출을 보장한다. 이러한 특징은 이후 압축적이고 정보가 풍부한 표현으로 융합되며, 디코더 네트워크에 입력되어 분포를 예측한다. 대규모 과학 시설인 실험용 고온 초전도 토카막(Experimental Advanced Superconducting Tokamak, EAST)에서 수집한 실제 실험 데이터를 바탕으로, 제안된 모델이 분포 예측을 위한 전통적 방법을 상당히 가속할 뿐만 아니라 경쟁력 있는 재구성 정확도를 달성함을 보여준다. 본 논문의 소스 코드는 https://github.com/Event-AHU/OpenFusion 에서 공개될 예정이다.
다중 매개변수 MRI(mpMRI)를 이용한 전립선암 진단은 일반적으로 PI-RADS 평가 또는 이진 분류에 기반하지만, 이는 주관성 문제가 있고 임상적으로 관련 있는 병리학적 이질성을 포착하지 못한다. 이 한계를 해결하기 위해, 우리는 전립선암 조직병리학 스펙트럼 데이터셋(Prostate Cancer Histopathology Spectrum Dataset, PCa-HSD)을 구축하고 임상적으로 의미 있는 4-클래스 분류 과제를 정식화하며, 기존 데이터셋에서 전립선암과 쉽게 혼동되는 양성 병변의 과소 대표 문제를 다룬다. 우리는 제로샷 분할(zero-shot segmentation)을 활용해 해부학적 사전 정보를 제공하고 분류를 위해 효과적인 다중 모달 슬라이스 융합을 수행하는 Language-guided Segmentation-assisted Diagnostic Transformer(LSDT) 모델을 제안한다. 제안 방법은 백본 전반에서 일관되게 정확도를 향상시키며, 344명 환자 코호트에 대한 5-겹 교차 검증에서 평균 정확도 0.633과 JointRecall 0.768의 최고 성능을 달성한다. 이 결과는 병리학적 감독과 해부학적 사전 정보를 통합하면 세밀한 전립선 MRI 분류가 크게 향상되며, 위험 계층화를 위한 더 임상적으로 관련 있는 패러다임을 제공함을 보여준다. 코드는 향후 개정판에서 공개될 예정이다.
고차원 공변량을 갖는 다중 시계열 예측은 공통의 시간적 패턴을 통합하면서도 의미 있는 시계열별 정보를 유지해야 한다는 핵심 과제를 제기한다. 우리는 이 과제를 다루는 2단계 프레임워크인 Hopformer(Homogeneity-Pursuit Transformer, 동질성 추구 트랜스포머)를 제안한다. 첫 번째 단계에서, 공변량을 반영한 공통의 저분산 추세를 추출하는 희소성 패턴 집계(Sparsity Pattern Aggregation, SPA) 기법을 수행한다. 이는 동질화 층으로 작용한다. 두 번째 단계에서는 LoRA로 파인튜닝된 트랜스포머가 잔차에 남은 복잡한 의존성을 모델링한다. 본 방법은 이론적으로 근거를 둔다. 우리는 SPA가 오라클 부등식을 통해 근최적의 바이어스-분산 트레이드오프를 달성함을 증명한다. 또한 종속 시계열 데이터 하에서 두 번째 단계에 대한 일반화 경계를 제시한다. Hopformer는 합성 및 실세계 예측 벤치마크 전반에서 MASE를 평균 6.56% 개선하며 새로운 최신 성능을 달성한다.
특징 기여(feature-attribution) 방법은 입력 변수와 모델의 출력 간 관계에 점수를 부여하지만, 그 자체로는 명시적으로 정의된 상호작용 연산자가 중간 레이어에서 어떻게 합성되는지 특성화하지는 않는다. 우리는 내부 모델 구조에 대한 전파 기반 관점인 \emph{interior interpretability}(내부 해석 가능성)을 제안하고, 어텐션 롤아웃을 사용하여 표 형식(tabular) 트랜스포머에 이를 구현한다. 롤아웃을 특징 토큰 간 어텐션 매개 전파를 인코딩하는 행 확률적(row-stochastic) 연산자로 해석한다. 고전적인 Doeblin--Dobrushin 수축 이론을 적용함으로써, Dobrushin 계수가 작은 롤아웃 연산자가 정규화된 열 합으로 결정되는 공통 행을 갖는 rank-one 확률 행렬에 정량적으로 가깝다는 것을 보인다. 이 결과는 해당 롤아웃 전파 프로파일에 구조적 해석을 제공한다. 대사체학적(metabolomic) 나이 예측을 위해 학습된 트랜스포머에서, 측정된 롤아웃 수축은 깊이에 따라 강화된다. 학습된 모델과 무작위 초기화 모델은 서로 다른 전파 프로파일을 보이기도 하지만, 본 실험은 개별 롤아웃 순위 변수의 예측적 관련성을 입증하지는 않는다. PCA 및 SHAP에 대한 GradientExplainer 근사와의 탐색적 비교는, 높은 순위의 변수들 사이에서는 국소적 일치를 보이지만 전체 순위에 걸친 일치는 약함을 드러낸다. 따라서 어텐션 롤아웃은 여기서 완전한 트랜스포머에 대한 인과적 설명이나 충실한 기여(attribution)가 아니라, 어텐션 매개 전파의 진단 도구로 사용된다.
본 연구는 현대 딥러닝 아키텍처—RNN, 소프트맥스 트랜스포머, 선형-어텐션 트랜스포머, 상태 공간 모델—에서의 정보 병목을 인덱싱 프리미티브(indexing primitive) 관점에서 분석한다. 이 프리미티브에서 입력은 $n$개의 비트와 1부터 $n$까지의 정수 $i$(인덱스)로 구성되며, 출력은 $i$번째 비트의 값과 같다. 마스크된 아키텍처를 위한 인과적 복잡도(causal complexity)를 도입하고, 인과적 복잡도가 낮은 아키텍처는 인덱스가 입력의 끝에 나타날 때 임의의 상수 층 수로는 인덱싱 프리미티브를 풀 수 없음을 보인다. 특히 이 한계는 저매개변수 RNN, SSM, 마스크된 선형-어텐션 트랜스포머에 적용된다. 반면 소규모 소프트맥스 트랜스포머는 1개 층으로 이를 풀 수 있고, 비마스크 선형-어텐션 트랜스포머는 2개 층으로 풀 수 있어 마스크된 대응 모델과 구분된다. 한편 인덱스가 입력의 시작에 나타날 때는 소규모 RNN이 1개 층으로 이 과제를 풀 수 있는 반면, 다른 모든 아키텍처는 2개 층이 필요함을 보인다. 모든 불가능성 결과는 무조건적이며, 무한 정밀도 실수 연산을 사용하는 모델에도 적용된다. 또한 $n=64$까지의 실험은 이론과 질적으로 일치한다. 저매개변수 이론적 해를 갖는 구성은 인덱싱 과제를 쉽게 학습하는 반면, 그러한 이론적 해를 허용하지 않는 구성은 시퀀스 길이가 증가함에 따라 학습에 어려움을 겪는다.
저정밀도 실행은 가중치와 입력이 고정된 경우에도 트랜스포머에서 상당한 순전파 불일치를 유발할 수 있지만, 이러한 불일치는 보통 출력에서만 모니터링되며 층별 이론적 설명이 부족하다. 우리는 출력 불일치를 층 국소 어텐션, LayerNorm, 잔차 전달(residual-transport) 항으로 1차 분해하고, 이로부터 실용적인 인과적 위험 추정기와 예산 기반 제어기인 Bound-Guided Selective Stabilization(BGSS)를 도출한다. 통제된 스윕은 예측된 국소 부호, 단조성, 전달 구조를 검증한다. GPT-2에서 전달 인식 결합 예측기는 $18$회 실행 모두에서 FP32 기준 불일치와 양의 상관관계를 보이며, 전달 없음 ablation 대비 $17/18$회 실행에서 개선된다. 기준 패치 기여도 분석은 동일한 점수가 유용한 층 순서 정보를 보존함을 보여준다(평균 Spearman $0.362$). 예산 일치 완화에서 BGSS는 무작위 동일 예산 제어 대비 발현 이벤트($10.67$ vs. $11.67$), 최종 불일치($1.243\times 10^{-3}$ vs. $1.284\times 10^{-3}$), 최악 불일치($3.14\times 10^{-3}$ vs. $8.49\times 10^{-3}$)에서 우수하며, 발현 억제에서는 위험 전용 동일 예산 제어기와 동등하면서 최악 불일치를 크게 줄인다($3.14\times 10^{-3}$ vs. $5.71\times 10^{-3}$). 이 결과는 유한 정밀도 위험을 분석·추정·국소화·선택적으로 안정화할 수 있는 트랜스포머 수치적 취약성에 대한 이론-알고리즘 설명을 뒷받침한다.
어텐션 메커니즘(AM)은 영상 작업에 필요한 핵심 정보를 선택적으로 집중하고, 원거리 픽셀 이웃 간의 관계를 포착하여 특징 표현을 계산한다. 가속 MRI 재구성은 AM의 이점을 받는데, 영상화 과정이 이미지 표현에 비국소적으로 영향을 미치는 푸리에 영역 측정을 포함하기 때문이다. 그러나 AM 기반 모델은 저주파 정보를 포착하는 데는 더 능숙하지만 고주파 표현에 대한 역량이 제한되어, 모델을 매끄러운 재구성에 제한한다. 또한 AM 기반 모델은 다중모달 MRI 데이터에 대해 모드별 재학습이 필요한데, 지식이 국소적 문맥 변화에 국한되어 이질적 도메인 간 전이 가능한 특징을 포착하기에 불충분할 수 있기 때문이다. 이러한 과제를 해결하기 위해, 우리는 확장 가능한 MRI 재구성을 위한 신경조절(neuromodulation) 기반 판별적 다중 스펙트럴 AM을 제안하며, 이는 (i) 고품질 재구성을 위해 문맥 인식 고주파 세부 정보를 전파하고, (ii) 다중모달 MRI에서 편차가 있는 미관측 도메인 간 재사용 가능한 특징을 포착할 수 있다. 제안된 네트워크는 모드별 전이 가능한 특징을 포착하는 스펙트럴 필터링 CNN과 고주파 세부 정보에 초점을 맞춘 동적 고역통과 커널 생성 트랜스포머로 구성된다. 우리는 이질적 MRI 데이터 하에서 지도 학습 및 자기지도 학습, 확산 모델 기반 학습, 폐쇄 집합 및 개방 집합 일반화, 해석 기반 분석에 대한 비교 연구로 모델을 평가한다. 우리의 방법은 미관측 시나리오에서 PSNR 기준 약 1 dB, SSIM 기준 약 0.01의 최대 개선 폭으로 확장 가능하고 고품질 재구성을 제공한다. Code: https://github.com/sriprabhar/SHFormer
통합되고 확장 가능한 트랜스포머는 최근 3D 시각 효과, 렌더링 과정, 영상 속 움직임 등 컴퓨터 그래픽스와 전통적으로 연관된 다양한 현상을 모델링하는 데 눈에 띄는 성공을 거두었다. 본 연구에서는 현대적인 트랜스포머 기법이 도전적인 과제인 천 시뮬레이션을 다룰 수 있는지 조사함으로써 한 걸음 더 나아간다. 이를 위해 천 시뮬레이션을 학습된 잠재 공간에서의 자기회귀(autoregressive) 시퀀스 모델링으로 재공식화하는 프레임워크인 ClothTransformer를 제안한다. 기존 신경망 기반 천 시뮬레이터는 대체로 단일 시나리오에 특화되어 있고, 메시 이산화(mesh discretization)에 본질적으로 결합되어 있으며, 견고한 충돌 처리가 부족하다. 우리 접근법은 세 가지 기여를 통해 이러한 한계를 해결한다: (1) 신체 구동 의류(body-driven garments), 로봇 조작(robotic manipulation), 자유 낙하 충돌(free-fall collisions) 등 다양한 시나리오를 단일 모델로 처리하는 통합 트랜스포머 아키텍처로, 모든 시나리오에서 기존 최첨단(state-of-the-art) 방법 대비 약 4~9배 낮은 오류를 달성한다; (2) 임의 해상도의 메시를 고정 크기의 잠재 토큰(latent token) 집합으로 압축하여 시간적 역학(temporal dynamics) 계산이 메시 해상도와 무관해지도록 하는 확장 가능한 잠재 공간(latent-space) 공식화; (3) 세 가지 설정을 모두 아우르는 약 49.34만 프레임 규모의 다양한 시나리오 고충실도 무관통(penetration-free) 데이터셋으로, 미분 가능한 연속 충돌 검출(Continuous Collision Detection, CCD) 모듈이 관통(penetration) 아티팩트를 억제할 수 있게 한다. 프로젝트 페이지: https://yucrazing.github.io/clothtransformer/
심층 신경망은 층을 거치며 점점 더 추상적이고 조합적인 특징을 점진적으로 포착하는 계층적 표현을 형성할 수 있다는 능력으로부터 표현력을 얻는다고 널리 여겨진다. 언어 모델링에서 트랜스포머는 지배적인 아키텍처로 등장했으며, 초기 층은 국소적 구문 패턴을 포착하고 후기 층은 더 복잡한 절 수준의 의존 관계를 인코딩한다. 이러한 직관이 모델 설계를 형성해 왔지만, 심층 트랜스포머가 그러한 계층적 구조를 어떻게 표현하는지를 보여주는 엄밀한 이론적 연구는 여전히 부족하다. 본 연구에서는 유계 깊이의 비재귀 문맥자유 문법이라는 형식적 관점을 통해 심층 트랜스포머 모델의 표현력을 분석한다. 이 문법 클래스에 대해, 문법 깊이에 선형적으로 비례하는 깊이를 갖는 위치 어텐션 트랜스포머를 명시적으로 구성하며, 뉴런 수는 유도 트리 형태의 수에 비례하고 생성 규칙 수의 제곱에 비례한다. 이론적 결과는 이러한 아키텍처가 잔차 스트림 내에서 추상적 문법 상태를 저차원의 선형 분리 가능한 부분공간으로 인코딩할 수 있는 구조적 용량을 지님을 보여 줌으로써 선형 표현 가설을 뒷받침한다.
뇌 장전위는 스케일-자유(scale-free)적이다. 그 전력 스펙트럼은 $1/f^β$ 법칙을 따르며, 비주기성 지수 $β$는 피질 상태를 추적하고, 특히 수면 깊이는 $β$의 변화로 나타난다. 우리는 명시적 재정규화군(RG) 귀납 바이어스(bias)를 갖춘 트랜스포머—일반적인 셀프 어텐션(self-attention)을 학습 가능한 이상 차원 $γ$, 블록-스핀(block-spin) 조잡화(coarse-graining), 엔트로피 게이트(entropy-gated) 동기화 브릿지를 갖는 스케일 인식 스트림과 결합한 RG-Flow 트랜스포머—가 실제의 희소한 EEG에서 매개변수를 맞춘 바닐라(vanilla) 트랜스포머보다 우위가 있는지 묻는다. 엄격한 피험자별 누출 없는 홀드아웃(hold-out)을 적용한 PhysioNet Sleep-EDF 코퍼스를 사용하여, 우리는 (i) 5-class AASM 수면 분류(sleep staging)에서 RG-Flow를 매개변수를 맞춘 바닐라 트랜스포머 및 계층만(hierarchy-only) 절제(ablation) 모델과 벤치마크하고, (ii) 데이터가 희소할 때 예측되는 귀납 바이어스 교차(crossover)를 찾기 위해 피험자당 데이터 예산을 스윕(sweep)하며, (iii) RG-Flow가 학습한 $γ$가 표본 외(out-of-sample)에서 측정된 스펙트럼 지수 $β$를 추적하는지—바닐라 모델에는 존재하지 않는 양—를 검증한다. 피험자 하나 제외 교차검증(leave-one-subject-out cross-validation) 하에서 5명의 피험자와 5개의 시드(seed)에 걸쳐, RG-Flow와 바닐라 트랜스포머는 5-class 분류에서 통계적으로 구별되지 않는다(정확도 77.3\% vs 77.0\%; paired $p=0.294$). 예측된 희소 데이터 교차는 나타나지 않으며, 데이터가 제한된 모든 예산에서 바닐라가 수치적으로 앞선다. 두 모델을 구분하는 것은 해석 가능성(interpretability)이다. RG-Flow는 표본 외에서 연속적인 스펙트럼 지수를 복원한다($β$-recovery $R^2 = 0.416$). 이는 바닐라 아키텍처에는 대응하는 기능이 없다.
본 논문은 인공지능(AI)을 통합한 뇌-컴퓨터 인터페이스(BCI) 기반 휠체어 개발 접근법을 제시하며, 제어를 위해 좌우 손 운동 상상 메커니즘을 활용한다. 이 시스템은 뇌전도(EEG) 데이터를 이용하여 좌우 손 운동 상상에 기반한 휠체어 내비게이션을 시뮬레이션하도록 설계되었다. 오픈소스 EEG 저장소에서 획득한 사전 필터링된 데이터셋을 손 움직임의 개시 시점을 포착하기 위해 19×200 배열로 분할하였다. 데이터는 200Hz의 샘플링 주파수로 수집되었다. 이 시스템은 Tkinter 기반 인터페이스를 통합하여 휠체어 이동을 시뮬레이션하며, 사용자에게 기능적이고 직관적인 제어 시스템을 제공한다. 운동 상상 EEG 분류를 위해 트랜스포머 기반 심층 학습 아키텍처인 TFormerEEG를 제안한다. 해당 모델은 XGBoost, EEGNet, EEG-Deformer 모델을 포함한 다양한 머신러닝 기준선 모델과 비교하여 93.04%의 테스트 정확도를 달성한다. TFormerEEG는 계층화 교차검증을 통해 평균 정확도 91.18%를 달성하여, 이 모델의 효과를 보여준다.
실시간 영상 생성은 빠른 디노이징만큼이나 빠른 디코딩을 요구하지만, 현재의 잠재 공간 영상 확산 모델은 3D 컨볼루션 디코더에 의존하며 고해상도나 긴 영상에서 느리고 메모리 사용량이 큽니다. 본 논문은 FlashDecoder를 제안합니다. 이는 잠재 표현을 프레임 단위로 픽셀로 디코딩하는 빠르고 메모리 효율적인 순수 트랜스포머 영상 디코더입니다. 각 단계에서 현재 프레임은 rolling KV cache를 통해 과거 프레임의 고정 크기 윈도우에만 어텐션합니다. 고정된 시간적 윈도우는 영상 길이와 관계없이 디코딩을 빠르게 유지하고 메모리를 제한하여 일정한 지연 시간의 스트리밍을 가능하게 합니다. 프레임이 순차적으로 처리되므로 명시적 어텐션 마스크 없이 시간적 인과관계가 강제되며, 최대 1080p 해상도에서 학습이 가능하고 컨볼루션 디코더의 재구성 품질과 동등합니다. Wan2.1 및 Wan2.2 잠재 공간에서 FlashDecoder는 재구성 품질 면에서 각 컨볼루션 디코더와 동등합니다(예: 1080p에서 PSNR 41.55dB vs. 41.49dB). 단일 H100 GPU에서 3.6~4.7배 빠르게 디코딩하면서 최대 11배 적은 메모리를 사용합니다. 아키텍처 인식 추론 최적화를 적용하면 속도 향상 폭은 12배까지 확대됩니다.