대규모 언어 모델(LLM) 출력의 출처 검증을 위해 편집에도 견고한 다중 비트 워터마킹이 필요하지만, 기존 오류정정코드(ECC) 방식은 하드 디코딩으로 토큰 신뢰도 정보를 버린다. CORE-BREW는 block-wise BREW에 고정 히트율 보정을 더해 토큰별 로그우도비(LLR) 기반 소프트 디코딩을 가능하게 하며, 오픈소스 LLM에서 토큰 편집·의역 공격 하에도 낮은 오탐률(FPR) 판별과 견고성이 이전 다중 비트 워터마킹 대비 개선되면서 의미 품질은 유사하게 유지된다.
Aligner-Encoder 기반 종단간 ASR(E2E ASR)에서는 인코더 상층에서 음성-텍스트 정렬(alignment)이 급격히 형성되어 긴 발화에서 학습이 불안정해지는 문제가 있다. InterAligner는 중간층 Aligner 목적함수와 InterCTC를 결합해 깊이에 걸쳐 정렬을 점진적으로 유도하며, LibriSpeech 17층 Conformer에서 단어 오류율(WER)을 test-clean/other 기준 5.0/7.8에서 3.1/5.6으로 낮추었고 긴 발화에서 개선폭이 가장 컸다.
문맥 내 학습(ICL)에서 function-vector(FV) 헤드는 인과 기여 크기만으로는 단일 기능군처럼 보이지만, 부호를 보존한 refined direct logit attribution과 path patching 검증에 따르면 규칙 정답 logit을 올리는 writers와 내리는 cancellers 두 대립 집단으로 갈라진다. 이 분할은 3개 아키텍처·6개 Pythia 규모 등 15개 (모델·과제) 셀 대부분에서 인과적으로 재현되며, 크기 기반 순위는 한쪽을 놓쳐 촉진·억제 메커니즘을 평균화하고 cancellers 제거만으로 정답 logit +0.13~+0.29 nats·정확도 +2~+7pp 개선을 낸다.
전체 self-attention으로 인해 메모리·연산 비용이 시퀀스 길이에 따라 제곱으로 증가하는 디코더 전용 자기회귀 TTS(AR-TTS) 모델의 효율 문제를 해결하기 위해 WAND(Windowed Attention and Knowledge Distillation)를 제안하며, 조건 토큰에는 전역 어텐션을, 생성 음성 토큰에는 슬라이딩 윈도우 어텐션을 적용하고 커리큘럼 학습과 full-attention 교사 모델의 지식 증류로 적응을 안정화합니다. CosyVoice 2, IndexTTS 1.5, SparkTTS 등 세 AR-TTS 모델에서 음질을 유지하면서 KV cache 메모리를 최대 66.2% 줄이고 길이에 무관한 거의 일정한 단계별 지연과 상수 복잡도 추론을 달성합니다.
Sparse voxel representation has emerged as a scalable foundation for image-to-3D Gaussian Splatting (3DGS) generation, yet current methods struggle to preserve high-frequency visual details of input images due to two structural bottlenecks. First, they adopt discriminative 2D features optimized for semantic abstraction to construct sparse voxel latents, which suppress reconstructive cues and induce a representation bottleneck. Second, in the generation stage, standard diffusion transformers lack effective mechanisms to align dense 2D image tokens with sparse 3D voxel latents, resulting in a cross-modal correspondence bottleneck. To address these issues, we propose FLUX3D, a scalable image-to-3DGS framework that boosts both representation learning and cross-modal alignment during generation. We first revisit 2D feature selection for sparse-voxel-based 3D representation learning, propose Diffusion-Aligned Structured Latents (DA-SLAT) and couple it with a decoder-only architecture to improve 3DGS reconstruction fidelity. We also design a sparse-structure-aware diffusion framework, which integrates the Sparse-structure Multimodal Diffusion Transformer (SMDiT) and Modal-Aware Rotary Positional Embedding (MARoPE) to achieve geometry-agnostic 2D-3D alignment. Extensive benchmark experiments demonstrate that FLUX3D yields substantial improvements in appearance fidelity and significantly outperforms all state-of-the-art (SOTA) methods in generating high-quality 3DGS assets.
WordArt(예술적 텍스트)는 고도로 맞춤화된 폰트, 텍스처, 레이아웃을 특징으로 하며, WordArt 지향 장면 텍스트 인식(WATER)을 일반 장면 텍스트 인식(STR)보다 훨씬 더 어렵게 만든다. 기존 STR 데이터셋과 방법들은 일반적으로 정형 장면 텍스트와 고정 템플릿 입력을 중심으로 구축되어 있어 WATER로 확장하기 어렵다. 이에 우리는 데이터와 모델 두 관점에서 이 작업을 발전시키고자 한다. 데이터 측면에서, 기존 예술적 텍스트 데이터에 비해 규모가 수백 배 향상된 200만 개 합성 데이터셋 WATER-S를 구축한다. WATER-S는 두 가지 상호 보완적인 서브셋으로 구성된다. 하나는 업그레이드된 렌더링 파이프라인(SynthWordArt)으로 렌더링되어 고정밀도의 제어 가능한 합성 WordArt 데이터를 제공한다. 다른 하나는 프롬프트 마이닝을 위한 Qwen3-VL과 이미지 합성을 위한 Z-Image를 결합하여 생성되며, 현실적이고 다양한 데이터의 커버리지를 향상시킨다. 모델 측면에서, 우리는 WATERec을 제안한다. 이는 임의 형태의 입력을 지원하는 시각 인코더와 복잡한 레이아웃을 모델링하는 자기회귀 디코더를 채택하여, WordArt에 대한 고정 템플릿 STR의 병목을 구조적으로 해소한다. 실험 결과, 이 아키텍처는 기존 STR 방법들을 능가하며 WordArt와 같은 비정형 텍스트에서 최첨단 성능을 달성한다. 기존 실제 STR 데이터에서 신중하게 재구성된 WATER-R과 함께, 새로운 합성 데이터와 모델 설계를 갖춘 우리의 강력한 기준선은 WordArt-Bench에서 90.40%의 정확도를 달성하며, 범용 및 OCR 특화 비전-언어(vision-language) 모델 모두를 큰 마진으로 능가한다. 코드와 데이터는 https://github.com/YesianRohn/WATER에서 이용 가능하다.
Vision-Language Models (VLMs) increasingly power high-stakes applications, from medical imaging to autonomous systems, yet they routinely hallucinate, confidently describing content not present in the input. We investigate the root causes of these failure modes with a mechanistic analysis focusing on the decoder-based VLMs. We trace these failure modes to a geometric over-alignment: to bridge the modality gap required by attention mechanisms, decoder-based VLMs over-align visual embeddings with the text manifold, injecting a statistical linguistic bias that systematically overshadows fine-grained visual evidence. While prior work either aggressively closes this gap or suppresses hallucinations through expensive black-box decoding strategies, none addresses the underlying geometric cause. We provide the first quantitative characterization of this over-alignment, demonstrating that linguistic bias concentrates in the top principal components of a universal, dataset-agnostic text subspace. Building on this insight, we propose two complementary remedies: a training-free inference strategy and a bias-aware fine-tuning paradigm, both of which explicitly project out this subspace from visual representations. Our methods significantly reduce hallucinations across POPE, CHAIR, and AMBER benchmarks, and improve CLAIR scores on long-form captioning tasks, with the training-free variant adding no computational overhead over the base model.
Generative models, particularly diffusion and score-based approaches, have recently achieved strong performance in speech enhancement, but their iterative sampling process limits real-time deployment. Flow Matching offers an efficient alternative by transporting noisy speech toward clean speech through an ordinary differential equation with few function evaluations. In this work, we propose a skip-free encoder-decoder backbone for flow-matching speech enhancement, guided by Latent Representation Alignment (LRA). Instead of relying on U-Net skip connections, which may transfer noise-correlated low-level features to the decoder, the proposed model aligns its bottleneck and decoder representations with clean latent features extracted from a frozen Descript Audio Codec encoder-decoder without quantization. This codec-aligned supervision promotes compact clean-speech representations while preserving efficient few-step inference. Experiments on WSJ0-CHiME3 and VoiceBank-DEMAND show improved PESQ and perceptual quality, especially on VoiceBank-DEMAND, using only five function evaluations.
Multimodal driving planning faces a long-standing tension between two paradigms: scoring-based methods benefit from dense reward supervision but are confined to a fixed action vocabulary, while anchor-based methods generate proposals dynamically yet suffer from sparse supervision constrained to a single ground-truth trajectory. In this work, we propose FlowR2A, which resolves this tension by reframing simulation-based rewards from discriminative targets into generative conditions. By learning the reward-conditioned action distribution from dense trajectory-reward pairs with a flow-matching decoder, FlowR2A unifies the dense supervision of scoring-based methods with the proposal generation of anchor-based methods in a single generative model, forcing the model to internalize the correlation between an action and its outcomes in safety, progress, comfort, and rule compliance. To balance hard safety constraints against soft progress objectives, we introduce fine-grained per-timestep reward conditioning and reward noise augmentation. The generative formulation naturally supports controllable test-time sampling via reward guidance and anchored sampling, producing high-quality proposals. FlowR2A achieves state-of-the-art results on the NAVSIM v1 and v2 benchmarks, with multimodal proposals of substantially higher quality than prior methods.
CTC 내부 스코어링은 blank-path 확산으로 N-best 후보가 커질수록 판별력이 급격히 떨어져 greedy 디코딩 대비 유의미한 WER 개선을 내지 못하며, 병목은 음향이 아니라 언어 정보 부재에 있다. RoBERTa PLL 사후분포를 쓴 MBR-CER 디코딩은 LibriSpeech test-other에서 WER 5.42%(탐욕 5.96% 대비 상대 9.0% 감소)를 달성하고 13개 조건 중 11개에서 이득을 보였으나, 거의 수렴한 CR-CTC에서 MWER 시퀀스 수준 미세조정은 WER이 크게 악화된다.
BioMatrix를 제시한다. 이는 단일 디코더 전용(decoder-only) 아키텍처 내에서 분자와 단백질 모두에 대해 서열, 구조, 자연어를 네이티브로 통합하는 최초의 멀티모달 기반 모델이다. 기존 생물학적 기반 모델들은 네이티브 멀티모달리티와 넓은 개체(entity) 범위를 각각 따로 추구한다. 공유 목표 하에 여러 모달리티를 융합하는 모델들은 단일 개체 유형에 국한되는 반면, 여러 개체 유형을 아우르는 모델들은 명시적 구조 모델링을 생략하거나, 모델이 읽을 수 있는 모달리티를 네이티브로 생성하지 못하는 어댑터 기반(adapter-based) 설계에 의존한다. BioMatrix는 분자 서열(SMILES 및 SELFIES 표기법 모두 지원), 분자 구조, 단백질 서열, 단백질 구조, 자연어를 통합 토큰화 방식을 통해 공유 이산 토큰 공간으로 매핑함으로써 이 격차를 메운다. 이를 통해 외부 인코더, 투영 어댑터, 모달리티별 출력 헤드 없이 단일 다음 토큰 예측(next-token prediction) 목표 하에서 모든 모달리티를 균일하게 입력하고 생성한다. Qwen3 언어 모델(1.7B 및 4B)을 기반으로 BioMatrix는 일반 및 도메인 특화 텍스트, 분자와 단백질의 서열 및 구조 뷰, 생물분자 개체와 과학 텍스트를 교차 배치하고 분자-단백질 및 단백질-단백질 상호작용 데이터를 통해 서로 다른 개체를 연결하는 교차 모달 코퍼스를 아우르는 3044억 토큰에 대해 지속적 사전학습(continual pre-training)을 수행한다. 6개 범주에 걸친 80개 과제를 포괄하는 포괄적 다운스트림 응용 분야에 대해 튜닝한 후, 모달리티 간 및 모달리티 내 단일·다중 개체 이해 및 생성 과제를 포함하는 BioMatrix는 80개 과제 중 77개에서 최첨단(state-of-the-art) 또는 경쟁력 있는 성능을 달성한다. 이는 단일의 네이티브 멀티모달 범용(generalist) 모델이 광범위한 생물학적 과제 전반에 걸쳐 특화 접근법과 효과적으로 동등하거나 이를 능가할 수 있음을 보여준다.
LLM의 최종 층 디코딩이 추론-정렬(alignment) 트레이드오프로 정제된 예측을 일반적·정렬 선호 토큰으로 교란할 수 있음을 보이고, 엔트로피 기반 역방향 탐색으로 신뢰도가 가장 높은 최종 근접 층을 동적으로 선택하는 학습 없는 Confident Decoding을 제안한다. dense·MoE 모델에서 GPQA-Diamond, Omni-MATH, HLE 등 어려운 추론 벤치마크 성능을 메모리 오버헤드 없이 지연 2% 미만으로 일관되게 향상시킨다.
비침습적 뇌 신호로부터 내면 언어를 디코딩하는 것은 명시적 언어 출력의 부재, 제한된 학습 데이터, 그리고 피험자 간 큰 변동성으로 인해 근본적인 난제로 남아 있다. 기존 뇌-텍스트 접근법은 종종 과제별 디코더 미세조정에 의존하며, 이는 확장성을 제한하고 새로운 참가자에 대한 적응을 복잡하게 만든다. 우리는 fMRI 신호로부터 기본 언어 모델을 수정하지 않고 개방형 텍스트 생성을 가능하게 하는 분리된 2단계 뇌-언어 프레임워크인 MindAlign을 제안한다. 1단계에서는 fMRI 활동을 공유 다중모달 의미 공간으로 매핑하는 피험자별 신경-의미 정렬을 학습하여, 내부적으로 생성된 문장의 잠재 의미 스케치를 추출한다. 2단계에서는 이 스케치를 시각적 맥락과 통합하여 동결된 다중모달 언어 모델에 프롬프트를 제공하고 자유 형식 생성을 수행한다. 무성 이미지 묘사 중 수집된 fMRI 데이터에 대한 실험은 제안된 접근법이 fMRI 전용 및 무작위 기준선을 일관되게 능가함을 보여준다. 우리는 또한 학습된 의미-언어 투영이 피험자 간 일반화될 수 있음을 보여주며, 피험자별 신경 정렬과 결합할 때 효과적인 디코딩을 가능하게 한다. 이 결과는 신경 신호가 이미지 기반 사전분포를 넘어 의미 내용을 변조한다는 것을 나타내며, 뇌-텍스트 디코딩을 위한 확장 가능하고 모듈화된 방향을 뒷받침한다.
고전적 강건 최적화(robust optimisation)의 불확실성 집합(uncertainty set)은 고정된 기하학적 형태를 부과하여, 실세계 데이터에 존재하는 복잡한 의존성을 표현할 수 없다. 우리는 딥 생성 모델(deep generative model)이 보정된 잠재 집합(latent set) 위의 신경망(neural network) 디코더의 상(image)으로 불확실성 집합을 정의하는 프레임워크인 생성적 강건 최적화(Generative Robust Optimisation, GRO)를 제안한다. 이는 비선형 상관관계, 비대칭성, 다중모드성을 자연스럽게 수용한다. 5개 항목 평가 프레임워크(재구성 충실도(reconstruction fidelity), 분포 매칭(distribution matching), 잠재 규칙성(latent regularity), 강건 관련성(robust relevance), 계산적 처리 가능성(computational tractability))는 신경망 기반 불확실성 집합을 평가하기 위한 체계적이고 모델 불가지(model-agnostic) 기준을 제공한다. 우리는 잠재 규칙성을 위해 가우시안 혼합 모델(Gaussian mixture model) 기반 학습(training)을, 강건 관련성을 위해 제약 일관성 정규화(constraint-consistency regularisation)를 사용하는 Wasserstein 적대적 오토인코더(Wasserstein Adversarial Autoencoder)로 이 프레임워크를 구현한다. 디코더를 렐루(ReLU) 활성화로 제한하면 혼합 정수 계획법(mixed-integer programming) 임베딩(embedding)을 통해 정확한 최악의 경우(worst-case) 검증이 가능하다. 6가지 불확실성 분포와 6가지 생성적 아키텍처에 걸친 생산 계획 문제(production planning problem)에 대한 광범위한 실험과 다기간 설비 입지(multi-period facility location) 연구를 통해 프레임워크를 검증하며, 5가지 기준 모두에 대한 체계적 고려가 표현력이 있으면서 동시에 잘 보정되고(well-calibrated) 최적화에 처리 가능한(optimisation-tractable) 불확실성 집합을 생성함을 보인다.
최근 생성 모델에서 멱등성(idempotency)을 강제하기 위한 여러 학습 패러다임이 도입되었습니다. 목표는 모델을 반복 적용했을 때 샘플이 목표 데이터 매니폴드(data manifold) 위에 있으면 변하지 않도록 하는 것입니다. 그러나 실무에서는 이러한 접근법 다수가 정확한 고정점(fixed point)을 달성하지 못해, 반복 적용 시 불안정성과 드리프트(drift)가 발생합니다. 본 연구에서는 이러한 실패의 핵심 원인이 인코더와 디코더가 학습하는 매니폴드 간의 기하학적 불일치에 있다고 주장합니다. 인코더는 입력을 하나의 잠재 매니폴드(latent manifold)에 투영하는 반면, 디코더는 암묵적으로 다른 매니폴드로부터 데이터를 재구성하도록 학습합니다. 이 불일치는 모델이 진정으로 멱등적인 매핑을 학습하는 것을 방해합니다. 이 문제를 해결하기 위해, 인코더와 디코더가 동일한 근본 데이터 매니폴드에 대한 일관된 표현을 학습하도록 강제하여 이 간극을 명시적으로 메우는 새로운 학습(training) 프레임워크를 제안합니다. 이 구성 요소들의 기하학을 정렬함으로써, 우리 방법은 안정적인 투영을 유도합니다. 실험적으로, 우리 접근법이 기존 방법과 비교하여 현저히 낮은 멱등성 오류를 달성하고, 반복 적용 시 동일한 출력을 일관되게 재생성함을 보입니다. 제안한 프레임워크의 효과를 이미지 생성 및 이미지 편집 작업 모두에서 입증합니다. 마지막으로, 이러한 방식으로 멱등성을 강제하면 정체성 보존(identity preservation)과 정보 안정성이 향상되어, 더 사실적이고 제어 가능한 생성형 편집 모델로 이어짐을 보입니다.
표준 자기회귀(autoregressive) 트랜스포머 디코더는 변화하는 커리큘럼 분포에 대한 순차적 미세조정 과정에서 상당한 망각을 보이는 경우가 많다. 본 기술 보고서는 RMS 정규화와 출력 스케일 보정을 사용하여 Differential-Attention 스타일 층과 DeltaNet에서 영감을 받은 단순화된 선형 상태 믹서 층을 교대로 배치한 실험적 356M 매개변수 하이브리드 시퀀스 디코더인 SamatNext v0.2-B를 평가한다. 제어된 단계별 Python 코드 커리큘럼 하에서 모델을 연구하고, 매개변수가 일치하는 트랜스포머 기준선과 비교한다. 이 설정에서 SamatNext v0.2-B는 제어된 Stage 5 홀드아웃에서 100.0% 통과율을 달성하면서 인접한 Stage 3 의미적 동작의 98.8%를 유지하고, Stage 2E 초기 구문 홀드아웃에서 12.0%에 도달한다. 가장 강력한 트랜스포머 기준선은 Stage 5에서 97.6%에 도달하지만 Stage 3 동작의 6.0%만 유지한다. 두 아키텍처 모두 장기 초기 단계 유지에서 여전히 취약하므로, 이 결과는 이 제어된 설정에서 유지/가소성(plasticity) 트레이드오프가 변화했음을 보여주는 증거로 해석해야 하며, 치명적 망각(catastrophic forgetting)에 대한 일반적인 해결책으로 해석해서는 안 된다. 코드, 모델 사양, 평가 스크립트, 결과 표는 독립적인 검증을 위해 제공된다.
현대의 전문가 혼합(MoE) 모델은 대부분의 파라미터를 전문가 층에 배치하지만, 어떤 토큰에 대해서도 그 전문가 중 일부만 사용된다. 사용되지 않는 가중치도 GPU가 접근 가능한 위치에 저장되어야 한다. 범용 GPU에서의 일반적인 해결책은 층 수준의 CPU 오프로딩으로, 메모리를 낮게 유지하지만 순전파마다 해당 층의 모든 전문가를 PCIe를 통해 스트리밍하여 MoE 희소성의 이점 대부분을 잃게 된다. 우리는 저사양 MoE 서빙을 GPU의 워킹셋 관리 문제로 재정의한다: 라우팅된 전문가 가중치와 키-값(KV) 캐시는 제한된 VRAM을 두고 경쟁하는 두 가지 메모리 수요 스트림이다. 우리는 이를 WiSP(Working-Set Paging)로 구현하였는데, 이는 수정되지 않은 서빙 엔진에 바이트 동일 출력을 유지하면서 플러그인되는 라우팅 인식 전문가 페이저이다. 워크로드가 재사용하는 전문가만을 상주시킴으로써, WiSP는 모델이 메모리에 맞지 않을 때 동일한 메모리 예산에서 정적 오프로딩 대비 최대 1.95배의 디코드 처리량을 달성한다. 또한 예측된 라우팅으로부터의 전문가 프리페칭은 단일 스트림 디코드에서 거의 도움이 되지 않음을 발견했다: 병목은 예측 정확도가 아닌 PCIe 대역폭이다. 이는 문제의 초점을 프리페칭에서 할당으로 전환시킨다: VRAM을 전문가와 KV 캐시 사이에 어떻게 분할해야 하는가? 우리는 KV 허용 하한선을 조건으로 바이트당 한계 지연 이득을 균등화하는 MV-WSA(Marginal-Value Working-Set Allocation)로 이에 답한다. MV-WSA는 오프라인 설정기 또는 서빙 중 두 풀을 동시에 조정하는 온라인 컨트롤러로 실행될 수 있다. 실제 서빙에서는 오프라인 설정기만이 프리필과 디코드 모두에서 좋은 성능을 보이는 유일한 정책이었으며, 트레이스 기반 시뮬레이션에서는 워크플로우별 오라클 대비 몇 퍼센트 이내를 유지한 반면 고정 분할은 약 20% 더 나빴다. 온라인 컨트롤러는 모델 출력을 변경하지 않고 추가로 1.20배의 성능 향상을 제공한다.
검색 헤드(retrieval head)는 이전 컨텍스트의 정보를 현재 위치로 복사하는 어텐션 헤드로, 장문 컨텍스트 재현율의 메커니즘적 기반으로 제안되어 왔다. 회전 위치 임베딩(RoPE)은 기저 하이퍼파라미터 theta에 따라 감쇠하는 주파수로 쿼리와 키를 회전시키며, 이 회전이 검색 헤드의 형성을 방지하거나 그 기능을 저하시킨다는 가설이 자연스럽게 제기되어 왔다. 우리는 멀티헤드 및 그룹 쿼리 어텐션을 아우르며 theta 범위가 100배에 달하는 네 가지 오픈 가중치 7-8B 모델에 대해, 페어드 시드 건초더미 바늘 찾기 테스트(needle-in-a-haystack test), 층 클러스터 순열, 인과적 헤드 마스킹을 활용하여 두 가설 모두를 검증한다. (i) 검색 헤드는 인과적으로 필수적이다: OLMo-2에서 탐지된 87개 헤드를 마스킹하면 재현율이 1.00에서 0.00으로 붕괴되는 반면, 대응하는 무작위 헤드를 마스킹해도 아무런 영향이 없으며, 이는 Qwen에서도 재현된다. (ii) theta 값이 높을수록 검색 헤드 수가 감소하지 않으며(theta=500K인 LLaMA-3.1은 47개, theta=10K인 LLaMA-2는 42개), 이는 억제 가설을 반박한다. (iii) 노름-활용도(norm-utility) 관계는 모델 패밀리에 따라 다르며 반대 방향으로 유의미하다(Qwen d=-0.49, OLMo d=+0.50, 모두 유의미; LLaMA는 유의미하지 않음); OLMo와 LLaMA-3.1이 theta=500K를 공유하면서도 차이를 보이므로, 이 효과는 theta에 의해 유발되지 않는다. (iv) Chiang and Yogatama (2025)를 기반으로, 통제된 패치 실험을 통해 검색 헤드의 최저 주파수 RoPE 차원을 0으로 설정하면 재현율이 용량 의존적으로 저하됨을 보인다(128개 차원 중 32개를 0으로 설정 시 1.00에서 0.18로 감소; 무작위 차원의 경우 0.98 유지); 이 효과는 헤드별, 과제별로 특이적이다. 인과 변수는 노름-활용도가 아닌 RoPE 주파수이다. 이 방향성은 네 가지 계보와 두 가지 규모에 걸쳐 패치된 다섯 개 모델 전체(OLMo-2, Qwen2.5-7B/14B, Gemma-2, Mistral)에서 유지된다. 모델 간 효과 크기에 대한 주장은 하지 않는다. 코드와 페어드 시드 하네스가 공개되었다.
학습된 트랜스포머는 대규모 활성화(massive activations)를 일관되게 발전시킨다. 이는 크기가 중앙값보다 훨씬 크고 시퀀스 시작 토큰에 집중되는 소수의 은닉 차원이다. 이러한 이상치가 잔차 스트림의 과부하된 읽기·쓰기 역할로 인한 제거 가능한 부산물인지, 아니면 기능적 필수 요소인지는 현재 활발히 논의 중이다. 우리는 아키텍처적 개입을 통해 부산물 가설을 직접 검증한다. 우리의 아키텍처인 Ledger Residuals는 잔차 스트림을 두 부분으로 분리한다: 중간 계산이 자유롭게 덮어쓸 수 있는 가변적 스크래치 스트림(Deliberation)과, 모델이 최종적으로 읽어내는 표현을 보관하는 보호된 디코드 전용 누산기(Commitment)이다. 만약 대규모 활성화가 하나의 스트림이 스크래치패드와 정답 역할을 동시에 수행하도록 강제되기 때문에만 존재한다면, 전용 정답 채널이 그 필요성을 제거해야 한다. 그러나 우리는 그렇지 않다는 것을 발견한다. 160M 및 290M 규모의 동일 손실 언어 모델에서, 모델은 보호된 채널 내부에 정형화된 고정 차원의 시작 토큰 이상치를 재구성한다. 재구성된 특징은 표준 트랜스포머보다 크기가 작지만 시작 토큰에 더 날카롭게 집중되며, 더 강한 희소성 패널티를 적용할수록 제거되기보다는 오히려 더 지속적이고 더 집중된 형태가 된다. 따라서 대규모 활성화는 아키텍처적으로 견고한 것으로 보인다: 이들은 모델이 디코딩하는 표현이 무엇이든 재출현하며, 이는 이들이 우발적이 아닌 기능적 요소임을 시사하는 결과이다. 우리는 아키텍처 및 측정 코드를 공개한다.
본 논문은 생물학적 시각을 모방한 이중 경로(dual pathway) 아키텍처를 통해 3D 형상(shape) 지각을 위한 새로운 뇌 디코딩 모델을 탐구한다. 우리의 생체 모방(bio-inspired) 접근법은 연속 회전 중 ventral pathway와 dorsal pathway에서 영감을 받아 물체 정체성(object identity)과 공간 방향(spatial orientation)을 위한 별도의 디코딩 모듈을 구현한다. 각도 예측에는 원형 회귀(circular regression)를 사용하고, 3D 재구성을 위해 EEG 조건부 다중 시점(multiview) diffusion을 개발한다. 우리 접근법은 EEG 신호에서 물체 정체성과 공간 방향을 모두 성공적으로 디코딩하고 신경 활동으로부터 3D 재구성을 가능하게 하며, 해석 가능성 분석은 물체 및 각도 디코딩을 지원하는 과정에서 정적인 ventral 우세가 아니라 ventral, dorsal, 운동(motor) 관련 채널의 시간적으로 구조화된 관여를 보여준다.