분자 통신(MC)의 심각한 확산 메모리 문제를 해결하기 위해 RLIM 코드와 SBRNN 탐지기를 결합하고, RLIM에 맞춘 훈련 마스크를 제안하여 성능을 크게 향상시켰습니다. 이 방법은 채널 정보 없이도 채널 상태 인식 MLSE와 경쟁력 있는 성능을 보이며, 비트 오류율(BER)을 획기적으로 낮추었습니다.
마스크드 디퓨전 언어 모델(dLLMs)은 최근 병렬 토큰 생성을 통한 더 빠른 추론 가능성을 제시하며 자기회귀 언어 모델에 대한 경쟁력 있는 대안으로 부상했습니다. 그러나 마스킹 방식의 주요 제한 사항은 토큰이 한 번 마스크 해제(unmasked)되면 더 이상 수정될 수 없다는 점으로, 이로 인해 dLLMs는 초기 샘플링 오류에 취약해집니다. 이를 해결하기 위해, 자가 교정(remasking) 기능을 통해 마스크드 dLLMs를 확장하려는 연구가 증가하고 있습니다. 이러한 방법들 중 매력적인 일부는 토큰 신뢰도를 기반으로 학습(training) 없이 사후(post-hoc)적으로 이를 수행하며, 초기 보고된 결과는 고무적입니다. 본 연구에서는 대표적인 사후(post-hoc) 재마스킹 방법인 WINO [Hong et al., 2026]의 실증적 평가를 재검토하고, 표준 디코딩 설정(더 짧은 블록 길이)에서는 신뢰도 기반 언마스킹 단독 [Wu et al., 2025]에 비해 거의 이득이 없음을 발견했습니다. 평가를 비탐욕적(non-greedy) 디코딩으로 확장한 결과, 신뢰도 기반 재마스킹이 증가된 확률성으로 인한 오류를 어느 정도 완화할 수 있지만, 신뢰도 기반 언마스킹에 대해 이전에 보고된 다양성 붕괴(diversity collapse)를 악화시킴을 알 수 있습니다. 전체적으로, 본 연구의 결과는 사후(post-hoc) 신뢰도 기반 재마스킹의 이점이 설정에 매우 의존적임을 보여주며, 더 포괄적인 평가 프레임워크의 필요성을 강조합니다.
탠덤 질량분석법(tandem mass spectrometry)으로부터의 de novo 펩타이드 시퀀싱은 참조 데이터베이스 없이 새로운 펩타이드를 식별할 수 있게 하여 프로테오믹스(proteomics)에서 핵심적인 역할을 한다. 최근 트랜스포머 기반 인코더-디코더 모델이 뛰어난 성능을 달성했지만, 우리는 이들의 추론 역학에서 중요한 병리 현상을 발견한다. 포괄적인 특징 스케일링 실험을 통해, 기존 자기회귀(auto-regressive) 펩타이드 디코더가 생성된 서열 사전확률(generated-sequence priors)에 과도하게 의존하는 반면, 입력 질량 스펙트럼으로부터의 세밀한 물리적 증거를 점진적으로 과소 활용하는 경향이 있음을 보여준다. 이러한 현상은 생성된 펩타이드 서열이 생물학적으로 그럴듯하지만 입력 스펙트럼에 충실하지 않은 차선의 결과를 초래한다. 이를 바로잡기 위해, 우리는 추론 시점에 펩타이드와 스펙트럼 기여를 재균형하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 메커니즘인 MemNovo를 제안한다. MemNovo는 지속적인 스펙트럼 메모리 뱅크를 구축하고 초보수적 잔차 연결(ultra-conservative residual connection)을 통해 검색된 특징을 최종 디코딩 단계에 직접 주입함으로써 정보 병목을 완화한다. 이론적 분석은 이 메커니즘이 디코더 상태와 원시 스펙트럼 간의 상호 정보량(mutual information)을 복원함을 확인한다. Casanovo와 InstaNovo라는 두 대표적 베이스라인을 사용한 Nine Species 벤치마크에서의 광범위한 실험은 MemNovo가 아미노산 정밀도와 펩타이드 정밀도를 모두 일관되게 향상시키며, Casanovo의 경우 펩타이드 정밀도에서 최대 39.1%의 상대적 개선, InstaNovo의 경우 최대 3.9%의 개선을 달성하고 계산 오버헤드는 무시할 수 있는 수준이라는 것을 보여준다.
범용 시계열 파운데이션 모델은 신호가 버스트(bursty)하고 제로 인플레이티드(zero-inflated)이며 프로토콜 계층 간에 결합된 무선 네트워크 텔레메트리에는 전이 성능이 좋지 않습니다. 우리는 기업용 AP 텔레메트리 예측을 위한 네트워크 네이티브 디코더 전용(decoder-only) 트랜스포머인 APEX를 제안하고, 대표적인 네트워크 작업인 DHCP 성능 저하에 대해 평가합니다. APEX는 약 4,500개의 운영 중인 무선 네트워크(약 10만 개의 AP 시계열, AP당 34개 지표)에서 수집한 10채널 다변량 텔레메트리로 사전학습(pre-training)되었으며, APEX-Large(269M, 클라우드)와 APEX-Edge(10.5M, 에지)로 제공됩니다. 192단계(4일) DHCP 성능 저하 벤치마크(benchmark)에서 APEX-Large는 가장 강력한 파운데이션 모델 기준선(baseline)인 Toto보다 MAE를 18%, SARIMA보다 38% 감소시켰으며 이상 탐지 F1 점수는 0.93입니다. 반면 APEX-Edge는 AP급 에지 하드웨어에서 1초 미만의(sub-second) 프라이버시 보존 추론(inference)을 가능하게 합니다. 이러한 결과는 네트워크 네이티브 사전학습(pre-training)이 선제적인 무선 운영을 위한 실용적인 기반이 될 수 있음을 시사합니다.
회전형 위치 임베딩(RoPE)은 어텐션 점수를 위치에 상대적으로 만들지만, 값 경로(value pathway)는 위치를 인식하지 못하게 둡니다. 즉, 값 토큰이 전달하는 메시지는 쿼리로부터의 거리에 관계없이 동일합니다. 본 논문에서는 RoVE를 제안합니다. RoVE는 키(key)와 동시에 값을 회전시켜 위치에 민감하게 만드는 매개변수가 없는 수정 방식이며, RoPE 어텐션을 어텐션 합성곱(attentive convolution)으로 변환함을 보여줍니다. 이 새로운 관점은 컴퓨터 비전, 로봇공학, 현대 대규모 언어 모델(LLM) 아키텍처에 걸쳐 동일한 연산에 대한 여러 독립적인 정형화를 통합합니다. 학습된 124M 및 354M GPT-2 모델은 퓨샷 문맥 내 학습(ICL), 분포 외 퍼플렉서티, 긴 문맥 검색에서 RoPE 대비 일관된 경험적 이득을 보여주었으며, 특히 장거리 집계가 필요한 작업에서 가장 명확한 개선 효과를 나타냈습니다.
트랜스포머(Transformer) 아키텍처는 자연어 처리(NLP) 분야에서 가장 강력한 도구로 널리 인정받고 있으나, 복잡한 연산이 많아 본질적으로 높은 에너지 소비 문제를 안고 있다. 이 문제를 해결하기 위해, 우리는 스파이킹 신경망(SNN, Spiking Neural Networks)을 고려한다. SNN은 정보를 처리하는 자연스러운 이벤트 기반 방식 덕분에 기존 인공 신경망(ANN)에 비해 에너지 효율적인 대안이다. 그러나 이러한 특성은 학습을 어렵게 만든다. 많은 SNN 기반 모델들은 사전학습된 ANN을 변환하는 방식으로 이 문제를 우회한다. 최근에는 직접 학습 가능한 SNN 기반 트랜스포머 모델 구조를 설계하려는 시도가 이루어졌다. 결과는 큰 가능성을 보였으나, 적용 분야가 컴퓨터 비전(CV)에 국한되었다. 또한 제안된 모델은 인코더 블록만을 포함한다. 본 논문에서는 자연어 처리 응용을 위한 트랜스포머 디코더 블록의 완전한 SNN 기반 구현체인 SpikeDecoder를 제안한다. 일련의 실험을 통해, ANN 모델의 서로 다른 블록을 스파이크 기반 대안으로 교체할 때의 영향을 분석하여 절충점과 주요 성능 손실 원인을 규명한다. 또한 잔차 연결(residual connections)의 역할과 SNN과 호환 가능한 정규화 기법의 선택에 대해서도 조사한다. 모델 아키텍처 연구 외에도, 텍스트 데이터를 스파이크로 투영하는 다양한 임베딩 방법을 수식화하고 비교한다. 최종적으로, 제안하는 SNN 기반 디코더 블록이 ANN 기준선 대비 이론적 에너지 소비를 87%에서 93%까지 감소시킴을 입증한다.
비전-언어 모델(VLMs)은 이미지를 수백에서 수천 개의 비주얼 토큰으로 투영하여 디코더 추론 시 어텐션 연산과 KV 캐시 메모리 측면에서 비용이 많이 듭니다. 기존의 비주얼 토큰 감소 방법은 대부분 순위 매기고 제거하는(rank-and-remove) 패러다임을 따릅니다: 비주얼 토큰에 점수를 매기고, 작은 부분집합을 유지하며, 나머지는 영구적으로 폐기합니다. 우리는 이 되돌릴 수 없는 동작이 비주얼 토큰의 중요도가 디코더 깊이에 따라 변하기 때문에 취약함을 보여줍니다. 한 단계에서 낮은 순위를 매긴 토큰도 나중 레이어에서는 관련성이 있을 수 있으며, 특히 그라운딩(grounding)에 민감한 쿼리의 경우 그렇습니다. 우리는 제거를 복구 가능한 라우팅으로 대체하는 학습 없는 플러그인인 Reroute를 제안합니다. 각 라우팅 단계에서 선택된 비전 토큰은 디코더 블록을 통과하는 반면, 연기된 토큰은 해당 단계를 우회하여 다음 라우팅 결정 시 후보 풀에 다시 진입합니다. Reroute는 기존의 어텐션 점수 순위 규칙과 단계별 스케줄을 재사용하여, 증강하는 가지치기 방법의 이론적 TFLOPs 및 KV 캐시 예산 클래스를 보존합니다. LLaVA-1.5 및 Qwen 백본의 FastV, PDrop, Nüwa 변형 모델 전반에서, Reroute는 일반적인 VQA 성능을 유지하면서 공격적인 토큰 감소 상황에서 그라운딩 성능을 향상시킵니다. 이러한 결과는 VLM 토큰 감소가 되돌릴 수 없는 가지치기로만 간주되어서는 안 되며, 복구 가능한 라우팅으로도 간주되어야 함을 시사합니다. 코드는 여기에서 확인할 수 있습니다: https://github.com/elmma/mllm-reroute/
비전-언어-액션(VLA) 모델은 백본, 학습 레시피, 데이터 규모 전반에 걸쳐 빠르게 발전해 왔지만, 백본의 은닉 상태(hidden state)를 연속 제어 신호로 변환하는 액션 디코더는 거의 변하지 않았으며 현재 대부분의 VLA에서 단일 지점 예측기(single-point predictor)에 머물고 있다. 자기회귀적 토큰 빈, L1 회귀, 또는 플로우 매칭(flow-matching) 디노이징으로 구현하든, 결과 디코더는 액션 공간을 비구조적으로 다루어 학습 중 인접 액션 간 기하학적 근접성을 활용하지 못한다. 이를 개선하기 위해 우리는 ActionMap을 제안한다. ActionMap은 기존 VLA의 네이티브 액션 디코더를 대체하여 장착할 수 있는 복셀 히트맵 액션 헤드이다. 각 새 액션에 대해 이 헤드는 액션 공간 전체에 대한 복셀 히트맵을 예측하며, 각 복셀은 해당 액션의 확률을 직접 저장한다. LIBERO 시뮬레이션과 실세계 Franka 조작 실험에서, 우리의 히트맵 헤드는 동일 학습 스텝에서 구조적으로 서로 다른 두 백본을 능가하며(예: LIBERO 4개 스위트 평균에서 OpenVLA-OFT의 L1 회귀 헤드 대비 +8.2%), 두 백본 모두에서 동등하거나 더 빠른 수렴을 보이고, 학습 데이터가 적을 때 현저히 더 높은 데이터 효율성을 유지한다. 백본 간 일관된 성능은 액션 표현이 추가적인 백본 또는 레시피 스케일링과는 별개로 VLA 성능에 실질적 영향을 미치는 독립 요소임을 시사한다. 프로젝트 페이지: https://showlab.github.io/ActionMap/.
사전적 디코딩(SD)은 경량 드래프터(drafter)가 후보를 생성하고 대형 검증기(verifier)가 이를 병렬로 검증하도록 하여 대규모 언어 모델(LLM)의 높은 추론 비용 문제를 해결합니다. 기존 드래프트-검증 방식은 수락하거나 완전히 재계산하는 이진 결정을 사용합니다. 그러나 우리는 거절된 많은 토큰이 전체 검증기 대신 모델 내 라우팅(intra-model routing)을 통해 전체 검증기에서 파생된 슬림 서브모델(slim submodel)에 의해 올바르게 검증될 수 있음을 발견했습니다. 이는 슬림 검증기(slim-verifier)가 중간 수준의 검증 자원을 요구하는 토큰을 처리하게 하여, 비용이 많이 드는 대형 모델 호출을 줄이는 동기가 되었습니다. 우리는 라우팅된 슬림 검증기를 사용하는 다계층 프레임워크인 사전적 디코딩을 위한 모델 내 라우팅 기반 검증(VIA-SD)을 제안합니다. 드래프트 토큰은 계층적으로 처리됩니다: 높은 신뢰도의 경우 직접 수락, 중간 신뢰도의 경우 슬림 검증기 재생성, 불확실한 경우 전체 모델 검증을 수행합니다. 4개의 대표적인 작업과 여러 모델 계열에 걸쳐, VIA-SD는 거절률을 0.10-0.22만큼 낮추고 강력한 SD 베이스라인 대비 10-20%의 속도 향상을 제공하며, 드래프팅을 사용하지 않는 디코딩 대비 2.5-3배의 가속을 달성했습니다. 더욱이, VIA-SD는 학습 절차를 수정하지 않고도 기존 SD 프레임워크와 호환됩니다. 우리의 결과는 다계층 SD가 확장 가능하고 효율적인 LLM 추론을 위한 일반적인 패러다임이 될 수 있음을 시사합니다. 프로젝트 페이지: https://zju-xyc.github.io/VIA-SD-Project-Page/
모호한 키보드(ambiguous keyboard)에 최신 언어 모델을 탑재한다면 물리적 키의 수를 얼마나 줄일 수 있을까요? 더 적은 수의 키는 보조 기기 및 모바일 폼 팩터와 같은 제약이 있는 환경에서 하드웨어 설계의 자유도를 높여줍니다. 본 논문은 언어 모델 기반의 중의성 해소(disambiguation)와 결합된 2~5개의 물리적 키를 사용하는 텍스트 입력 시스템을 체계적으로 평가합니다. 비즈니스/대화/기술 각 100문장으로 구성된 300문장 영어 말뭉치(corpus)를 통해 키 수(2~5개), 문자-키 매핑(레이아웃 기반/빈도 기반/의도적 최악의 경우), 디코더(Trie-only, GPT-2 빔 서치, GPT-4o 선택)를 비교합니다. 그 결과, 3개 키 + GPT-4o는 문자 오류율(CER) 9.46%와 단어 오류율(WER) 12.20%를 달성하여, 2개 키(CER 23.3%) 대비 CER을 59% 감소시키는 것으로 나타났습니다. 3개 키일 때 키 스트림 엔트로피는 문자당 1.54비트(bits/char)이며, 5개 키로 늘리면 정확도(CER 5.4%)가 향상되지만 추가적인 개선 효과는 미미합니다. 매핑 선택은 표준 설계(ΔCER < 0.5pp)에서 미미한 영향만 미치며, 의도적으로 최악으로 설계된 매핑조차 CER을 +0.5pp만 높일 뿐입니다. 반면, 기술 문장은 비즈니스 문장보다 약 2배 높은 오류율을 보였습니다. 이러한 결과는 강력한 언어 모델(LM) 사전 지식이 있는 오프라인 환경에서 평가했을 때, 일반 영어 입력을 위해 3개 키가 실용적인 최소치임을 시사합니다.
구조화된 시퀀스 생성에서 입력 파생 제약 조건을 충족하는 희귀 사건 순차 추론 문제를 해결하기 위해 LatticeBridge가 제안되었다. 이 방법은 접두사 언어 모델과 트위스트된 순차 몬테카를로(SMC) 디코더를 결합하여 기존 기준선 대비 정확한 앵커 만족도와 커버리지를 향상시킨다.
디퓨전 대규모 언어 모델(DLLMs)의 높은 디코딩 비용 문제를 해결하기 위해, 어텐션 기반 토큰 중요도와 디코딩 확률 간의 상관관계를 활용하여 연산을 디코딩 가능한 토큰에 동적으로 집중시키는 추론 시스템 FOCUS를 제안합니다. 이 방법은 대규모 배치 설정에서 LMDeploy 대비 최대 3.52배의 처리량(throughput) 향상을 달성하면서도 생성 품질을 유지합니다.
긴 문맥 질의응답(QA)은 답변을 포함하는 증거가 이미 입력에 존재하더라도 소형 언어 모델에게는 여전히 어려운 문제로 남아 있습니다. 기존의 문맥 내 검색 방법들은 질문에 대한 후보 증거 청크를 찾아내어 노출하지만, 모델이 전체 문맥 위치에 어텐션을 할당하는 방식을 제어하는 쿼리 측 어텐션 파라미터를 적응시키는 대신 입력 수준의 증거 노출에서 멈춥니다. 대조적으로, 쿼리 전용 테스트 타임 학습(qTTT)과 같은 경량 테스트 타임 적응 방법들은 일반적인 구간(span) 수준 자기 지도 목적 함수가 현재 답변을 지원하는 문맥 위치를 식별하지 못하기 때문에 증거 위치 파악을 미해결 상태로 둡니다. 본 논문에서는 선택된 증거 청크를 해당 토큰 위치에 대한 소프트 어텐션 지도(supervision) 타겟으로 변환하는 문맥 내 검색 증강 테스트 타임 학습 프레임워크인 증거 정렬 선택적 테스트 타임 학습(EASE-TTT)을 제안합니다. 검색된 청크로 전체 문맥을 대체하는 대신, EASE-TTT는 결과로 생성된 어텐션 타겟을 사용하여 쿼리 측 적응을 안내하며, 적응된 모델은 원본 전체 문맥에서 최종 답변을 생성합니다. 6개의 LongBench QA 태스크와 3개의 소형 디코더 전용 언어 모델에 대한 실험 결과, EASE-TTT는 전체 문맥 추론, 검색 전용 기준선(baselines), qTTT 중에서 가장 강력한 매크로 평균 성능을 달성하여 긴 문맥 QA에서 증거 정렬 테스트 타임 적응을 뒷받침합니다.
합성 병리 이미지 생성은 환자 프라이버시 및 파운데이션 모델을 위한 대규모 학습 데이터 수요 증가 등 계산 병리학의 핵심 과제를 해결합니다. 잠재 확산 모델(latent diffusion model)이 이미지 생성 분야를 주도해왔으며, 최근 연구들은 잠재 공간의 선택이 생성 이미지 품질에 결정적임을 강조하고 있습니다. 병리학 분야의 기존 최신 생성 모델들은 사전학습된 비전 파운데이션 모델(VFM)을 조건 신호로 사용하는데, 이로 인해 조건 신호가 잠재 공간을 지배하여 생성 샘플의 품질과 다양성을 저하시키는 "조건 붕괴(conditioning collapse)" 현상이 발생함을 확인하였습니다. 이에 본 연구에서는 사전학습된 병리학 VFM을 조건 신호 대신 잠재 공간 자체로 활용하여, 풍부한 의미 정보를 인코딩하는 패치 토큰 특징을 이용합니다. 이러한 특징들은 $\ell_2$-정규화되어 단위 초구(unit hypersphere) $\mathcal{S}^{d-1}$ 위에 분포하며 강한 각도 지배성과 내재적 곡률을 가져, 리만(Riemannian) 정식화에 자연스럽게 적합함을 실증적으로 보입니다. 이를 바탕으로, 병리학 분야에 리만 플로우 매칭을 최초로 적용한 프레임워크인 STREAM을 제안합니다. STREAM은 두 단계로 구성됩니다: 1) $\mathcal{S}^{d-1}$ 위에서 토큰별 정류 가능성(rectifiability)을 확립하여 잠재 공간에서 Diffusion 트랜스포머(DiT)를 학습하는 브리지 방식의 확률적 섭동, 2) 속도장 야코비안의 저에너지 방향에는 강건성을 할당하고 고에너지 방향에서는 충실도를 유지하는 새로운 비등방성 디코더. STREAM은 유방암 및 대장암 데이터셋에서 최신 수준의 재구성 및 생성 성능을 달성합니다. 코드는 논문 승인 후 공개될 예정입니다.
비전-언어 모델(VLMs)은 종종 언어 사전(language priors)에 의존하여, 시각적 증거에 기반이 약한 자신 있는 답변을 생성합니다. 이러한 행동은 널리 관찰되지만, 그 내부 메커니즘과 벤치마크 평가에 미치는 영향은 아직 충분히 이해되지 않았습니다. 본 연구에서는 메커니즘적 및 행동적 관점 모두에서 언어 사전 의존성을 연구합니다. 내부적으로, 우리는 반사실적 층 교체와 지도 학습 기반 층별 MLP 프로빙을 결합하여, 정답 시각적 의미론과 언어 사전 의미론이 언어 디코더 전체에서 어떻게 경쟁하는지 추적합니다. 우리의 분석은 다단계 병목 현상을 보여줍니다: 중간 층은 시각적 정보를 효과적으로 검색하는 데 종종 실패하는 반면, 후반 층은 텍스트 공간 편향을 선호하여 생존한 시각적 신호를 추가로 억제할 수 있습니다. 외부적으로, 우리는 다단계 가우시안 블러를 기반으로 하는 점진적 시각적 저하 지표를 도입하여, 시각적 콘텐츠가 점진적으로 파괴되더라도 답변이 불변하는 인스턴스를 식별합니다. 12개의 시각적 질의응답 벤치마크와 3개의 대표적인 VLM에 걸쳐, 우리는 상당 부분의 예제가 심각하거나 완전한 시각적 난독화 하에서도 여전히 답변 가능하다는 것을 발견했으며, 이는 현재 벤치마크가 시각적 무지를 부수적으로 보상할 수 있음을 나타냅니다. 이러한 발견은 언어 사전 의존성이 모델 내부와 벤치마크 타당성 모두에 영향을 미치는 체계적인 라우팅 실패임을 보여줍니다. 마지막으로, 우리는 진정한 교차 모달 그라운딩을 강제하기 위해 구조적으로 격리되거나 반사실적 데이터를 기반으로 구축된 학습 분포와 평가 프로토콜을 설계할 필요성을 강조하며 향후 연구를 위한 중요한 경로를 제시합니다.
잔차 연결(residual connection)은 심층 트랜스포머 학습의 핵심이지만, 표준 PreNorm 잔차 스트림은 서브레이어 업데이트를 고정된 단위 가중치로 집계한다. 최근 Attention Residuals는 이러한 고정 누적을 콘텐츠 의존적 깊이 방향 라우팅으로 대체했고, Block Attention Residuals는 블록 수준 잔차 요약에 대한 라우팅을 통해 이 메커니즘을 효율적으로 만든다. 그러나 단일 블록 요약은 블록 내부의 저주파 총 잔차 변위만 저장하며, 어텐션 대 MLP 불균형 및 초기 대 후기 블록 동역학과 같은 방향성 구조를 버린다. 우리는 디코더 전용 트랜스포머를 위한 경량 다중 해상도 잔차 라우팅 방법인 WAV v1을 제안한다. 각 블록을 누적 잔차 합으로만 표현하는 대신, WAV v1은 모든 블록에 두 가지 방향성 세부 기저(directional detail basis)를 추가한다. 하나는 어텐션과 MLP 업데이트를 대비하는 phase basis이고, 다른 하나는 초기와 후기 서브레이어 업데이트를 대비하는 split basis이다. 이 기저들은 표준 블록 요약과 함께 동일한 깊이 방향 소프트맥스 혼합기를 통해 라우팅되며, 음수 세부 소스 초기화와 분리된(detached) RMS 매칭이 학습을 안정화한다. 문자 수준 TinyStories 및 Text8 언어 모델링에서 WAV v1은 명확한 깊이 의존적 이점을 보인다. 12층에서는 일관되게 유익하지 않지만, 24층에서는 경쟁력을 갖추고 48층에서는 모든 베이스라인을 능가한다. 48층에서 WAV v1은 Block AttnRes 대비 검증 손실을 TinyStories에서 0.4960에서 0.4738로, Text8에서 0.9363에서 0.9305로 줄이며, 추가 파라미터는 무시할 수 있는 수준이다. 이 결과는 블록 수준 합뿐 아니라 방향성 잔차 세부 정보도 더 깊은 트랜스포머에서 잔차 라우팅을 스케일링하는 데 중요함을 시사한다.
본 논문은 어텐션 메커니즘에서 정규화의 한계를 탐구한다. 먼저 모델의 선택적 능력과 토큰 선택에 관여하는 기하학적 분리를 식별할 수 있는 이론적 프레임워크를 제시한다. 분석에는 소프트맥스 스케일링 하에서 토큰 벡터의 거리 및 분리 기준에 대한 명시적 경계가 포함된다. 사전학습된 GPT-2 모델을 활용한 실험을 통해 이론적 결과를 실증적으로 검증하고 어텐션 메커니즘의 주요 동작을 분석한다. 특히, 선택되는 토큰의 수가 증가할수록 모델이 유익한 토큰을 구별하는 능력이 저하되어 종종 균일한 선택 패턴으로 수렴하는 현상을 입증한다. 또한 소프트맥스 정규화 하에서의 그래디언트 민감도가 학습 중, 특히 낮은 온도 설정에서 어려움을 야기함을 보인다. 이러한 발견은 소프트맥스 기반 어텐션 메커니즘에 대한 현재의 이해를 심화시키며, 미래 어텐션 아키텍처에서 보다 강건한 정규화 및 선택 전략의 필요성을 동기화한다.
일반적인 트레이스 재구성(trace reconstruction) 문제는 삽입, 삭제, 치환으로 독립적으로 손상된 노이즈 복사본으로부터 원본 시퀀스를 복구하는 것을 목표로 한다. 이 문제는 DNA 데이터 저장과 같은 응용에서 발생하며, DNA 데이터 저장은 높은 정보 밀도와 장수명으로 인해 유망한 저장 매체이다. 그러나 DNA 합성, 저장, 시퀀싱 과정에서 발생하는 오류는 알고리즘과 코드를 통한 정정이 필요하며, 트레이스 재구성은 데이터 검색의 일부로 자주 사용된다. 본 연구에서는 트레이스 재구성을 다음 토큰 예측 태스크로 해결하는 디코더 전용 트랜스포머인 TReconLM을 제안한다. TReconLM은 기존 딥러닝 접근법을 포함한 최신 트레이스 재구성 알고리즘보다 우수하여, 오류 없이 상당히 더 높은 비율의 시퀀스를 복구한다. 우리는 단순한 오류 모델로 생성된 합성 데이터에 사전학습하고, 기술별 오류 패턴에 적응하기 위해 실제 데이터에 파인튜닝한다. 코드는 https://github.com/MLI-lab/TReconLM 에서 이용할 수 있다.
본 논문에서는 장기 3D 인간 동작 생성이라는 어려운 문제를 다룹니다. 구체적으로, 여러 문장의 스트림(즉, 문단)에서 부드럽게 연결된 동작의 긴 시퀀스를 생성하는 것을 목표합니다. 이전 장기 동작 생성 접근법은 대부분 순환(recurrent) 방법에 기반하여, 이전에 생성한 모션 청크를 다음 단계의 입력으로 사용했습니다. 하지만 이 접근법에는 두 가지 단점이 있습니다: 1) 비용이 많이 드는 순차 데이터셋에 의존한다; 2) 각 단계에서 생성된 모션 사이에 비현실적인 간격이 발생한다. 이러한 문제를 해결하기 위해, 순차 데이터 없이 학습할 수 있는 단순하지만 효과적인 연속적 장기 생성 프레임워크 T2LM을 제안합니다. T2LM은 두 가지 구성 요소로 이루어져 있습니다: 모션을 잠재 벡터 시퀀스로 압축하기 위해 학습된 1D 컨볼루션 VQVAE, 그리고 입력 텍스트에 따라 잠재 시퀀스를 예측하는 트랜스포머 기반 텍스트 인코더. 추론 시, 문장 시퀀스가 연속적인 잠재 벡터 스트림으로 변환됩니다. 이것은 VQVAE 디코더에 의해 모션으로 디코딩되며, 국소 시간 수용 영역을 가진 1D 컨볼루션의 사용은 학습 시퀀스와 생성 시퀀스 사이의 시간적 불일치를 방지합니다. VQ-VAE에 대한 이 단순한 제약은 짧은 시퀀스만으로 학습할 수 있게 하고, 더 부드러운 전환을 만들어냅니다. T2LM은 순차 데이터가 필요한 제약을 극복하는 동시에 이전 장기 생성 모델들을 능가하고, SOTA 단일 동작 생성 모델들과도 경쟁력을 보입니다.