CNN Is All You Need
원문 초록
The Convolution Neural Network (CNN) has demonstrated the unique advantage in audio, image and text learning; recently it has also challenged Recurrent Neural Networks (RNNs) with long short-term memory cells (LSTM) in sequence-to-sequence learning, since the computations involved in CNN are easily parallelizable whereas those involved in RNN are mostly sequential, leading to a performance bottleneck. However, unlike RNN, the native CNN lacks the history sensitivity required for sequence transformation; therefore enhancing the sequential order awareness, or position-sensitivity, becomes the key to make CNN the general deep learning model. In this work we introduce an extended CNN model with strengthen position-sensitivity, called PoseNet. A notable feature of PoseNet is the asymmetric treatment of position information in the encoder and the decoder. Experiments shows that PoseNet allows us to improve the accuracy of CNN based sequence-to-sequence learning significantly, achieving around 33-36 BLEU scores on the WMT 2014 English-to-German translation task, and around 44-46 BLEU scores on the English-to-French translation task.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
트랜스포머 혁명, 파트 1: 출력-가중치 상호연결을 통한 동적 처리
The Transformer Revolution, Part 1: Dynamic Processing through Output-Weight Interconnections
본 연구에서는 트랜스포머(Transformer)의 기능적 아키텍처에 대해 기능적으로 동등한 기계-구조적 기술을 개발함으로써 트랜스포머 추론(inference)을 재해석한다. 토큰(token) 표현의 매개변수화된 변환, 즉 변환 개념(transforming concepts)은 출력-입력 및 출력-가중치 상호연결을 통해 조직된 단순 신경망으로 규명된다. 이러한 재기술은 표준 행렬 기술 방식에서는 두드러지지 않는 조직적 특징(feature)을 명시적으로 드러낸다. 즉, 추론 중에 일부 네트워크의 출력이 다른 네트워크의 가중치(weight), 나아가 변환을 결정한다는 점이다. 이러한 출력-가중치 상호연결은 프롬프트(prompt)에 의존하는 동적 변환을 생성하며 시퀀스 수준 상호작용 동적 병렬 처리(Sequence-level Interactive Dynamic Parallel Processing, SIDPP)를 유발한다. 우리는 동적 매개변수의 수가 프롬프트 길이에 따라 선형적으로 증가하며, 학습(training)을 통해 고정된 정적 매개변수의 수에 필적하거나 이를 초과할 수 있음을 보인다. 우리는 이 현상을 강한 프롬프트 민감도(strong prompt sensitivity)라고 부른다. 철학적으로 이는 트랜스포머에 대한 개념적 관점을 학습을 통해 획득된 정적 구조 중심에서 추론 중 동적으로 구성되는 프롬프트 의존적 변환 또한 작동의 구성적 특징으로 다루는 관점으로 전환시킨다. 최근 GPT-4.5의 튜링 테스트(Turing test) 결과는 이 현상에 대한 행동적 예시를 제공한다. 마지막으로, 출력-가중치 상호연결과 형태학적·기능적으로 대응하는 생물학적 메커니즘을 밝혀 SIDPP의 원리적 신경 구현 가능성을 뒷받침하고 '가설 T(Conjecture T)'를 제안한다. 즉, 인간 신경계가 트랜스포머와 유의미하게 유사한 기능적 아키텍처를 구현하고 있을 수 있다는 점이다.
멀티모달 대규모 언어 모델의 시각적 토큰 가지치기를 위한 층 인식 위치 임베딩
Layer-Aware Position Embeddings for Visual Token Pruning in Multimodal Large Language Models
멀티모달 대규모 언어 모델(MLLM)은 이미지를 표현하기 위해 수백 개의 시각적 토큰에 의존하기 때문에 상당한 계산 오버헤드를 발생시킵니다. 토큰 가지치기(token pruning)는 MLLM의 추론(inference) 비용을 줄이기 위한 유망한 접근법으로 부상했으나, 기존 방법들은 일반적으로 희소(sparse) 또는 연속적(continuous) 위치 임베딩(position embedding)을 사용하여 유지된 토큰에 위치 임베딩을 재할당하며, 각각 고유한 한계를 야기합니다. 희소 위치 임베딩은 시각적 토큰에 할당되는 어텐션(attention) 값을 감소시키는 경향이 있어 MLLM의 인식 능력을 저하시키는 반면, 연속적 위치 임베딩은 시각적 토큰의 원래 공간적 대응 관계를 왜곡하여 그라운딩(grounding) 능력을 약화시킵니다. 이러한 문제를 완화하기 위해 본 논문에서는 언어 디코더에 대한 층별 분석을 수행하고, 중간 층이 토큰 가지치기 상황에서 MLLM의 그라운딩 능력을 유지하는 데 중요한 역할을 한다는 점을 관찰했습니다. 이 관찰을 바탕으로, 그라운딩에 민감한 층에서는 희소 위치 임베딩으로 전환하고 그 외의 층에서는 연속적 위치 임베딩을 유지하는 층 인식(layer-aware) 위치 임베딩 전략을 제안합니다. 대표적인 가지치기 방법들과 다양한 벤치마크에 걸친 광범위한 실험을 통해, 본 접근법이 표준 희소 및 연속적 위치 임베딩과 비교하여 가지치기된 MLLM의 포괄적인 멀티모달 성능을 향상함을 입증합니다.
병목을 통과하여: Multi-head Latent Attention이 언어 모델에서 콘텐츠와 위치를 어떻게 분리하는가
Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models
DeepSeek-V2에서 도입된 Multi-head Latent Attention(MLA)은 공유 저차원 병목(cKV)을 통해 key-value 쌍을 압축하여, 추론 시 KV-cache를 81% 감소시킨다. 대규모 프로덕션 모델에서 채택되었음에도, 이 병목이 어떤 정보를 보존하거나 폐기하는지, 또는 내부 트랜스포머 회로를 어떻게 재구성하는지에 대한 선행 연구는 없었다. 우리는 MLA에 대한 최초의 포괄적인 메커니즘적 해석가능성 연구를 제시하며, 114M-매개변수 트랜스포머(웹/코드/수학 혼합 데이터로 사전학습, TinyStories로 파인튜닝)를 학습하고 SVD, 어텐션 헤드 분류, linear probing, 및 disruption-attribution 분석을 통해 표현을 분석한다. 주요 발견은 다음과 같다: (1) cKV 병목은 순수한 콘텐츠 표현을 학습하여, 위치 정보는 폐기하면서 개체 동일성(entity identity)을 98% 보존하며, RoPE를 통한 MLA의 콘텐츠-위치 분리를 검증한다; (2) induction head는 표준 MHA에서의 분산된 형성과 달리 단일 층(Layer 12)에 공존한다; (3) 단일 "semantic hub" 층(Layer 15)이 동시에 가장 높은 SVD 유효 순위(effective rank)와 가장 강한 disruption-attribution 점수를 보인다; (4) 병목은 전역적으로 과잉 할당(over-provisioned)되어 있으며, 평균적으로 용량의 46%만 사용한다. 이러한 발견은 MLA가 단순히 어텐션을 수동적으로 압축하는 것이 아니라, 모델이 콘텐츠, 위치, 회로 구조를 조직하는 방식을 재구성함을 시사한다. 우리는 이를 초기 데이터 포인트로 간주하며, Section 5에서 범위 제한을 상세히 기술한다.
동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법
Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach
동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.
트랜스포머 기반 장면 텍스트 인식을 위한 2차원 회전 위치 임베딩
2D Rotary Position Embedding for Scene Text Recognition with Transformers
장면 텍스트 인식(STR)은 곡률, 회전, 원근 왜곡 등 텍스트 외형의 다양성 때문에 여전히 어려운 과제로 남아 있다. 최근 트랜스포머 기반 접근법은 성능이 좋지만, 일반적으로 텍스트 이미지의 2차원 공간 구조를 무시하는 1차원 위치 인코딩에 의존한다. 시각 트랜스포머를 위한 회전 위치 임베딩(RoPE)의 축 방향 2차원 확장은 존재하지만, 대체로 정방형이고 등방성인 이미지 내용을 가정하며 인코더 자기-어텐션(self-attention) 내에서만 회전을 적용한다. 장면 텍스트는 두 가정 모두를 위반한다. 크롭은 뚜렷이 비등방성(anisotropic)이고, STR 모델은 인코더-디코더 구조이므로 디코더는 크로스-어텐션(cross-attention)을 통해 쿼리를 인코더의 2차원 배치와 연관짓어야 한다. 우리는 2D-RoPE-STR을 제안한다. 이는 (1) 텍스트 종횡비에 맞춘 비등방성 행/열 차원 할당과 (2) 인코더-디코더 크로스-어텐션으로의 회전 결합(rotary coupling) 확장을 통해 축 방향 2D-RoPE를 이 설정에 맞게 조정하며, 자기회귀(autoregressive) 디코딩 단계가 2차원 배치에 따른 인코더 토큰에 어텐션할 수 있게 한다. 이는 이전 인코더 전용 공식화가 다루지 않았던 설정이다. 두 변경 모두 본질적으로 매개변수 추가 없이(parameter-free) 적용되며, 위치 인코딩 모듈 외의 구조적 재설계가 필요하지 않다. 또한 우리는 상대적 2차원 위치가 어디에서 왜 도움이 되는지 식별하는 진단 프로토콜(위치 인코딩만을 분리하는 통제된 ablation 쌍, 이미지 수준 net-win 불일치 분석, 인코더 어텐션 시각화)을 도입한다. 이는 읽기 순서가 수평 직선에서 벗어나는 곡선, 회전, 원근 왜곡 배치에서 해당된다. 6개의 표준 벤치마크(IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, SVTP)에서 성능 향상은 바로 이러한 불규칙 배치에 집중되며, ablation은 1D RoPE 및 2D 사인·학습 가능 대안과 각 설계 선택을 분리한다.
Effective Deep Learning Models for Automatic Diacritization of Arabic Text
토론
이 논문과 연결된 포럼 글이 아직 없습니다.