arXiv:2406.02021v3 cs.CV 공식 코드 · Papers with Code

FFNet: MetaMixer 기반의 효율적인 합성곱 믹서 설계

FFNet: MetaMixer-based Efficient Convolutional Mixer Design

Seokju Yun, Dongheon Lee, Youngmin Ro

제출 2024-06-04

한국어 초록

셀프 어텐션(self-attention)과 순전파 신경망(Feed-Forward Network, FFN)으로 구성된 트랜스포머는 다양한 비전 태스크 전반에 걸쳐 네트워크 설계 환경을 혁신했습니다. 셀프 어텐션은 성능의 핵심 요인으로서 광범위하게 연구되어 온 반면, FFN은 거의 주목받지 못했습니다. FFN은 풍부한 표현을 효과적으로 활용하기 위해 거의 모든 AI 모델에 매끄럽게 통합되는 다재다능한 연산자입니다. 최근 연구들은 FFN이 키-값 메모리처럼 기능한다는 점도 보여줍니다. 따라서 셀프 어텐션 내부의 쿼리-키-값 메커니즘과 유사하게, FFN 역시 입력이 쿼리 역할을 하고 두 개의 투영 가중치가 각각 키와 값으로 작동하는 메모리 네트워크로 볼 수 있습니다. 이러한 관찰을 바탕으로, 우리는 경쟁력 있는 성능을 내는 데 있어 핵심은 쿼리-키-값 프레임워크 자체에 있다는 가설을 세웠습니다. 이를 검증하기 위해, 쿼리-키-값 프레임워크를 유지하면서 셀프 어텐션을 합성곱만을 사용하는 더욱 FFN 형태에 가까운 효율적인 토큰 믹서로 변환하는 FFNification을 제안합니다. 구체적으로 FFNification은 쿼리-키-값 상호작용을 큰 커널 합성곱으로 대체하고 소프트맥스 대신 GELU 활성화 함수를 채택합니다. 이렇게 파생된 토큰 믹서인 FFNified 어텐션은 국소적으로 분포된 공간적 패턴을 감지하기 위한 키-값 메모리 역할을 하며, 쿼리-키-값 프레임워크의 각 대응 하위 연산 내에서 ConvNeXt 블록과 반대 차원에서 작동합니다. 위 두 모듈을 기반으로 우리는 Fast-Forward Networks(FFNet) 제품군을 제시합니다. 단순한 연산자들로만 구성되었음에도 불구하고, FFNet은 주목할 만한 효율성 향상과 함께 각 도메인의 정교하고 고도로 특화된 방법들을 능가합니다. 이러한 결과는 우리의 가설을 입증하며, 나아가 쿼리-키-값 프레임워크 내에서 하위 연산을 특정하지 않는 일반적인 믹서 아키텍처인 MetaMixer를 제안하도록 이끕니다.

원문 초록

Transformer, composed of self-attention and Feed-Forward Network, has revolutionized the landscape of network design across various vision tasks. While self-attention is extensively explored as a key factor in performance, FFN has received little attention. FFN is a versatile operator seamlessly integrated into nearly all AI models to effectively harness rich representations. Recent works also show that FFN functions like key-value memories. Thus, akin to the query-key-value mechanism within self-attention, FFN can be viewed as a memory network, where the input serves as query and the two projection weights operate as keys and values, respectively. Based on these observations, we hypothesize that the importance lies in query-key-value framework itself for competitive performance. To verify this, we propose converting self-attention into a more FFN-like efficient token mixer with only convolutions while retaining query-key-value framework, namely FFNification. Specifically, FFNification replaces query-key-value interactions with large kernel convolutions and adopts GELU activation function instead of softmax. The derived token mixer, FFNified attention, serves as key-value memories for detecting locally distributed spatial patterns, and operates in the opposite dimension to the ConvNeXt block within each corresponding sub-operation of the query-key-value framework. Building upon the above two modules, we present a family of Fast-Forward Networks (FFNet). Despite being composed of only simple operators, FFNet outperforms sophisticated and highly specialized methods in each domain, with notable efficiency gains. These results validate our hypothesis, leading us to propose MetaMixer, a general mixer architecture that does not specify sub-operations within the query-key-value framework.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2406.02021v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2503.05840v3cs.LG공통 태그 All공식 코드 · Papers with Code

슬림 어텐션: 손실 없이 컨텍스트 메모리를 절반으로 줄이다 -- MHA에는 K-캐시만 있으면 된다

Slim attention: cut your context memory in half without loss -- K-cache is all you need for MHA

슬림 어텐션(slim attention)은 MHA(멀티 헤드 어텐션)를 사용하는 트랜스포머 모델의 컨텍스트 메모리 크기를 2배 줄이며, 큰 컨텍스트 윈도우에서 추론 속도를 최대 2배까지 높일 수 있다. 슬림 어텐션은 표준 어텐션 메커니즘을 수학적으로 동일하게 정확히 구현한 것이므로 모델 정확도를 저하시키지 않는다. 다시 말해, 슬림 어텐션은 컨텍스트 메모리를 2배로 무손실 압축한다. 인코더-디코더 트랜스포머의 경우 컨텍스트 메모리 크기를 더욱 줄일 수 있다. 예를 들어 Whisper 모델에서는 슬림 어텐션이 컨텍스트 메모리를 8배 줄이며, 예컨대 배치 크기 64에서 토큰 생성 속도를 5배 높일 수 있다. 또한 예를 들어 T5-11B 모델에서는 MHA 투영 차원이 임베딩 차원보다 크기 때문에 메모리를 32배 줄일 수 있다. 코드와 더 많은 트랜스포머 기법은 https://github.com/OpenMachine-ai/transformer-tricks 를, 본 논문의 유튜브 영상은 https://www.youtube.com/watch?v=uVtk3B6YO4Y 를 참조하라.

arXiv:2502.06806v5cs.LG공통 태그 All공식 코드 · Papers with Code

폐쇄형 모델 적응에 필요한 것은 로짓뿐이다

Logits are All We Need to Adapt Closed Models

많은 상용 대규모 언어 모델(LLM)은 종종 폐쇄형(closed-source)이어서, 개발자가 특정 응용에 맞게 콘텐츠 생성을 정렬(alignment)하기 위해 프롬프트 튜닝에만 의존하게 제한된다. 이러한 모델은 현재 토큰 로짓에 대한 접근을 제공하지 않지만, 그러한 접근이 가능하다면 프롬프트 엔지니어링을 넘어선 더 강력한 적응(adaptation) 기법을 가능하게 할 것이라고 주장한다. 본 논문에서는 로짓 접근과 소량의 태스크별 데이터가 주어졌을 때, 블랙박스 LLM을 응용별 콘텐츠 생성 방향으로 효과적으로 유도할 수 있는 토큰 수준 확률 재가중(reweighting) 프레임워크를 제안한다. 우리 접근법은 다음 토큰 예측을 지도 분류(supervised classification)의 관점에서 본다. 블랙박스 LLM을 태스크별 데이터와 정렬하는 문제를 레이블 노이즈 보정(label noise correction) 문제로 형식화할 수 있음을 보이며, 이는 로짓만으로 동작하는 자기회귀(autoregressive) 확률 재가중 모델인 Plugin 모델로 이어진다. 태스크 적응을 위해 로짓 재가중만으로 충분한 이유에 대한 이론적 근거를 제공한다. 다양한 데이터셋, LLM, 재가중 모델을 사용한 광범위한 실험은 본 방법의 효과를 보여 주며, 폐쇄형 모델에서 토큰 로짓에 대한 더 넓은 접근을 촉구한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.