Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters
원문 초록
Adapter-tuning is a paradigm that transfers a pretrained language model to downstream tasks by adding and tuning a small number of new parameters. Previously proposed adapter architectures are all feed-forward neural networks. In this paper, we investigate the effectiveness of using tiny-attention -- i.e., attention with extremely small per-head dimensionality -- as adapters. Our tiny-attention adapter learns to modify the hidden states at each position directly conditioned on the hidden states at all the other positions, which is missed by the previously proposed adapters. Moreover, we view its multiple attention heads as a mixture of experts and propose to average their weights during deployment, which further reduces its inference computation cost. On the GLUE benchmark, our tiny-attention adapter outperforms the other parameter-efficient transfer learning methods as well as full fine-tuning while only updating 0.05% of the parameters. On the FewGLUE benchmark, its performance is comparable to that of GPT-3 and PET.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전문가 선택 편향을 통한 데이터 불균형 극복
Overcoming Data Imbalances with Expert Selection Biases
전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.
멀티스트림 어텐션 잔차
Multi-Stream Attention Residuals
어텐션 잔차(Attention Residuals, AttnRes)는 네트워크 깊이(depth) 축을 따라 콘텐츠 종속적(content-dependent) 검색(retrieval)을 가능하게 하며, 이는 깊이 축을 따른 단일 스트림 소프트맥스 어텐션으로 볼 수 있다. 시퀀스(sequence) 축을 따른 멀티헤드 어텐션(multi-head attention)의 성공에서 영감을 받아, 우리는 AttnRes를 멀티헤드 깊이 어텐션(multi-head depth attention)으로 일반화한 확장 기법인 멀티스트림 어텐션 잔차(Multi-Stream Attention Residuals, MSAR)를 제안하며, 이는 최소한의 추가 오버헤드로 상당한 성능 향상을 가져온다. MSAR는 멀티스케일 코잘 컨볼루션(multi-scale causal convolution)을 통해 시퀀스 컨텍스트로부터 스트림 다양성을 이끌어내며, 이를 통해 서로 다른 헤드가 은닉 표현(hidden representation)의 무결성을 유지하면서도 서로 다른 컨텍스트 관점을 통해 과거 표현(historical representation)을 검색할 수 있도록 한다. 검색된 스트림들은 경량의 적응형 믹싱(adaptive mixing)을 통해 결합되어 단일 스트림 층 입력을 생성한다. 단일 스트림 소스를 유지하면서 필요 시 이를 확장함으로써, MSAR는 지속적인 멀티스트림 저장이나 통신 없이도 멀티스트림 연산을 지원한다. 180억(18B) 및 280억(28B) 규모의 MoE(전문가 혼합) 모델에서 수행한 12개의 다운스트림 벤치마크 전반에 걸쳐, MSAR는 표준 잔차 연결(residual connection), 매니폴드 제약 하이퍼커넥션(manifold-constrained Hyper-Connections, mHC), AttnRes를 포함한 기존의 모든 잔차 변형 기법을 일관되게 능가한다. 스케일링 법칙(scaling-law) 실험 결과, 표준 잔차 기준선 대비 동일 손실(iso-loss) 기준 연산 속도 향상이 $1.58\times$로 나타났으며, 이는 AttnRes의 $1.35\times$ 및 mHC의 $1.30\times$와 비교된다. 이러한 결과는 MSAR를 대규모 사전학습을 위한 유망한 잔차 아키텍처로 만든다.
점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
OpenTSLM TeeMoE: 시계열 예측, 문맥 조건부 예측 및 추론을 위한 통합 시계열 언어 모델
OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning
실제 환경의 시계열 애플리케이션에서는 시계열 예측, 문맥 조건부 예측, 그리고 언어 기반의 시간적 추론을 모두 처리할 수 있는 모델이 점점 더 많이 요구되고 있습니다. 그러나 현재의 시계열 파운데이션 모델들은 이러한 역량 전반에 걸쳐 여전히 파편화되어 있습니다. 수치 특화 모델은 흔히 가장 강력한 예측 성능을 제공하는 반면, 언어 기반 모델은 더 넓은 문맥 이해와 분석 기능을 제공합니다. 핵심 과제는 이러한 이종의 역량들을 각각의 성능 저하 없이 하나로 통합하는 것입니다. 본 논문에서는 관측된 시계열로부터 직접 예측을 수행하고, 텍스트 문맥과 시간적 패턴에 걸쳐 추론하며, 외부 수치 예측 전문 모델들의 예측값을 종합 및 정제할 수 있는 범용 시계열 언어 모델인 OpenTSLM TeeMoE를 소개합니다. 우리는 공유 백본 상에서 예측 종합, 자체 예측, 시간적 분석을 위한 세 개의 저순위(low-rank) 전문가를 독립적으로 학습합니다. 그런 다음 학습된 LoRA 전문가 혼합(MoE) 컨트롤러가 각 요청에 대해 고정된 이들의 매개변수 업데이트에 가중치를 부여합니다. 제안된 모델은 시계열 예측, 문맥 조건부 예측, 언어 기반 시간적 추론 분야의 널리 사용되는 벤치마크에서 우수한 성능을 달성하여, 평균 MASE 순위 기준 GIFT-Eval, RCRPS 기준 Context is Key, 정확도 기준 TimeSeriesExam에서 상위 3위 이내에 올랐습니다.
사전식 다중 목적 온-정책 증류
Lexicographic Multi-Objective On-Policy Distillation
검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.
학습된 에이전틱 컨텍스트 관리
Trained Agentic Context Management
본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.