Generative AI Agents with Large Language Model for Satellite Networks via a Mixture of Experts Transmission
원문 초록
In response to the needs of 6G global communications, satellite communication networks have emerged as a key solution. However, the large-scale development of satellite communication networks is constrained by the complex system models, whose modeling is challenging for massive users. Moreover, transmission interference between satellites and users seriously affects communication performance. To solve these problems, this paper develops generative artificial intelligence (AI) agents for model formulation and then applies a mixture of experts (MoE) approach to design transmission strategies. Specifically, we leverage large language models (LLMs) to build an interactive modeling paradigm and utilize retrieval-augmented generation (RAG) to extract satellite expert knowledge that supports mathematical modeling. Afterward, by integrating the expertise of multiple specialized components, we propose an MoE-proximal policy optimization (PPO) approach to solve the formulated problem. Each expert can optimize the optimization variables at which it excels through specialized training through its own network and then aggregates them through the gating network to perform joint optimization. The simulation results validate the accuracy and effectiveness of employing a generative agent for problem formulation. Furthermore, the superiority of the proposed MoE-ppo approach over other benchmarks is confirmed in solving the formulated problem. The adaptability of MoE-PPO to various customized modeling problems has also been demonstrated.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전문가 선택 편향을 통한 데이터 불균형 극복
Overcoming Data Imbalances with Expert Selection Biases
전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.
멀티스트림 어텐션 잔차
Multi-Stream Attention Residuals
어텐션 잔차(Attention Residuals, AttnRes)는 네트워크 깊이(depth) 축을 따라 콘텐츠 종속적(content-dependent) 검색(retrieval)을 가능하게 하며, 이는 깊이 축을 따른 단일 스트림 소프트맥스 어텐션으로 볼 수 있다. 시퀀스(sequence) 축을 따른 멀티헤드 어텐션(multi-head attention)의 성공에서 영감을 받아, 우리는 AttnRes를 멀티헤드 깊이 어텐션(multi-head depth attention)으로 일반화한 확장 기법인 멀티스트림 어텐션 잔차(Multi-Stream Attention Residuals, MSAR)를 제안하며, 이는 최소한의 추가 오버헤드로 상당한 성능 향상을 가져온다. MSAR는 멀티스케일 코잘 컨볼루션(multi-scale causal convolution)을 통해 시퀀스 컨텍스트로부터 스트림 다양성을 이끌어내며, 이를 통해 서로 다른 헤드가 은닉 표현(hidden representation)의 무결성을 유지하면서도 서로 다른 컨텍스트 관점을 통해 과거 표현(historical representation)을 검색할 수 있도록 한다. 검색된 스트림들은 경량의 적응형 믹싱(adaptive mixing)을 통해 결합되어 단일 스트림 층 입력을 생성한다. 단일 스트림 소스를 유지하면서 필요 시 이를 확장함으로써, MSAR는 지속적인 멀티스트림 저장이나 통신 없이도 멀티스트림 연산을 지원한다. 180억(18B) 및 280억(28B) 규모의 MoE(전문가 혼합) 모델에서 수행한 12개의 다운스트림 벤치마크 전반에 걸쳐, MSAR는 표준 잔차 연결(residual connection), 매니폴드 제약 하이퍼커넥션(manifold-constrained Hyper-Connections, mHC), AttnRes를 포함한 기존의 모든 잔차 변형 기법을 일관되게 능가한다. 스케일링 법칙(scaling-law) 실험 결과, 표준 잔차 기준선 대비 동일 손실(iso-loss) 기준 연산 속도 향상이 $1.58\times$로 나타났으며, 이는 AttnRes의 $1.35\times$ 및 mHC의 $1.30\times$와 비교된다. 이러한 결과는 MSAR를 대규모 사전학습을 위한 유망한 잔차 아키텍처로 만든다.
컨텍스트 타워 변환은 생성 성능을 보존하고 동결은 지식을 유지한다: MoE LLM의 저예산 AR-투-디퓨전 변환
Context-Tower Conversion Preserves Generation While Freezing Retains Knowledge: Low-Budget AR-to-Diffusion Conversion of MoE LLMs
사전학습된 자기회귀(AR) 모델을 디퓨전 언어 모델(dLLM)로 변환하면 새로운 모델을 사전학습하지 않고도 병렬 생성이 가능해진다. 기존에 발표된 변환 방법들은 학습 데이터 양에서 약 세 자릿수(1000배) 차이를 보이며, 공통된 프로토콜 하에서 비교된 적이 없다. 우리는 동일한 300억(30B) 매개변수 규모의 전문가 혼합(MoE) 부모 모델로부터 얻은 두 가지 변환 방식을 비교하며, 코퍼스, 지도 학습 토큰 예산, 학습 가능한 매개변수 집합, 평가 하니스(harness)는 고정한 채 각 방법은 고유한 학습 레시피를 따르도록 했다. 제자리(in-place) 모델은 디노이징(denoising) 및 표현 정렬(representation-alignment) 손실을 사용하여 부모 모델의 가중치 중 일부를 업데이트하는 반면, 동결 타워(frozen-tower) 모델은 부모 모델의 동결된 코잘(causal) 복사본에 대한 크로스 어텐션을 통해 조건화된다. 10억(1B)개의 학습 토큰을 사용했을 때, 동결 타워 모델은 HumanEval pass@10에서 71.60점을 기록한 반면 제자리 모델은 6.19점에 그쳤으며, 이는 11.6배의 성능 향상이다. 같은 예산에서 동결 타워 모델은 부모 모델의 GSM8K 점수의 95%와 MMLU-Pro 점수의 99%를 유지한다. 덴스(dense) 부모 모델을 사용한 실험에서도 HumanEval 점수 격차가 동일하게 재현되었다. 약 5억(500M) 토큰 규모에서 투 타워(two-tower) 구조 내에서는, 컨텍스트 타워를 동결했을 때가 학습시켰을 때보다 MMLU-Pro 성능을 상당히 더 많이 유지하는 반면, HumanEval 점수는 두 경우 모두 비슷하게 관찰되었다. 우리의 이론적 분석에 따르면, 두 변환 방식 모두 하드 어텐션 마스크(hard attention mask)와 라운드당 한 위치씩 왼쪽에서 오른쪽으로 확정하는 방식 하에서 AR 부모 모델에 대한 정확한 샘플러(exact sampler)를 포함한다. 동일한 손실 함수 하에서, 동결은 컨텍스트 상태(context states)를 통한 그래디언트 기여를 제거한다. 또한, 평가 프로토콜은 이미 발표된 5000억(500B) 토큰 규모의 변환 모델의 점수에 과제별로 양방향 모두 상당한 영향을 미치는 반면, 그 AR 부모 모델의 점수는 3점 미만의 차이만 보이므로, dLLM들을 비교하려면 공통된 프로토콜이 필요하다. 이러한 결과는 테스트된 저예산(low-budget) 환경에서 동결 타워 구성이 제자리 변환보다 부모 모델의 생성 성능을 상당히 더 많이 유지함을 보여준다.
월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)
How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling
월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.