Merino: Entropy-driven Design for Generative Language Models on IoT Devices
원문 초록
Generative Large Language Models (LLMs) stand as a revolutionary advancement in the modern era of artificial intelligence (AI). However, scaling down LLMs for resource-constrained hardware, such as Internet-of-Things (IoT) devices requires non-trivial efforts and domain knowledge. In this paper, we propose a novel information-entropy framework for designing mobile-friendly generative language models. The whole design procedure involves solving a mathematical programming (MP) problem, which can be done on the CPU within minutes, making it nearly zero-cost. We evaluate our designed models, termed MeRino, across fourteen NLP downstream tasks, showing their competitive performance against the state-of-the-art autoregressive transformer models under the mobile setting. Notably, MeRino achieves similar or better performance on both language modeling and zero-shot learning tasks, compared to the 350M parameter OPT while being 4.9x faster on NVIDIA Jetson Nano with 5.5x reduction in model size.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Customising General Large Language Models for Specialised Emotion Recognition Tasks
지식 그래프 기반 멀티태스크 사전학습을 통한 사전학습 언어 모델의 법률 추론 능력 향상
Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training
법률 언어 이해는 반정형 규제 문서에 대한 추론을 요구하지만, 표준 사전학습(pre-training) 목표는 이러한 구조적 역량을 명시적으로 겨냥하지 않습니다. 현재의 법률 언어 모델은 마스크 언어 모델링에만 의존하기 때문에, 법령 텍스트를 단순한 평면 토큰(token) 시퀀스로 취급하고 그 이면에 있는 계층적 제약 조건을 무시합니다. 이러한 격차를 해소하기 위해 본 연구에서는 독일 도로교통법(StVO)을 대상으로 한 멀티태스크 사전학습 방식을 제시합니다. 우리의 접근법은 다음 문장 예측(NSP), 지식 그래프(KG) 기반 클러스터링(CLU), 그리고 지식 그래프 인식 단락 분류(CLS)라는 세 가지 상호보완적인 목표를 결합합니다. 이 접근법은 구조화된 법률 지식을 모델 가중치에 직접 명시적으로 인코딩합니다. 이러한 인코딩을 통해 추론(inference) 시점에 제로샷(zero-shot) 법률 추론이 가능해지며 이산적인 그래프 순회의 필요성을 없앱니다. 우리는 9개의 트랜스포머(Transformer) 기반 인코더와 324회의 실험적 실행을 통해 제안 방식을 평가합니다. 합성 StVO 질의응답에서 본 연구의 모델은 베이스라인 대비 10.3%에서 155.0% 사이의 일관된 상대적 성능 향상을 보여줍니다. 나아가 기존에 확립된 LexGLUE 베이스라인(Chalkidis et al., 2022)과 비교하여 7개 법률 벤치마크 중 4개에서 이전 결과를 개선합니다. 또한 오스트리아 운전 규정에 대해서도 3.4%에서 15.8% 사이의 일관된 제로샷 전이 이득을 달성합니다. 이러한 실험 결과는 우리의 학습(training) 방식이 초기 학습 법률 도메인을 넘어 성공적으로 일반화됨을 나타냅니다.
Uncheatable Eval: 압축 기반의 동적 언어 모델 평가
Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models
최신 대규모 언어 모델(LLM)은 방대한 데이터셋으로 사전학습되기 때문에, 벤치마크 데이터가 학습 세트에 포함되는 것을 막기 어렵고 이로 인해 평가 결과의 신뢰성이 훼손됩니다. 특히 베이스 모델은 인스트럭션 수행 능력이 제한적이어서 태스크 기반 평가가 복잡해지므로, 신뢰할 수 있는 평가가 더욱 어렵습니다. 본 논문에서는 새로 공개된 텍스트를 정기적으로 수집하여 베이스 언어 모델을 평가하고 데이터 오염(data contamination) 위험을 줄이는 동적 벤치마크인 Uncheatable Eval을 소개합니다. 모델의 예측 능력과 데이터를 무손실로 압축하는 능력 사이의 관계에 착안하여, 모델이 새로운 텍스트를 얼마나 잘 예측하는지를 압축률(compression rate)로 평가합니다. 14개 텍스트 카테고리에 걸쳐 80개 모델을 평가하고, 컨텍스트 길이에 따라 압축 성능이 어떻게 변하는지 분석하며, 압축률과 제로샷 MMLU 정확도 간의 상관관계를 살펴봅니다. 그 결과 세 가지 주요 발견을 얻었습니다. (1) 압축 성능은 모델 크기에 따라 일관된 스케일링 경향을 따릅니다. (2) 어텐션 기반 모델, 하이브리드 모델, 순환 모델은 더 많은 컨텍스트가 주어질 때 압축 성능이 변화하는 양상이 서로 다릅니다. (3) 압축률이 낮을수록 제로샷 MMLU 정확도가 높은 경향이 강하게 나타납니다. 코드는 https://github.com/Jellyfish042/uncheatable_eval 에서 확인할 수 있습니다.
Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것
Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model
언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.
다중모달 입력을 갖는 자기회귀 EHR 파운데이션 모델
Autoregressive EHR Foundation Models with Multimodal Inputs
토큰화된 전자건강기록(EHR)으로 학습된 자기회귀 파운데이션 모델은 제로샷 임상 예측을 지원할 수 있지만, 대부분은 구조화된 이벤트 코드만을 대상으로 동작하며 여러 모달리티를 체계적인 방식으로 통합하지 않는다. 우리는 모달리티별 잠재 압축과 시간 정렬을 갖춘 게이트 크로스-어텐션(gated cross-attention)을 사용하여, ECG 파형, 흉부 X-ray 이미지, 임상 기록 등 보조 임상 모달리티로 이러한 모델을 조건화하는 프레임워크를 제시한다. 우리는 두 가지 핵심 설계 선택을 조사한다: (1) 다중모달 크로스-어텐션에 들어가기 전에 모달리티별 긴 시퀀스(예: ECG 시계열)를 어떻게 압축할 것인가. 이 특징은 연산 오버헤드를 줄이는 데 필수적일 수 있으며 일반화에도 유리할 수 있다; (2) 각 모달리티에 대한 사전학습 인코더 선택이 하류 성능에 어떤 영향을 미치는가. MIMIC-IV에서 통제된 ablation을 통해, 최적의 잠재 압축 구성이 압축하지 않은 크로스-어텐션과 평균 풀링 모두를 능가함을 보인다. 인코더 선택은 모달리티 내에서 뚜렷한 효과를 보이며, 더 강력한 사전학습 인코더가 일관되게 더 약한 대안들을 능가한다. 또한 보조 모달리티를 단순히 추가하는 것만으로는 EHR 전용 기준선 대비 ICU 사망률 예측에서의 개선을 보장하지 않음을 보인다. 이는 융합 아키텍처의 신중한 설계와 임상 맥락에서의 적절한 평가가 필요함을 시사한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.