LMPriors: Pre-Trained Language Models as Task-Specific Priors
원문 초록
Particularly in low-data regimes, an outstanding challenge in machine learning is developing principled techniques for augmenting our models with suitable priors. This is to encourage them to learn in ways that are compatible with our understanding of the world. But in contrast to generic priors such as shrinkage or sparsity, we draw inspiration from the recent successes of large-scale language models (LMs) to construct task-specific priors distilled from the rich knowledge of LMs. Our method, Language Model Priors (LMPriors), incorporates auxiliary natural language metadata about the task -- such as variable names and descriptions -- to encourage downstream model outputs to be consistent with the LM's common-sense reasoning based on the metadata. Empirically, we demonstrate that LMPriors improve model performance in settings where such natural language descriptions are available, and perform well on several tasks that benefit from such prior knowledge, such as feature selection, causal inference, and safe reinforcement learning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CausalGate: 트랜스포머 모듈 가지치기를 위한 인과적 중요도 증류
CausalGate: Causal Importance Distillation for Transformer Module Pruning
기존 대규모 언어 모델(LLM)의 적응형 추론 방법은 은닉 상태 유사도나 활성화 크기와 같은 관찰적 휴리스틱에 의존하여 중복 모듈을 제거한다. 그러나 이러한 상관관계 기반 지표는 의미적 정확도에 필수적인 미묘하고 비선형적인 구조적 연산을 포착하는 데 종종 실패한다. 우리는 연산 효율적인 트랜스포머 추론을 위한 개입 기반 프레임워크인 CausalGate를 제안한다. 보정 단계 동안 CausalGate는 개별 어텐션 및 MLP 하위 층을 분리하고, 각각의 출력을 0으로 만든 다음, 최종 로짓 분포의 Kullback-Leibler 발산을 통해 정확한 의미적 손상을 측정한다. 런타임 라우팅 오버헤드를 제거하기 위해, 이 구조적 중요도 계층은 지수 이동 평균(EMA) 평활화 목적 함수와 미분 가능한 쌍별 순위 손실을 결합하여 정적이고 경량의 스칼라 게이트 전역 집합으로 증류된다. TinyLlama-1.1B, Qwen2.5-3B, Llama-3.1-8B에서 언어 모델링 및 상식 추론 벤치마크로 평가한 결과, CausalGate는 주요 동적 라우팅 및 층 건너뛰기 기준선을 일관되게 능가하며, 이론적 연산 절감을 운영 오버헤드 없이 구체적인 하드웨어 지연 시간 감소로 전환한다.
단일 토큰 희소 오토인코더 특징은 인과적으로 필요한가? 층 깊이와 SAE 계열 효과
Are Single-Token Sparse Autoencoder Features Causally Necessary? Layer-Depth and SAE-Family Effects
희소 오토인코더(SAE) 특징은 대규모 언어 모델(LLM)을 해석하고 조종하는 데 사용되지만, SAE 계열 간 특징의 인과적 역할이 안정적인지는 아직 검증되지 않았다. 하나의 어휘 항목에서만 활성화되는 단일 토큰 특징은 정답(ground truth)을 통해 직접 비교가 가능한 진단 사례를 제공한다. 우리는 전 층 깊이에서 제로 소거(zero-ablation)를 사용하여 6개 모델과 3개 SAE 계열에 걸친 390만 개의 특징을 분석한다. 단일 토큰 특징은 디코더 공간에서 4.7배 더 촘촘하게 군집화되며 초기 층에 집중된다(GPT2-Small에서는 Layer 0; Gemma에서는 L0-L4). 이들을 소거하면 208개 전층 조건 중 178개에서 Benjamini-Hochberg 유의성을 갖는 로짓 감소가 나타나며, 깊이는 손상이 하류로 전파되는지 아니면 출력을 직접 형성하는지를 결정한다. 계열 간 인과적 차이는 계열 내 규모 효과를 초과한다: 동일한 기본 모델에서 GemmaScope와 BatchTopK 특징은 인과적으로 고정되어 있는 반면, LlamaScope 특징은 국소적으로 중복적이다. 동일한 소거 후 대상 토큰의 순위는 96-98%의 경우 기준선의 2배 이내로 회복되며, 통제된 활성화 함수 비교는 동일 모델 내에서 부호를 반전시켜 학습 레시피를 잔여 후보로 남긴다. 따라서 계열 간 해석 가능성 주장은 활성화 함수나 규모뿐 아니라 학습 방법론에 민감하다.
침묵의 가중치: 잠재 체스 추론에서 스크래치패드보다 가중치를 우선하는 인과적 근거
The Weight of Silence: A Causal Case for Weights Over the Scratchpad in Latent Chess Reasoning
잠재(latent) 또는 침묵(silent) 추론은 언어 모델이 중간 계산을 단어 대신 연속적인 벡터 공간에서 수행하게 하며, 추론 중 모델이 능동적으로 참조하는 내부 스크래치패드(scratchpad)로 기능한다고 널리 가정된다. 그 가정이 강화학습 이후에도 성립하는지는 직접 검증되지 않았다. 기존 잠재 추론의 인과 분석은 수학 및 논리 과제에 한정되어 있으며, 단일 체크포인트 내에서 모델의 사고 의존도만 비교할 뿐 강화학습 단계 전후를 비교한 적은 없다. 단계적 잠재 추론 커리큘럼과 이어지는 강화학습을 통해 체스 플레이 모델을 학습시킨 결과, 합법성은 강화학습 전 기준선 48%에서 단조롭게 61%까지 상승하고 체크메이트 날조(confabulation)는 완전히 사라졌다. 이 이득의 원인을 규명하기 위해 동일 모델에 대해 강화학습 전후로 6조건 인과 개입 실험을 수행했다. 잠재 사고 벡터를 대체하거나 동일한 노이즈를 추가해도 성능은 변하지 않고, 이를 제거(ablate)하면 경미한 저하만 발생하며, 정확히 영(zero) 벡터일 때만 붕괴가 일어난다. 이 견고성 격차 자체가 발견이다. 정확한 영 벡터 손상 하에서 합법성은 강화학습 전 1%, 강화학습 후 9%로 붕괴하며, 이 격차는 전체 검정 배터리에 대한 다중 검정 보정 후에도 유지된다. 더 완화된 조건들도 유사한 경향을 보이나 개별적으로는 유의성에 이르지 못한다. 강화학습은 사고 내용에 대한 의존이 아니라 교란에 대한 견고성을 더하는 것으로 보인다. 이 결과는 잠재 사고가 추론 시점에 능동적으로 참조되는 스크래치패드로 기능한다는 분야의 기본 가정에 반론을 제기하며, 대신 여기서 잠재 추론의 주된 효과는 학습 중 모델의 매개변수를 형성하는 데 있다는 점을 시사한다. 또한 수학·논리 설정 밖의 영域인 체스에서 작동하는 강화학습 이득을 입증했는데, 여러 그룹이 동일한 잠재 추론+강화학습 레시피가 SFT(지도 미세조정) 대비 정확도를 개선하지 못한다고 보고한 바로 그 맥락과 대비된다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
토론
이 논문과 연결된 포럼 글이 아직 없습니다.