Uncertainty Aware Learning for Language Model Alignment
원문 초록
As instruction-tuned large language models (LLMs) evolve, aligning pretrained foundation models presents increasing challenges. Existing alignment strategies, which typically leverage diverse and high-quality data sources, often overlook the intrinsic uncertainty of tasks, learning all data samples equally. This may lead to suboptimal data efficiency and model performance. In response, we propose uncertainty-aware learning (UAL) to improve the model alignment of different task scenarios, by introducing the sample uncertainty (elicited from more capable LLMs). We implement UAL in a simple fashion -- adaptively setting the label smoothing value of training according to the uncertainty of individual samples. Analysis shows that our UAL indeed facilitates better token clustering in the feature space, validating our hypothesis. Extensive experiments on widely used benchmarks demonstrate that our UAL significantly and consistently outperforms standard supervised fine-tuning. Notably, LLMs aligned in a mixed scenario have achieved an average improvement of 10.62\% on high-entropy tasks (i.e., AlpacaEval leaderboard), and 1.81\% on complex low-entropy tasks (i.e., MetaMath and GSM8K).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
미러 호라이즌: 유한 반사의 척도로서의 가능 경로 엔트로피
Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection
미러 이론(Mirror Theory)은 지능 시스템을 그것이 표현하는 것뿐만 아니라, 반복적인 반사(reflection) 하에서 유지할 수 있는 일관된 연속(coherent continuations)으로 연구해야 한다고 제안한다. 우리는 검증된 연속 능력(verified continuation capacity)의 유한 예산 척도인 \emph{가능 경로 엔트로피(viable path entropy)}(VPE)를 통해 이 주장을 실용화한다. 미러 상태, 롤아웃 프로토콜, 검증기, 모드 맵이 주어지면 VPE는 유한 능력을 두 부분으로 분해한다: 유효한 연속(viable continuation)에 도달할 확률, 그리고 성공한 롤아웃들 가운데 도달한 검증된 연속 모드(verified continuation modes)의 다양성이다. 본 논문은 이 척도 뒤의 전체 이론적 틀을 복원한다: 직관(intuition)을 국소적 과소결정 제약(local underdetermining constraint)으로, 취향(taste)을 불변량 선택 압력(invariant-selecting pressure)으로, 반사를 과소결정의 취향 유도 해소(taste-guided resolution of underdetermination)로, 기하(geometry)를 미래 반사를 안정적으로 만드는 학습된 구조(learned structure)로 본다. 그런 다음 GSM8K에서 언어 모델 추론 실험에 이 이론을 구현한다. Qwen2.5-Instruct 모델들, 문제당 32개의 샘플링된 롤아웃, 두 가지 반사 호라이즌(reflection horizons)에 걸쳐, 토큰 예산을 96에서 160으로 늘리면 검증된 도달성(verified reachability)이 크게 확장되고, 영 도달성(zero-reachability)이 감소하며, 검증된 모드 엔트로피(verified-mode entropy)가 증가하고, 평활화된 VPE(smoothed VPE)가 개선된다. 160 토큰에서 Qwen2.5-1.5B는 테스트된 모델들 가운데 가장 강한 미러 호라이즌(mirror horizon)을 실현하는데, Qwen2.5-3B가 더 많은 매개변수를 갖고 있음에도 불구하고 그렇다. 이는 미러 호라이즌이 매개변수 수가 아니라, 유한 반사 프로토콜 하에서 접근 가능한 검증된 연속 능력이라는 점을 보여준다. 이 결과는 미러 이론을 척도 수준의 설명으로 뒷받침한다: 능력은 단순히 일회성 정확도나 pass@k가 아니라, 도달 가능하게 만든 유효한 연속들의 구조이다.
종카어 다음 단어 예측 시스템
Dzongkha Next Word Prediction System
종카어(Dzongkha)는 부탄의 국가 언어로서 국내에서 광범위하게 사용되는 언어이다. 공식 문서, 경전, 기타 문학 작품은 문화적 가치를 보존하기 위해 종카어로 작성된다. 그러나 종카어 문서화는 스크립트의 복잡성, 음절당 다수의 키 입력 필요성, 효율적인 입력 도구의 부족으로 인해 어렵고 시간이 많이 소요되는 과정이다. 종카어에 대해 가능한 단어 목록을 예측하고 표시하는 즉각적인 시스템이 이 문제의 해결책이다. 본 프로젝트는 키 입력 횟수를 줄여 종카어 타이핑을 최대한 편리하게 만드는 것을 주요 목표로 한다. 데이터셋은 DCDD에서 수집하였으며 총 100,000개의 문장, 1,331,282개의 단어, 28,344개의 고유 단어로 구성된다. 데이터 전처리는 모든 영숫자 문자 제거, 토큰화, N-gram 시퀀스 생성 및 패딩을 통해 수행되었다. 학습에 선택된 세 가지 모델은 LSTM, Bi-LSTM, GRU이다. 학습 과정에는 모델의 하이퍼파라미터 미세조정이 포함되었다. GRU는 경량이면서 대규모 데이터셋을 처리할 수 있어 74.03%의 정확도로 가장 우수한 성능을 보였으며 과적합 문제도 해결하였다.
대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법
Production and Perception in LLMs: A Token Probability Approach
언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
토론
이 논문과 연결된 포럼 글이 아직 없습니다.