arXiv:2406.16061

PORT: Preference Optimization on Reasoning Traces

Salem Lahlou, Abdalgader Abubaker, Hakim Hacid

제출 2024-06-23

원문 초록

Preference optimization methods have been successfully applied to improve not only the alignment of large language models (LLMs) with human values, but also specific natural language tasks such as summarization and stylistic continuations. This paper proposes using preference optimization methods on Chain-of-Thought steps in order to improve the reasoning performances of language models. While the chosen answers are obtained from datasets that include reasoning traces, we propose two complementary schemes for generating rejected answers: digit corruption, and weak LLM prompting. Our approach leads to increased accuracy on the GSM8K, AQuA-RAT, and ARC benchmarks for Falcon2-11B and Mistral-7B. For example, the approach can lead to up to a relative 8.47% increase in accuracy on the GSM8K benchmark without any extra annotations. This work suggests that spending resources on creating more datasets of reasoning traces would further boost LLM performances on informal reasoning tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.06105cs.LG공통 태그 ARC, GSM8K

Text-to-LoRA: Instant Transformer Adaption

파운데이션 모델은 빠른 콘텐츠 생성에 일반적인 도구를 제공하지만, 종종 특정 작업에 맞춘 적응이 필요합니다. 전통적으로 이러한 과정은 데이터셋의 신중한 선별과 기본 모델의 반복적인 파인튜닝을 포함합니다. 파인튜닝 기법은 파운데이션 모델을 다양한 새로운 응용에 적응시킬 수 있게 하지만, 비용이 많이 들고 학습 시간이 길며 하이퍼파라미터 선택에 매우 민감하다는 단점이 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 자연어로 된 목표 작업 설명만으로 대형 언어 모델(LLM)을 즉시 적응시킬 수 있는 Text-to-LoRA(T2L) 모델을 제안합니다. T2L은 단일의 저비용 순전파(forward pass)로 LoRA를 생성하도록 학습된 하이퍼네트워크입니다. GSM8K, Arc 등 9개의 사전 학습된 LoRA 어댑터 세트로 T2L을 학습한 후, 즉석에서 재구성된 LoRA 인스턴스가 해당 테스트셋에서 작업별 어댑터와 동등한 성능을 보임을 확인하였습니다. 더 나아가 T2L은 수백 개의 LoRA 인스턴스를 압축할 수 있으며, 전혀 본 적 없는 작업에도 제로샷(zero-shot) 일반화가 가능합니다. 본 접근법은 파운데이션 모델의 특화 과정을 민주화하는 중요한 진전을 제공하며, 최소한의 연산 자원으로 언어 기반 적응을 가능하게 합니다. 본 코드 저장소는 https://github.com/SakanaAI/text-to-lora 에서 확인하실 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.