arXiv:2310.18581

Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE

Neeraj Varshney, Agneet Chatterjee, Mihir Parmar, Chitta Baral

제출 2023-10-28

원문 초록

Large Language Models (LLMs) have achieved remarkable performance across a wide variety of natural language tasks; however, their large size makes their inference slow and computationally expensive. Focusing on this problem, we propose to instruction tune LLMs with additional explicit losses from the intermediate layers (LITE) and show that it enables these layers to acquire 'good' generation ability without affecting the generation ability of the final layer. We perform 'dynamic confidence-based early exiting' at token level from the intermediate layers which improves the efficiency of text generation without compromising the quality of the generation. We conduct comprehensive experiments by instruction tuning LLaMA-2 models on the Alpaca dataset and holistically evaluate on four different human-instruction test sets. We show that dynamic early exiting achieves consistent and considerable inference computation cost improvements (37.86% for 7B and 46.35% for 13B model) while maintaining the generation quality of the responses. We further conduct a thorough analysis of the results over several important aspects, such as comparing the semantic similarity of the outputs and dissecting the efficiency improvements by comparing the number of tokens generated in the output. In summary, our work contributes to improving the efficiency of LLM inference while maintaining the generation quality, a crucial step en route to enabling their widespread adoption.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10738v1cs.CL공통 태그 Text Generation, Semantic Textual Similarity

손실 압축 텍스트 오토인코더

Lossy Compressive Text Autoencoders

본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.

arXiv:2609.28080v1cs.CL공통 태그 Text Generation, Semantic Similarity

개방형 텍스트 생성에서 일관성과 다양성의 참조 기반 분석

Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation

개방형 텍스트 생성을 평가하려면 연속(continuation)의 여러 속성이 체감 품질과 어떻게 연관되는지 이해해야 한다. 본 연구는 일관성과 다양성을 세 가지 관점에서 살펴보는 참조 기반 프레임워크를 제시한다: 인간 궤적과의 변화 정렬, 동일 프롬프트에 대한 인간 연속과의 요약 비교, 인간 참조 분포 하에서의 가능도 추정. 인간 품질 평가 실험에 따르면 다양성 기반 정렬과 평균 기반 비교는 품질 관련 변동을 포착하는 것으로 보이나, 비교만으로는 시간적 정렬이 더 단순한 베이스라인보다 예측적으로 유리하다는 점은 입증되지 않는다. 참조 가능도 역시 평가와 양의 연관을 보이며, 결과는 참조 설정과 스코어링 구간에 따라 달라진다. 이 분석들은 측정된 일관성·다양성이 인간 판단과 어떻게 연관되는지 구조적으로 검토하는 방법을 제공하며, 인간 참조와의 유사성과 품질 그 자체를 구분한다. 코드 및 분석 자료는 https://github.com/EstebanGarces/likely_human 에서 이용할 수 있다.

arXiv:2609.28290v1cs.CL공통 태그 Semantic Textual Similarity, Semantic Similarity

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.26527v1cs.CL공통 태그 Text Generation, Semantic Textual Similarity

자연어 생성에서 충실도와 커버리지를 평가하기 위한 기호학 기반 프레임워크

A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation

두 텍스트가 동일한 표현을 기술하더라도, 어휘 중복이나 텍스트 전체 유사도에 기반한 표준 지표로는 해당 표현이 어떻게 프레이밍되는지에 관한 의미 있는 차이를 감지하지 못할 수 있다. 본 논문은 텍스트 간의 기호학적 정렬(semiotic alignment)을 평가하는 프레임워크를 제안한다. 여기서 기호학적 프로필(semiotic profile)은 텍스트의 맥락적 의미와 해당 텍스트에서 두드러지게 나타나는 담화적 참조를 모두 포괄한다. 제안하는 접근법은 기호학적 충실도(Semiotic Fidelity)와 기호학적 커버리지(Semiotic Coverage)라는 두 가지 점수를 산출하며, 각각 한 텍스트의 프로필 중 다른 텍스트가 뒷받침하는 비율과, 다른 텍스트의 프로필 중 해당 텍스트가 복원하는 비율을 추정한다. 실험 결과, 커버리지는 일반적으로 충실도보다 낮았으며, LLM과 사람이 큐레이션한 데이터 간의 정렬은 낮은 샘플링 온도에서 가장 높고 온도가 높아질수록 이 정렬이 감소하는 것으로 나타났다.

arXiv:2607.14117v2cs.CL공통 태그 Semantic Textual Similarity, Semantic Similarity

레이아웃 인지 정렬과 구조 인지 추론을 통한 이질적 요소 인지 과학 문서 교차 버전 차이 분석

Heterogeneous Element-Aware Cross-Version Differencing of Scientific Documents via Layout-Aware Alignment and Structure-Aware Reasoning

과학 문서의 교차 버전 차이 분석은 학술 출판 및 기술 문서화에서 필수적이지만, 과학 문서가 텍스트, 표, 수식, 그림, 레이아웃 단서와 같은 이질적 요소를 포함하는 페이지 구조 산출물이기 때문에 여전히 어려운 과제로 남아 있다. 기존의 텍스트 시퀀스 기반 방법은 종종 레이아웃 및 구조 정보를 잃는 반면, 이미지 기반 방법은 의미적 해석 가능성이 부족하고 렌더링 변화에 민감하다. 이러한 한계를 해결하기 위해, 본 논문은 과학 문서 차이 분석을 위한 레이아웃 인지 이질적 요소 인지 프레임워크를 제안한다. 이 프레임워크는 문서 버전을 의미적으로 유형화된 요소로 분해하고, 공간적·내용적·구조적 호환성을 공동으로 모델링하는 정렬 우선(alignment-first) 메커니즘을 통해 교차 버전 대응 관계를 수립하며, 정렬된 요소 쌍에 대해 유형 인지(type-aware) 차이 추론을 수행한다. 이는 텍스트, 표, 수식, 그림에 걸쳐 통합된 변경 탐지, 위치 특정(localization), 구조 인지(structure-awareness) 분석, 정렬/매칭 평가를 지원한다. 학술지 제작 교정(proofreading) 워크플로우에서 수집한 실제 과학 PDF 데이터에 대한 실험 결과, 제안된 프레임워크가 요소별 베이스라인을 일관되게 능가함을 보여준다. 텍스트, 표, 수식, 그림에 대해 각각 탐지 F1 점수 0.903, 0.855, 0.862, 0.845를 달성했으며, 위치 특정, 구조 인지, 매칭 품질에서도 추가적인 향상을 보였다. 소거(ablation) 및 민감도 분석은 교차 버전 정렬, 유형별 표현, 구조 인지 추론, 호환성 가중치 설계의 효과를 확인한다. 이러한 결과는 이질적 요소 인지 차이 분석이 실제 편집 제작 시나리오에서 과학 문서 비교를 위한 견고하고 해석 가능한 솔루션을 제공함을 보여준다.

arXiv:2607.24082v1cs.AI공통 태그 Text Generation, Semantic Similarity

고수준 의미 지능을 향하여

Towards High-Level Semantic Intelligence

최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다. 이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.