arXiv:2510.05363v2 cs.AI

MHA-RAG: 예시를 소프트 프롬프트로 인코딩하여 효율성, 정확도 및 일관성 향상

MHA-RAG: Improving Efficiency, Accuracy, and Consistency by Encoding Exemplars as Soft Prompts

Abhinav Jain, Xinyu Yao, Thomas Reps, Christopher Jermaine

제출 2025-10-06

한국어 초록

제한된 학습 데이터로 파운데이션 모델(Foundation Models)을 새로운 도메인에 적응시키는 것은 어렵고 계산 비용이 많이 듭니다. 기존 연구에서는 도메인 특화 예시를 인컨텍스트 시연(in-context demonstrations)으로 사용하는 효과를 입증했지만, 예시를 순수 텍스트로 표현하는 것이 가장 효율적이고 효과적이며 안정적인 접근 방식인지에 대해 조사합니다. 우리는 대안을 탐구합니다: 예시 순서에 독립적인 모델 아키텍처를 사용하여 예시를 소프트 프롬프트로 표현하는 것입니다. 이를 위해 Multi-Head Attention Retrieval-Augmented Generation (MHA-RAG)를 소개합니다. 이 프레임워크는 어텐션(attention) 헤드의 수가 다양한 작업에 걸쳐 소프트 프롬프트 생성을 제어하는 간단한 하이퍼파라미터 역할을 합니다. 다양한 질의응답 벤치마크와 모델 규모에서 MHA-RAG는 표준 RAG 대비 20점의 성능 향상을 달성했으며, 추론(inference) 비용을 10배 GFLOPs 줄여 더 높은 정확도와 효율성을 모두 제공하고 예시 순서에 독립적인 결과를 보여줍니다.

원문 초록

Adapting Foundation Models to new domains with limited training data is challenging and computationally expensive. While prior work has demonstrated the effectiveness of using domain-specific exemplars as in-context demonstrations, we investigate whether representing exemplars purely as text is the most efficient, effective, and stable approach. We explore an alternative: representing exemplars as soft prompts with an exemplar order invariant model architecture. To this end, we introduce Multi-Head Attention Retrieval-Augmented Generation (MHA-RAG), a framework with the number of attention heads serving as a simple hyperparameter to control soft prompt-generation across different tasks. Across multiple question-answering benchmarks and model scales, MHA-RAG achieves a 20-point performance gain over standard RAG, while cutting inference costs by a factor of 10X GFLOPs-delivering both higher accuracy and greater efficiency, invariant to exemplar order.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.05363v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28245v1cs.CL공통 태그 Few-Shot Learning, Prompt Engineering, In-Context Learning

시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?

Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?

대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.

arXiv:2610.11007v1cs.AI공통 태그 Prompt Engineering, In-Context Learning

LLM 에이전트를 위한 상시 로드 컨텍스트 큐레이션: 중도절단 피드백을 갖는 용량 제한 구색 모델

Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback

모든 세션이 시작될 때, 대규모 언어 모델(LLM) 에이전트는 $\texttt{AGENTS.md}$와 같은 고정된 컨텍스트 파일을 로드합니다. 파일에 로드된 각 토큰은 세션의 후속 라운드마다 반복해서 비용이 청구되며, 이러한 파일은 크기가 커질수록 성능을 저하시킬 수 있습니다. 그러나 실제로는 사람 또는 자동화된 큐레이터가 대개 내용을 덧붙이는(append) 방식으로 이러한 파일의 크기를 늘립니다. 본 연구에서는 컨텍스트 큐레이션을 용량 제한 구색 문제(capacitated assortment problem)로 정식화합니다. 지시문은 유한한 어텐션 용량 내에서 토큰을 소모하며, 지시문을 추가하더라도 다른 지시문의 준수율이 결코 높아지지 않는 반면 유지되는 지시문은 세션당 설정 비용(setup cost)을 발생시킵니다. 본 논문에서는 사용 가능한 후보 지시문의 수와 관계없이 최적 파일 크기의 상한을 증명하며, 단독 가치가 양수인 모든 지시문을 단순히 덧붙이는 방식이 최적의 부분 집합을 선택하는 것에 비해 순가치(net value) 측면에서 임의로 크게 악화될 수 있음을 증명합니다. 또한 토큰 예산은 토큰 가격이 과소평가되었을 때의 손실을 제한합니다. 이어 과거 세션으로부터 무엇을 학습할 수 있는지, 그리고 이 정보가 지시문의 추가 또는 제거 결정을 어떻게 이끌 수 있는지 살펴봅니다. 피드백은 본질적으로 중도절단(censored)되어 있습니다. 로드된 지시문의 이점과 위해는 관찰 가능한 반면, 누락된 지시문은 그 부재가 위해를 초래할 때만 피드백을 생성합니다. 이러한 환경에서 에이전트가 무시한 지시문을 삭제하는 것은 유용한 지시문까지 필연적으로 제거할 수 있음을 보입니다. 또한 지시문을 추가하기 전에 수집해야 하는 근거의 양을 특성화합니다. 아울러 인간 검토자가 기간당 제한된 수의 수정 사항만 검토할 수 있을 때의 후회(regret) 한계를 제시합니다. 실증 실험을 통해서도 실제 컨텍스트 파일에서 추출한 무관한 규칙들이 언어 모델의 준수율을 낮춘다는 점을 추가로 보입니다.

arXiv:2610.02571v1cs.SE공통 태그 Computational Efficiency, Prompt Engineering

효과적인 프롬프트 작성을 통한 LLM 생성 코드의 에너지 효율성 개선

Improving the Energy-Efficiency of the Code Generated by LLMs through Effective Prompting

AI 보조 프로그래밍이 점차 보편화됨에 따라 AI가 생성한 소프트웨어의 환경적 영향이 중요한 고려 사항으로 부상했습니다. 이에 따라 기능적 정확성을 넘어 실행 효율성과 에너지 소비를 고려하여 대규모 언어 모델(LLM)이 생성한 코드를 평가할 필요성이 대두되었습니다. 그러나 코드 생성 분야의 상당한 발전에도 불구하고, 최신 프론티어 LLM은 생성하는 코드의 에너지 효율성을 기준으로 평가되는 경우가 드뭅니다. 본 연구에서는 에너지 효율적인 코드 생성을 위한 21가지 프롬프트 전략에 대해 포괄적인 평가를 수행하고, 널리 사용되는 10개의 오픈 가중치 및 독점 LLM에 걸쳐 평가할 8가지 전략을 도출했습니다. 우리는 기준선 프롬프트 대비 Python 및 C++ 코드 생성 모두에 대한 효과를 평가했습니다. 평가된 모델 전반에 걸쳐 선택된 프롬프트 전략은 Python의 경우 최대 25%, C++ 코드 생성의 경우 최대 17%의 에너지 절감을 달성했습니다. 개별 모델 수준에서 Python 에너지 감소는 Granite-4.0-H-Small의 경우 최대 50%, Claude 4.5 Haiku의 경우 39%, MiniMax M3의 경우 28%에 달했으며, C++ 감소는 Granite-4.0-H-Small의 경우 최대 56%, Qwen3-Coder-480B-A35B-Instruct의 경우 7%에 달했습니다. 이러한 결과는 프롬프트 전략이 모델과 프로그래밍 언어에 따라 그 효과가 다를지라도 LLM이 생성한 코드의 에너지 소비에 상당한 영향을 미칠 수 있음을 보여줍니다. 본 연구 결과는 LLM 기반 코드 생성의 평가 및 최적화에 에너지 효율성을 반영하는 것의 중요성을 강조하며, 보다 지속 가능한 AI 보조 프로그래밍을 위한 프롬프트 설계에 대한 실질적인 통찰을 제공합니다.

arXiv:2609.39964v2cs.AI공통 태그 Domain Adaptation, Few-Shot Learning

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

arXiv:2610.01180v1cs.CV공통 태그 Prompt Engineering, In-Context Learning

스켈레톤 및 전략 프롬프팅: 비전-언어 모델을 위한 학습 불필요 부정 이해

Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models

다양한 시각적 질의응답(VQA) 태스크에서 비전-언어 모델(VLM)이 뛰어난 성능을 보임에도 불구하고, 이러한 모델들은 지속적으로 부정(negation)을 이해하는 데 어려움을 겪으며 부정절이 포함된 질문에 대해 잘못된 답변을 생성합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 매개변수 업데이트 없이 VLM의 부정 이해 능력을 향상시키는 학습 불필요(training-free) 문맥 내 학습(ICL) 방식인 스켈레톤 및 전략 프롬프팅(Skeleton-and-Strategy Prompting, SSP)을 제안합니다. 부정 질문이 주어지면, 제안하는 방법은 먼저 질문의 기저 구조를 스켈레톤으로 추상화하고, 경량화된 질문 풀에서 동일한 스켈레톤을 가진 소수의 질문 집합을 검색한 다음, VLM이 이들의 공유된 부정 패턴을 분석하여 단일 문장으로 된 답변 전략을 합성하도록 프롬프트합니다. 이렇게 생성된 스켈레톤과 전략은 테스트 샘플 앞에 추가되어 모델이 부정 문제를 올바르게 해결하도록 안내합니다. 여러 부정 VQA 벤치마크에 대한 실험을 통해 SSP가 연산 효율성을 유지하면서도 부정 중심 VQA 태스크에서 최첨단(SOTA) 성능을 달성함을 보입니다.

arXiv:2609.28007v1cs.CL공통 태그 Computational Efficiency, Prompt Engineering

검색 및 하드웨어 제약 하에서 튀르키예어 도메인 문서를 위한 오픈 가중치 LLM 평가

Evaluating Open-Weight LLMs for Turkish Domain Documents Under Retrieval and Hardware Constraints

튀르키예어를 지원하는 대부분의 대규모 언어 모델(LLM)은 길고 구조적으로 복잡한 도메인 문서보다는 범용 벤치마크를 사용하여 평가된다. 본 논문은 자원이 제한된 로컬 배포 환경에서 튀르키예어 문서 질의응답을 위한 5개의 오픈 가중치(open-weight) 7B-8B 모델을 평가한다. 기본 벤치마크는 109페이지 분량의 산업 R&D 보고서에서 도출된 체계적으로 검증된 100개의 질문을 포함하며, 112페이지 분량의 두 번째 공공 부문 보고서와 독립적으로 구축된 100개 질문 세트를 사용하여 평가 프로토콜을 재현한다. 모든 모델은 통제된 프롬프트, 디코딩 및 4비트 양자화(quantization)를 사용하여 6GB VRAM을 갖춘 NVIDIA RTX 3050 노트북 GPU에서 로컬로 평가된다. 주요 방법론적 기여는 추가적인 모델 호출 없이 검색 실패와 다운스트림 모델 추론 실패를 분리하는 근거 주석 기반 평가 프로토콜이다. 기본 벤치마크에서 엔드투엔드 정확도는 49%에서 75%에 이른다. 7개의 어휘적(lexical), 밀집(dense) 및 하이브리드 검색 구성을 95% Wilson 신뢰구간과 정확 쌍체 McNemar 검정을 사용하여 추가로 비교하였으나, 두 문서 모두에서 문자 단위 TF-IDF 기준선(baseline)을 유의미하게 능가하는 구성은 없었다. 근거 재현율(recall)은 두 보고서에 걸쳐 상이하게 포화되어, 검색 및 유효 컨텍스트 용량이 일부 문서에는 구속적 제약(binding constraint)이 될 수 있지만 다른 문서에는 그렇지 않을 수 있음을 보여준다. 이러한 결과는 튀르키예어 도메인 문서를 위해 오픈 가중치 LLM을 배포할 때 모델 선택, 검색 동작, 하드웨어 한계를 개별적으로 평가해야 함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.