arXiv:2605.20730v2 cs.CL

인컨텍스트 학습에서 태스크 벡터 설계를 위한 기준으로서의 분포 정렬

Distributional Alignment as a Criterion for Designing Task Vectors in In-Context Learning

Jihoon Kwon, Jiwon Choi, Jy-yong Sohn

제출 2026-11-18

한국어 초록

인컨텍스트 학습(ICL)은 대규모 언어 모델(LLM)이 시연 예시를 통해 새로운 태스크에 적응할 수 있게 하지만, 컨텍스트 길이가 늘어날수록 추론 비용이 급증하는 문제가 있다. 태스크 벡터는 시연 예시를 간결한 은닉 상태 표현으로 압축함으로써 유망한 대안을 제공하나, 그 품질은 지금까지 하위 태스크 정확도로만 평가되어 왔다. 이러한 간접적 기준은 더 효과적인 태스크 벡터 추출 방법을 어떻게 설계할지에 대해 제한적인 통찰만을 제공한다. 본 논문에서는 태스크 벡터를 이용한 추론이 ICL의 예측 분포와 정렬되어야 한다고 주장한다. 이를 정량화하기 위해 태스크 벡터 기반 추론과 ICL 기반 추론 간 다음 토큰 확률의 불일치를 측정하는 지표 $d_{\text{NTP}}$를 도입한다. 실증 분석 결과, $d_{\text{NTP}}$는 하위 태스크 정확도와 강한 음의 상관관계를 보이며 성능 대리 지표로 기능함을 확인하였다. 이에 착안하여, 회귀를 통해 시연 예시의 효과를 추정하는 닫힌 형태의 선형 사상으로 $d_{\text{NTP}}$를 최소화하도록 설계된 방법인 선형 태스크 벡터(LTV)를 개발하였다. 8개의 분류 벤치마크와 5개의 LLM에 걸쳐 LTV는 기존 태스크 벡터 베이스라인을 일관되게 능가하여 평균 정확도를 9.2\% 향상시키면서 추론 지연 시간도 감소시켰다. 또한 LTV가 회귀 태스크에서도 베이스라인보다 우수함을 보인다. 더 나아가 태스크 벡터 연구에서 아직 초기 단계에 머물러 있는 측면인, 서로 다른 모델 규모 간 LTV의 전이 가능성을 조사한다. 구체적으로, 더 큰 모델에서 얻은 태스크 벡터가 더 작은 모델의 성능을 6.4\% 향상시킬 수 있음을 실증적으로 보이며, 이는 추출된 태스크 표현의 새로운 활용 가능성을 시사한다.

원문 초록

In-context learning (ICL) allows large language models (LLMs) to adapt to new tasks through demonstrations, yet it suffers from escalating inference costs as context length increases. While task vectors offer a promising alternative by compressing demonstrations into compact hidden-state representations, their quality has been evaluated only through downstream task accuracy. This indirect criterion provides limited insight into how to design more effective task vector extraction methods. In this paper, we posit that inference using task vectors should align their predictive distribution with that of ICL. To quantify this, we introduce $d_{\text{NTP}}$, a metric that measures the discrepancy in next-token probabilities between task vector-based and ICL-based inference. Our empirical analysis reveals that $d_{\text{NTP}}$ serves as a performance proxy, exhibiting a strong negative correlation with downstream accuracy. Motivated by this, we develop Linear Task Vector (LTV), a method designed to minimize $d_{\text{NTP}}$ via a closed-form linear mapping that estimates demonstration effects through regression. Across eight classification benchmarks and five LLMs, LTV consistently outperforms existing task vector baselines, improving average accuracy by 9.2\% while reducing inference latency. We further show that LTV outperforms the baselines on regression tasks. Moreover, we investigate the transferability of LTV across different model scales; an aspect that has remained nascent in task vector research. Specifically, we empirically show that task vectors from a larger model can enhance a smaller model's performance by 6.4\%, suggesting a new utility for extracted task representations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.20730v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.