arXiv:2611.19220v1 cs.CL

좋은 문맥 부분집합의 조건 다시 살펴보기: 희소 잠재 기저 관점

Revisiting What Makes a Good Context Subset: A Sparse Latent Basis Perspective

Cen-Jhih Li, Siddhant Chaudhary, Aditya Bhaskara

제출 2026-11-17

한국어 초록

최신 대규모 언어 모델(LLM)의 추론에서 문맥 부분집합을 선택하는 일이 갈수록 중요해지고 있다. 그러나 어떤 부분집합이 효과적인지는 분명하지 않다. 본 연구는 소수 예제 선택이라는 통제된 설정에서 이 질문을 살펴본다. 예제들이 함께 대상 쿼리에 필요한 과제 관련 정보를 제공해야 한다는 가설을 검토한다. 쿼리 표현이 필요한 정보를 잘 대변한다고 가정하고, 선택 문제를 희소 복원으로 정식화한다. 이를 매칭 추적 방식의 진단 절차인 잔차 설명 탐색(RES)으로 구현한다. 벤치마크 일곱 개와 가중치 공개 LLM 여덟 종의 평가에서 모든 조건에 가장 좋은 검색 목적 함수는 없었다. RES는 모델·데이터셋 조합 56개 중 34개에서 MMR을 앞섰으며, 감성 과제에서 우위가 가장 뚜렷했다. 쿼리를 조건으로 예제들을 함께 사용해 표현을 복원하면, 예제 쌍의 비유사도만으로는 놓치는 상호 보완성을 포착할 수 있음을 시사한다. 템플릿이 많은 추론 벤치마크에서는 관련성 기반 검색이 여전히 강했다. StrategyQA에서는 모든 검색 방식이 평균적으로 제로샷 예측보다 낮았다. 풀이를 복원하는 분석은 쿼리 자체에 필요한 외부 지식이 드러나지 않는다는 설명과 일치했다. 대상 모델의 은닉 상태를 분석한 결과, 검색 목적 함수는 사용하는 표현 공간에 따라 다르게 작동했다. 중간 층에서는 대체로 유사도 검색이 유리했고, 마지막 층에서는 잔차 및 다양성 기반 선택이 더 강한 경우가 많았다. 이 결과는 좋은 문맥 부분집합의 조건이 표현과 상황에 따라 달라짐을 보여 준다.

원문 초록

Selecting context subsets is increasingly important in modern LLM inference, yet what makes a subset effective remains unclear. We study this question in the controlled setting of few-shot demonstration selection. We examine a hypothesis that demonstrations should collectively provide task-relevant information needed by a target query. Assuming that the query representation provides a useful proxy for these requirements, we formulate selection as sparse reconstruction and instantiate it with Residual Explanation Search (RES), a Matching-Pursuit-style diagnostic procedure. Across seven benchmarks and eight open-weight LLMs, no retrieval objective is universally best. RES outperforms MMR in 34 of 56 model--dataset pairs, with its clearest advantage on sentiment tasks, suggesting that query-conditioned collective reconstruction may capture useful complementarity that pairwise dissimilarity misses. Relevance-based retrieval remains strong on template-heavy reasoning benchmarks, while all retrieval methods underperform zero-shot prediction on average on StrategyQA, where a solution-reconstruction analysis is consistent with the query not exposing the required external knowledge. Target-model hidden states further show that retrieval objectives interact differently with representation spaces: middle-layer representations generally favor similarity retrieval, whereas last-layer representations are often stronger for residual- and diversity-based selection. These findings support a conditional, representation-dependent account of context subset quality rather than a universally superior selector.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19220v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.