arXiv:2407.10005

Fine-grained Analysis of In-context Linear Estimation: Data, Architecture, and Beyond

Yingcong Li, Ankit Singh Rawat, Samet Oymak

제출 2024-07-13

원문 초록

Recent research has shown that Transformers with linear attention are capable of in-context learning (ICL) by implementing a linear estimator through gradient descent steps. However, the existing results on the optimization landscape apply under stylized settings where task and feature vectors are assumed to be IID and the attention weights are fully parameterized. In this work, we develop a stronger characterization of the optimization and generalization landscape of ICL through contributions on architectures, low-rank parameterization, and correlated designs: (1) We study the landscape of 1-layer linear attention and 1-layer H3, a state-space model. Under a suitable correlated design assumption, we prove that both implement 1-step preconditioned gradient descent. We show that thanks to its native convolution filters, H3 also has the advantage of implementing sample weighting and outperforming linear attention in suitable settings. (2) By studying correlated designs, we provide new risk bounds for retrieval augmented generation (RAG) and task-feature alignment which reveal how ICL sample complexity benefits from distributional alignment. (3) We derive the optimal risk for low-rank parameterized attention weights in terms of covariance spectrum. Through this, we also shed light on how LoRA can adapt to a new distribution by capturing the shift between task covariances. Experimental results corroborate our theoretical findings. Overall, this work explores the optimization and risk landscape of ICL in practically meaningful settings and contributes to a more thorough understanding of its mechanics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11267v1cs.IR공통 태그 RAG, Retrieval-augmented Generation, In-Context Learning

인간 피드백을 통한 대규모 언어 모델 향상: 자기 개선을 향한 여정

Enhancing LLMs through human feedback: a journey towards self-improvement

빠르게 진화하는 정보 검색 시스템 환경에서 사용자 피드백을 통해 적응하고 개선하는 능력은 매우 중요하다. 본 연구는 보조 피드백 검색-증강 생성(RAG) 시스템을 전략적으로 통합하여 주 RAG 시스템의 성능을 개선하는 새로운 방법론을 제안한다. 인간이 생성한 피드백을 체계적으로 활용함으로써, 응답의 정확성, 관련성, 전반적인 품질을 향상시키고 시스템이 자기 개선을 향해 나아가도록 한다. 이 방법론의 핵심은 인간 참여 루프(human-in-the-loop) 구현으로, 사용자 피드백이 지속적으로 수집·분류되어 추론 워크플로에 통합됨으로써 시스템이 반복적으로 학습하고 발전할 수 있게 한다. 이 접근법의 효과를 검증하기 위해, 본 연구는 일반 도메인 및 커스텀 도메인 지식에 초점을 맞춘 세 가지 다양한 벤치마크 데이터셋을 대상으로 엄격한 테스트를 수행하며, LLM-as-a-judge 평가 전략을 활용한다. 이 포괄적인 프레임워크는 RAG 시스템에서 피드백 기반 개선의 혁신적 잠재력을 부각시킬 뿐만 아니라, 적응형 정보 검색 기술의 미래 연구를 위한 선례를 제시하며, 사용자 참여를 통한 자율적 개선 및 최적화를 향한 여정에서 중요한 진전을 이룬다.

arXiv:2607.11564v1cs.CL공통 태그 RAG, Retrieval-augmented Generation, In-Context Learning

PaperRouter-Agent: 개인화된 계층적 논문 라우팅을 위한 내용 기반 LLM 에이전트

PaperRouter-Agent: A Content-Grounded LLM Agent for Personalized Hierarchical Paper Routing

연구자들은 문헌 관리 도구에서 수집한 논문을 개인 폴더 계층 구조로 정리하고, 새로운 논문이 들어올 때마다 적절한 폴더로 라우팅한다. 이 작업은 표준 계층적 텍스트 분류(classification)와 다르다. 사용자의 폴더 계층 구조는 고정된 공유 분류 체계가 아니라, 폴더 의미가 주제 기반, 약칭, 발표 장소 기반, 또는 프로세스 지향적일 수 있는 사적이고 진화하는 개인 분류 체계(folksonomy)이며, 그 의미는 이미 저장된 논문들에 의해 정의되는 경우가 많다. 우리는 이 설정을 개인화된 계층적 논문 라우팅(PHPR, personalized hierarchical paper routing)으로 공식화한다: 사용자별 학습(training) 없이 사용자 고유 계층 구조의 폴더에 입력 논문을 할당하는 것이다. 우리는 폴더 이름만이 아니라 폴더 내 구성원 논문에 라우팅 결정을 근거하는 학습 불필요 LLM 에이전트(agent)인 PaperRouter-Agent를 제안한다. 이 에이전트는 먼저 후보 계층 구조를 좁히고, 폴더별 증거를 검색하며, 구성원 논문을 검사하여 적합성을 검증하고, 과거 사용자 거절 이력으로부터 유사도 게이팅 피드백을 반영한다. 실제 개인 문헌 라이브러리에 대한 형성적 연구에서 PaperRouter-Agent는 전체 Recall@1을 0.39에서 0.61로, Recall@3을 0.57에서 0.83으로 향상시켰으며, 발표 장소나 연도 등 메타데이터로 정의된 조직적 폴더에서 가장 큰 성능 향상을 보였다(Recall@1 0.09에서 0.50). 단일 시도 방법이 이러한 폴더에서 무력화되는 반면, 공개 LaMP-2 벤치마크(benchmark)에서는 동일한 접근법이 단일 시도 기준선(baseline) 대비 정확도를 44.5%에서 51.5%로 향상시켰으며(매크로-F1 +9.0), 실용적 사용에 적합한 낮은 비용을 유지하였다.

arXiv:2610.00224v2cs.AI공통 태그 Retrieval-augmented Generation, In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.15882v1cs.AI공통 태그 Retrieval-augmented Generation, In-Context Learning

엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구

Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory

저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.

arXiv:2610.15921v1cs.LG공통 태그 RAG, Retrieval-augmented Generation

빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선

Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning

개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.

arXiv:2610.16008v1cs.CL공통 태그 RAG, Retrieval-augmented Generation

소수의 인간 선호도 신호를 활용한 생체의학 질의응답 평가 개선

Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals

검색-증강 생성(RAG) 시스템은 생체의학 질의응답(QA)에 점점 더 많이 활용되고 있습니다. 그러나 신뢰할 수 있는 참조 리소스의 부족과 자동 평가 지표와 인간의 판단 간의 빈번한 불일치로 인해 시스템의 효과를 평가하는 것은 여전히 어려운 과제로 남아 있습니다. 특히 평가 결과가 인간의 판단과 약하게 상관되어 있거나 심지어 다른 결론으로 이어질 수 있는 상황에서, 개발 의사 결정을 안내하기 위해 평가 결과를 어떻게 활용해야 하는가가 실질적인 질문으로 대두됩니다. 본 연구에서는 소량의 인간 선호도 신호를 활용하여 직접 평가(direct assessment) 지표를 보정하는 방법을 탐구하며, 보정된 지표가 모든 지표를 동일하게 취급하거나 여러 데이터셋에 걸쳐 단일 최적 지표에만 의존하는 베이스라인보다 일관되게 우수한 성능을 보임을 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.