arXiv:2403.01999

LLM-Oriented Retrieval Tuner

Si Sun, Hanqing Zhang, Zhiyuan Liu, Jie Bao, Dawei Song

제출 2024-03-04

원문 초록

Dense Retrieval (DR) is now considered as a promising tool to enhance the memorization capacity of Large Language Models (LLM) such as GPT3 and GPT-4 by incorporating external memories. However, due to the paradigm discrepancy between text generation of LLM and DR, it is still an open challenge to integrate the retrieval and generation tasks in a shared LLM. In this paper, we propose an efficient LLM-Oriented Retrieval Tuner, namely LMORT, which decouples DR capacity from base LLM and non-invasively coordinates the optimally aligned and uniform layers of the LLM towards a unified DR space, achieving an efficient and effective DR without tuning the LLM itself. The extensive experiments on six BEIR datasets show that our approach could achieve competitive zero-shot retrieval performance compared to a range of strong DR models while maintaining the generation ability of LLM.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26629v2cs.CL공통 태그 Retrieval, Text Generation

PERSONAWEAVER: 절차적 캐릭터 생성에서 기존의 전형을 뛰어넘는 제어 가능한 다양성 확보

PERSONAWEAVER: Controllable Diversity Beyond Conventional Archetypes in Procedural Character Generation

절차적 캐릭터 생성(procedural character generation)은 게임, 시뮬레이션 및 기타 가상 세계를 다양한 캐릭터로 채우는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 이 작업을 확장(scaling)하기 위한 유망한 기반을 제공합니다. 그러나 LLM 기반 절차적 캐릭터 생성은 아직 초기 단계에 머물러 있습니다. 기존 방식은 캐릭터를 직접 생성하거나 페르소나 뱅크에서 검색한 프로필을 조정하는 방식입니다. 본 연구에서 보여주듯이 두 접근법 모두 행동적으로 동질화된 집단을 형성합니다. 캐릭터들은 긍정적인 도덕적 규범에 압도적으로 동의하며, 질문에 대해 도움이 되는 어시스턴트 같은 반응을 보입니다. 이러한 동질화를 완화하기 위해, 본 논문에서는 세계관 구축과 행동 명세를 분리하고 수작업으로 큐레이션된 다양하고 보편적인 도덕적 입장 및 대화 반응 뱅크를 통해 행동을 모델링하는 PersonaWeaver를 소개합니다. 이러한 설계를 통해 여러 배경 설정 전반에서 LLM이 기본 행동 패턴을 넘어 얼마나 확장될 수 있는지 테스트할 수 있습니다. 10개의 현실적 및 판타지적 배경 설정과 3개의 LLM을 대상으로 한 실험에서, PersonaWeaver는 이전 연구보다 더 넓은 도덕적 및 상호작용적 반응 분포를 생성합니다. 또한 PersonaWeaver의 유도는 대인 언어, 응답 길이, 감정을 다양화하며, 덜 전형적인 세계관 속성 조합을 생성합니다. 코드는 https://github.com/mqraitem/PersonaWeaver 에서 확인할 수 있습니다.

arXiv:2609.27845v1cs.IR공통 태그 Retrieval, Text Generation

질의 함의 생성형 엔진 최적화

Query Implied Generative Engine Optimization

온라인에서 정보를 찾는 방식이 바뀌면서 검색 환경은 급격히 달라졌다. 전통적인 검색 엔진은 대규모 언어 모델(LLM)을 사용해 사용자 질의에 대한 자연어 응답을 생성하는 생성형 검색 엔진(GSE)으로 대체되고 있다. 콘텐츠 제작자에게 가시성은 더 이상 검색 결과 순위만으로 결정되지 않고, 생성된 응답 안에서 인용되는지 여부로 결정된다. 그러나 생성형 검색 엔진은 블랙박스이므로, 생성형 검색 환경에서 콘텐츠 가시성을 높이기 위한 기법 모음인 생성형 엔진 최적화(GEO)가 등장했다. 기존 대부분의 접근은 명시적 질의 또는 질의에서 파생된 신호에 의존하여 콘텐츠를 사용자 요구에 맞게 정렬한다. 우리는 문서로부터 사용자 의도를 직접 추론하는 질의 함의 생성형 엔진 최적화(QI-GEO)를 제안한다. 본 접근은 문서의 의도 공간을 근사하고, 잠재적 사용자 질의에 답하기 위해 빠져 있으면서도 관련 있을 수 있는 콘텐츠를 식별한다. GEO-Bench 및 Extended GEO-Bench에서의 평가는 객관·주관 지표 전반에서 개선을 보였다. QI-GEO는 객관 점수를 최대 15.9%, 주관 점수를 최대 17.6% 향상시켰으며, 인용 감소 대비 거의 두 배 많은 인용 증가를 얻었다. 이러한 결과는 명시적 질의 입력에 의존하지 않고도 문서에서 도출한 사용자 의도 근사가 가시성을 개선할 수 있음을 시사한다.

arXiv:2609.27035v1cs.AI공통 태그 Retrieval, Text Generation

분해된 하위 과제를 활용한 강화학습

Reinforcement Learning with Decomposed Subtasks

언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.

arXiv:2609.27354v1cs.SE공통 태그 Retrieval, Text Generation

제약 기반 컨텍스트 엔지니어링: AI 시스템을 위한 도메인 인터페이스 설계

Constraint-Driven Context Engineering: Designing Domain Interfaces for AI Systems

생성형 AI 시스템은 도메인 문제를 해결하기 위해 점점 더 널리 배포되고 있다. 이러한 시스템은 해당 도메인에서 허용 가능한 AI 행동과 결과를 정의하는 기술적, 규제적, 기관적, 규범적 제약 하에서 동작한다. 우리는 산업 협력 과정에서 반복되는 패턴을 관찰했다. 파트너들은 종종 동작은 하지만 상대적으로 범용적인 AI 솔루션을 가지고 찾아온다. 과제는 더 이상 AI 시스템을 처음부터 구축하는 것이 아니라, AI가 생성한 솔루션의 품질과 도메인 적합성을 높이는 데 있다. 이러한 상황에서 병목은 종종 시스템에 제공되는 컨텍스트의 품질, 범위, 구조이다. 그러나 기존 컨텍스트 엔지니어링 접근법은 주로 검색(retrieval), 메모리(memory), 도구(tools)를 통해 도메인 지식을 공급하는 데 초점을 두며, 운영 환경에서 AI 시스템을 지배하는 제약을 체계적으로 식별하고 운영화하는 데 대한 지원은 제한적이다. 본 논문은 AI 시스템을 위한 도메인 인터페이스를 설계하기 위한 설계 접근법인 제약 기반 컨텍스트 엔지니어링(Constraint-Driven Context Engineering, CDCE)을 제안한다. 소프트웨어 아키텍처 설계와 도메인 주도 설계(Domain-Driven Design, DDD)에 기대어, CDCE는 도메인 제약을 1급 설계 동력으로 다룬다. 제약을 식별·특성화하고, 필요한 컨텍스트 자산을 결정하며, 이러한 자산이 AI 시스템에 제공되도록 하는 표현(representation)을 설계한다. 우리는 교육 평가, 의료 의사결정 지원, 재정적 어려움 예측 분야에서 산업 및 공공 부문 파트너와 비교 다중 사례 연구를 수행했다. 제약의 특성에 따라 AI 행동을 안내하거나, 허용 가능한 경계를 강제하거나, AI 생성 결과의 검증을 지원할 수 있다. 사례들은 대조적인 도메인 전반에서 CDCE의 적용 가능성을 보여 주며, 제약 특성이 최종 도메인 인터페이스를 어떻게 형성하는지를 보여 준다.

arXiv:2609.25028v1cs.CL공통 태그 Retrieval, Text Generation

QMSum에서 효율적인 질의 중심 회의 요약을 위한 검색된 스팬 학습

Retrieved-Span Training for Efficient Query-Focused Meeting Summarization on QMSum

QMSum은 채점기(scorer)를 제공하지 않아 질의 중심 회의 요약 결과를 비교하기 어렵게 만듭니다. 본 연구에서는 단일 구현 환경에서 15개 시스템을 재채점하거나 생성합니다. 공통 추론 포트를 통해 공개된 406M Fusion-in-Decoder 전문 모델은 제한된 긴 입력에서 2,000단어의 검색된 스팬(retrieved span)으로 전환될 때 6.30 ROUGE-1의 손실을 보입니다. 이러한 스팬 체제에서 모델을 미세조정하면 해당 손실이 회복됩니다. 테스트 셋에서 이 모델은 36.33 ROUGE-1을 기록하여 본 연구의 1.2B 시스템의 35.41과 비교되며, 그 차이에 대한 회의 군집 95% 신뢰구간은 [-0.27, +2.22]로 나타나 QMSum상에서 통계적으로 유의미하게 구분되지 않습니다. 더 작은 시스템은 전체 파라미터를 약 3분의 1만 사용하며 최대 추론 메모리는 절반 미만으로 사용합니다. 고정된 1.2B 베이스 내에서는 스팬 체제 미세조정으로 5.29 [+4.02, +6.56]가 향상되는 한편, 트랜스크립트 앞부분 4,500단어를 검색된 2,000단어로 대체하면 테스트에서 1.55, 검증에서 0.29가 추가됩니다. 별도로 단일 간결한 프롬프트 및 참조 중복 채점기 환경에서 공개된 406M 전문 모델은 5개의 독점 호스팅 모델보다 ROUGE-1 기준으로 최소 6.2 이상 앞서지만, 출력 길이와 인간 평가 또는 사실성 평가의 부재로 인해 이러한 순위 매기기에는 한계가 있습니다. 본 결론은 QMSum 및 자동 평가 지표에 국한됩니다.

arXiv:2609.25853v1cs.CL공통 태그 Retrieval, Text Generation

MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅

MemoryAthena: Adaptive Routing over Latent and Generated Memories

학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.