arXiv:2406.11745

Multi-Layer Ranking with Large Language Models for News Source Recommendation

Wenjia Zhang, Lin Gui, Rob Procter, Yulan He

제출 2024-06-17

원문 초록

To seek reliable information sources for news events, we introduce a novel task of expert recommendation, which aims to identify trustworthy sources based on their previously quoted statements. To achieve this, we built a novel dataset, called NewsQuote, consisting of 23,571 quote-speaker pairs sourced from a collection of news articles. We formulate the recommendation task as the retrieval of experts based on their likelihood of being associated with a given query. We also propose a multi-layer ranking framework employing Large Language Models to improve the recommendation performance. Our results show that employing an in-context learning based LLM ranker and a multi-layer ranking-based filter significantly improve both the predictive quality and behavioural quality of the recommender system.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13348v1cs.CL공통 태그 Retrieval, In-Context Learning

테스트 시점 메모리 구축

Test-Time Memory Construction

대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.

arXiv:2609.08663v2cs.LG공통 태그 Retrieval, Recommendation Systems

MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.

arXiv:2610.02687v2cs.AI공통 태그 Retrieval, In-Context Learning

컨텍스트와 메모리의 분리: 토큰 효율적인 테스트 시간 지속 학습을 위한 구조화된 메모리

Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning

대규모 언어 모델(LLM)은 에이전트가 도메인 특화 지식을 통합하고 경험을 통해 적응해야 하는 기업, 과학, 의료 분야의 애플리케이션에 점점 더 많이 배포되고 있습니다. 컨텍스트 엔지니어링은 추론(inference) 시점에 제공되는 지침, 전략, 근거를 통해 모델 동작을 개선함으로써 가중치(weight) 업데이트의 실용적인 대안을 제시합니다. 그러나 온라인에서 컨텍스트를 적응시키는 과정은 일반적으로 많은 비용이 드는 시행착오를 수반하며, 쿼리가 독립적으로 처리되는 경우가 많아 유용한 경험이 다음으로 이어지지 못합니다. 메모리 시스템은 상호작용 전반에 걸쳐 정보를 보존하여 이러한 한계를 해결하지만, 공유된 컨텍스트에 정보를 지속적으로 덧붙이는 방식은 컨텍스트가 확장됨에 따라 토큰(token) 비용 증가, 컨텍스트 윈도우(context window) 한계, 성능 저하 문제에 직면합니다. 본 논문에서는 컨텍스트 최적화(optimization)에 대한 통합된 정식화를 도입하고, 에이전트 메모리 시스템 업데이트가 모델의 컨텍스트에 대한 최적화 업데이트 절차로 해석될 수 있음을 보여줍니다. 이러한 관점은 메모리 설계와 그 효율성을 연구하기 위한 원칙적인 프레임워크를 제공하고자 합니다. 이어서 재사용 가능한 전략을 축적, 정제, 조직화하고 연결하는 경량 그래프 기반 메모리인 GraphMemory를 제안합니다. 각 쿼리에 대해 GraphMemory는 관련 서브그래프만을 검색하여, 모델에 전체 메모리를 노출하지 않고도 온라인 컨텍스트 적응을 가능하게 합니다. 제한된 검색 조건 하에서 검색되는 메모리의 양은 처리되는 예시 수가 증가하더라도 일정하게 유지됩니다. 실험 결과, GraphMemory는 베이스라인 대비 약 81~85% 적은 메모리 구축 토큰을 사용하면서도 경쟁력 있는 다운스트림 성능을 달성함을 보여줍니다.

arXiv:2610.01787v1cs.AI공통 태그 Retrieval, In-Context Learning

모든 경험이 가중치에 속하는 것은 아니다: 자기 개선형 GUI 에이전트를 위한 컴포넌트 라우팅

Not All Experience Belongs in the Weights: Component Routing for Self-Improving GUI Agents

자기 개선형 GUI 에이전트(agent)는 자신이 생성한 궤적을 보관한 후 미세조정(fine-tuning)을 거치거나 프롬프트(prompt)로 검색하여 에이전트에게 다시 전달하지만, 두 목적지를 비교하는 기존 연구들은 서로 일치하지 않는 결과를 보인다. 본 연구에서는 이러한 원인이 경험의 단위에 기인한다고 본다. 즉, 하나의 궤적은 서로 다른 특성을 가진 항목들을 한데 묶기 때문에, 해당 묶음에 대한 결론은 그 구성에 따라 달라진다. 이를 해결하기 위해, (i) 우리는 경험을 로케이터(locator), 절차(procedure), 상태 사실(state fact), 교훈(lesson)으로 분할하고 각 컴포넌트를 컨텍스트 또는 가중치로 보내는 컴포넌트 라우팅을 도입하며, 세 가지 백본 계열, 두 가지 환경, 세 가지 시드에 걸쳐 동일한 항목을 비교했다. 하나의 풀에는 두 목적지가 존재하는데, 로케이터와 교훈은 가중치에서 우세했고, 절차와 상태 사실은 컨텍스트에서 우세했다. (ii) 우리는 어떠한 학습(training)도 진행하기 전에 측정한 두 가지 속성인 재발생성(recurrence)과 상태 조건성(state-conditionality)을 바탕으로 규칙을 적합했다. 이 규칙은 24개 셀 중 24개에서 보류된(held-out) 백본 계열의 목적지를 정확히 찾아냈으며, 두 가지 개입을 통해 컴포넌트를 경계 방향으로 이동시켰고, 규칙 기반 라우팅은 모든 전체 궤적 기준선(baseline)을 능가했을 뿐만 아니라 각 백본의 더 우수한 단일 목적지보다 평균 +3.5점 높은 성능을 달성했다. (iii) 우리는 학습과 생성자-소비자 간 차이가 두 목적지의 가치를 어떻게 변화시키는지 규명했다. 동일한 컴포넌트가 가중치에 기록된 후에는 노트 판독이 감소하며 가장 자주 재발생하는 항목에서 이러한 감소가 가장 컸고, 컨텍스트 이득은 정보 격차에 따라 증가한 반면 가중치 이득은 정책 격차에 따라 감소했다. 코드와 데이터는 공개될 예정이다.

arXiv:2609.27155v1cs.CR공통 태그 Retrieval, Recommendation Systems

좋아요 함정: 유사도 기반 추천 시스템에서 에이전트를 겨냥한 다단계 포이즈닝 공격

The Like Trap: Multi-Stage Poisoning against Agents in Similarity-based Recommendation Systems

대규모 언어 모델(LLM) 및 LLM 기반 에이전트(agent)의 최근 발전과 함께, 이러한 에이전트들은 점차 자율성을 갖추며 인터넷상에서 사용자를 대신해 행동할 수 있는 더 넓은 접근 권한을 얻고 있다. 그러나 소셜 미디어 플랫폼에 배포된 자동화된 에이전트(예: 사용자의 개인 계정 관리)의 취약성은 아직 충분히 연구되지 않았다. 에이전트 포이즈닝에 관한 기존 연구들은 일반적으로 공격자가 에이전트에게 오염된 콘텐츠를 직접 노출할 수 있다고 가정한다. 이러한 공격은 직접적이고 효과적이지만, 감지 및 완화가 더 쉽다. 소셜 미디어 플랫폼 맥락에서는 추천 시스템 자체가 보다 은밀한 방식으로 이러한 콘텐츠를 에이전트에게 노출할 수 있는지 여부가 여전히 미해결 과제로 남아 있다. 이론적 분석을 통해 본 연구는 OASIS에서 사용되는 좋아요 점수(like-score) 메커니즘이 악용될 수 있음을 보이고, 다단계로 이루어진 오염된 게시물 연쇄가 에이전트의 피드를 유도할 수 있는 조건을 규명한다. 이러한 통찰을 바탕으로, 우리는 사실적인 오염 게시물을 제작하는 알고리즘을 추가로 개발한다. 실험을 통해 이론적 발견을 뒷받침하고 제안된 알고리즘의 효과를 입증한다. 특히, 좋아요 점수 피드백 루프를 악용함으로써 이 공격은 오염된 게시물의 사용자-게시물 유사도가 검색 임계값 미만으로 떨어지는 경우에도 추천 시스템이 해당 게시물을 선택하도록 만든다.

arXiv:2609.27590v1cs.CL공통 태그 Retrieval, In-Context Learning

MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다

MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors

장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.