SAERec: 희소 오토인코더를 통한 추천을 위한 세분화되고 해석 가능한 의도 사전 구축
SAERec: Constructing Fine-grained Interpretable Intents Priors via Sparse Autoencoders for Recommendation
한국어 초록
의도 기반 추천 시스템은 사용자 행동 이면의 잠재적인 동기를 모델링하여 정확도와 해석 가능성을 향상시킴으로써 큰 주목을 받았습니다. 대부분의 기존 모델은 클러스터링이나 프로토타입 학습을 통해 사용자 시퀀스로부터 직접 의도를 도출합니다. 그러나 이들은 시퀀스 품질에 민감하고, 의도의 개수를 미리 설정해야 하며, 명시적인 의미적 기반이 부족합니다. 이러한 문제들은 불완전하고 대략적인 의도 집합을 초래하여 추천의 효과를 제한합니다. 본 논문에서는 텍스트 말뭉치(corpus)로부터 세분화되고 해석 가능한 의도 공간을 자동으로 구축하여 추천을 안내하는 새로운 추천 모델인 의도 기반 추천을 위한 희소 오토인코더(SAERec)를 제안합니다. 텍스트를 부수적인 신호로 취급하는 대신, SAERec은 이를 의도 구성을 위한 고밀도 정보 증거로 활용합니다. 구체적으로, 우리는 먼저 희소 오토인코더(SAE)를 사용하여 텍스트 임베딩을 분리(disentangle)하고 해석함으로써 대규모 언어 모델(LLM)의 잠재 공간에서 포괄적인 세분화되고 해석 가능한 의도 집합을 추출하며, 이는 텍스트 노이즈로부터 의도 관련 의미를 격리합니다. 그런 다음, 각 사용자에 대해 추천을 안내하기 위한 사전(priors)으로 이 집합에서 관련 의도를 검색합니다. 여기에는 사용자의 현재 관심사와 일치하는 개인 의도와 사용자 간에 공유되는 일반적인 아이템 패턴(예: 품질, 가격)을 포착하는 공용 의도가 포함됩니다. 마지막으로, 검색된 의도를 시퀀스 모델링에 통합하기 위해, 우리는 시간적 의존성을 포착하고 개인 및 공용 의도 신호를 모두 주입하는 다중 분기 어텐션(multi-branch attention) 메커니즘을 제안하며, 그 뒤에 추천을 위한 최종 사용자 표현을 구성하는 적응형 융합 층(adaptive fusion layer)이 따릅니다. 공개 데이터셋(dataset)에 대한 광범위한 실험은 SAERec이 최첨단 기준 모델(state-of-the-art baselines)을 일관되게 능가하면서 인간이 이해할 수 있는 설명을 제공함으로써 그 우수성을 입증합니다.
원문 초록
Intent-based recommender systems have gained significant attention for improving accuracy and interpretability by modeling the underlying motivations behind user behaviors. Most existing models derive intents directly from user sequences via clustering or prototype learning. However, they are sensitive to sequence quality, require presetting the number of intents, and lack explicit semantic grounding. These issues lead to an incomplete and coarse intent set and limit the effectiveness of recommendation. In this paper, we propose the Sparse Autoencoder for intent-based recommendation (SAERec), a novel recommender that automatically constructs a fine-grained and interpretable intent space from a textual corpus to guide recommendation. Rather than treating texts as side signals, SAERec leverages them as high information density evidence for intent construction. Specifically, we first extract a comprehensive set of fine-grained interpretable intents from the latent space of large language models (LLMs) by using a sparse autoencoder (SAE) to disentangle and interpret text embeddings, which isolates intent-related semantics from textual noise. Then, for each user, we retrieve relevant intents from this set as priors to guide recommendation. It contains personal intents matching a user's current interests and public intents capturing general item patterns shared across users (e.g., quality, price). Finally, to integrate retrieved intents into sequence modeling, we propose a multi-branch attention mechanism that captures temporal dependencies and injects both personal and public intent signals, followed by an adaptive fusion layer to construct the final user representation for recommendation. Extensive experiments on public datasets demonstrate the superiority of SAERec, consistently outperforming state-of-the-art baselines while providing human-understandable explanations.
요약
SAERec은 텍스트 말뭉치에서 희소 오토인코더(SAE)로 대규모 언어 모델(LLM) 임베딩을 분리해 세분화되고 해석 가능한 의도 공간을 자동 구축하고, 사용자별 개인·공용 의도를 검색해 다중 분기 어텐션(multi-branch attention)과 적응형 융합으로 시퀀스 추천에 반영하는 의도 기반 추천 모델이다. 공개 데이터셋 실험에서 최첨단 기준 모델을 일관되게 능가하면서 사람이 이해할 수 있는 설명을 제공한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18897v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Web$hell: 에이전틱 웹 접근을 위한 통합 인터페이스
Web$hell: A Unified Interface for Agentic Web Access
대규모 언어 모델(LLM) 에이전트가 오픈 웹의 직접적인 사용자가 되어가고 있습니다. 에이전트가 점점 더 복잡하고 정보 집약적인 작업을 수행함에 따라, 효과적인 웹 접근은 에이전틱(agentic) 문제 해결을 위한 핵심 역량이 되고 있습니다. 기존 접근법들은 검색-증강 에이전트, 브라우저 기반 에이전트, 그리고 최근의 파일시스템 기반 에이전트 등 다양한 접근 모델을 통해 에이전틱 웹 접근을 발전시켜 왔습니다. 그럼에도 불구하고, 사용자들이 에이전트에게 장기적인(long-horizon) 엔드투엔드 작업 완수를 기대함에 따라 단일 경로(trajectory) 내에서 광범위한 정보 수집을 수행하고, 브라우저 작업을 실행하며, 획득한 근거를 다시 검토해야 할 필요성이 점점 커지고 있습니다. 그러나 본 논문의 예비 분석 결과, 기존 접근 모델들은 이러한 요구를 충족하는 데 어려움을 겪는 것으로 나타났습니다. 기존 모델들은 주로 정보 수집이나 브라우저 상호작용 중 한 가지만 지원하며, 이 두 가지 역량을 결합할 경우 상당한 비용이나 성능 트레이드오프가 발생할 수 있습니다. 이를 위해 본 연구에서는 단일 접근 모델 하에서 웹 접근을 통합하는 인터페이스인 Web$hell을 제안합니다. WebContract가 정의한 공통 스키마를 사용하여, WebCompiler는 실시간 웹페이지를 주소 지정 가능한 정보 및 행동 객체로 컴파일합니다. 이러한 객체들은 WebCache에서 유지 관리되고 공유 연산 집합을 통해 처리되어 에이전트에 일관되고, 조작 가능하며, 영속적인 웹 접근을 제공합니다. 웹 검색, 웹 내비게이션, 딥 리서치 벤치마크에 걸친 광범위한 실험을 통해, Web$hell이 더 낮은 비용으로 뛰어난 작업 성능을 달성함을 입증합니다. 또한 본 연구 결과는 효과적인 웹 접근을 위한 인터페이스 설계의 중요성을 시사하며, Web$hell이 웹상에서 더 유능하고 효율적인 LLM 에이전트를 구축하기 위한 새로운 가능성을 열어줍니다.
LLM 질의 확장을 위한 부분열-연관성 필터링과 범위 인지 선택을 통한 환각 용어 추적 및 제어
Tracing and Taming Hallucinated Terms via Subsequence-Association Filtering and Breadth-Aware Selection for LLM Query Expansion
대규모 언어 모델(LLM)은 이제 질의 확장 용어의 표준적인 소스가 되었지만, 환각(hallucination)을 일으킨다. LLM은 존재하지 않는 개체와 주제에서 벗어난 용어를 삽입하여 순위화 노이즈를 추가하고 강력한 검색기(retriever)의 성능을 저해할 수 있다. 코퍼스 그라운딩(corpus grounding), 상호 검증(mutual verification), 선호도 정렬(preference alignment)과 같은 기존의 해결책들은 환각된 용어를 일치성 휴리스틱으로 걸러내야 할 미분화된 골칫거리로 취급하며, 특정 용어가 왜 나타나는지에 대한 메커니즘적 설명이나 몇 개의 용어를 유지해야 하는지에 대한 원칙적인 기준을 제시하지 않는다. 우리는 환각의 부분열-연관성(subsequence-association) 설명에 기반한, 학습이 필요 없고(training-free) 검색기에 구애받지 않는(retriever-agnostic) 방법인 부분열-연관성 필터링 기반 범위 인지 질의 확장(Subsequence-Association Filtered, breadth-aware query expansion, SAFE-QE)을 제안한다. 우리는 각 후보 확장 용어를 코퍼스 조건부 교차 문맥(cross-context) 재현성으로 점수화하며, 무작위화된 질의 맥락에서는 반복적으로 나타나지만 유사 관련 집합(pseudo-relevant set)에서는 근거가 부족한 용어는 지배적인 환각 연관성의 산물로 표시되어 가중치가 낮아진다. 언어 생성을 일관성(consistency, 환각 없음)과 범위(breadth, 커버리지) 사이의 트레이드오프로 특성화한 것에 기반하여, 우리는 용어 선택을 유사 관련 집합에 대한 제약된 커버리지 최대화 문제로 설정하며, 재샘플링에도 대략적으로 넓으면서도 일관되고 안정적인 집합을 유지한다. 또한 우리는 관련 문서가 뒷받침하지 않는 삽입된 확장 용어의 수를 세는 질의 측 충실도(faithfulness) 지표인 환각 확장 용어율(Hallucinated Expansion Term Rate)을 도입한다. 우리는 벤치마크된 TREC 및 BEIR 컬렉션에서 우리의 접근법을 평가한다. 우리의 SAFE-QE는 nDCG@10에서 생성적 확장 및 코퍼스 유도 확장과 통계적으로 구별되지 않으면서, 질의당 지지되지 않는 용어는 더 적게 삽입하며(SAFE-QE 4.3개 대 Query2doc 27.8개, HyDE 57.5개), 모든 확장 방법이 성능 저하를 보이는 강력한 학습된 희소 검색기(learned sparse retriever)에서도 마찬가지이다. 따라서 충실도는 순위화 품질에서 측정 가능한 비용 없이 얻을 수 있다.
언어 모델은 위키피디아 게임을 플레이할 수 있는가?
Can Language Models Play the Wikipedia Game?
언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.
전자상거래 검색에서 페이지 수준 레이아웃 결정을 위한 언어 모델
Language Models for Page-Level Layout Decisions in E-commerce Search
전자상거래(E-commerce) 검색 페이지는 수백만 명의 온라인 쇼핑객에게 중요한 접점입니다. 전통적인 검색 엔진은 순위가 매겨진 검색 결과 목록을 반환하는 반면, 최신 전자상거래 검색 페이지는 특정 위치에 대안적 상품 그룹을 노출하는 보조 스택(secondary stack)과 같은 추천 시스템 모듈을 점차 더 많이 통합하고 있습니다. 적절하게 도입될 경우 보조 스택은 사용자 참여도를 향상시킬 수 있지만, 최적화되지 않은 배치는 탐색 흐름을 방해하고 주요 검색 결과를 저하시킬 수 있습니다. 인터리빙(interleaving)과 같은 평가 기법이 잘 정립되어 있는 전통적인 검색 랭킹과 달리, 특정 위치와 시점에 보조 스택을 삽입하는 것과 같은 페이지 수준의 레이아웃 변경을 평가하는 것은 비용이 많이 드는 온라인 A/B 테스팅 없이는 여전히 어려운 과제입니다. 이를 해결하기 위해, 본 연구에서는 특정 위치에 보조 스택을 포함하는 것과 같은 주어진 레이아웃 결정이 사용자에게 유익한지 여부를 평가하기 위한 오프라인 방법을 연구합니다. 저자들은 직접적인 프롬프트(prompt) 기반 방식, 프롬프트에서 유도된 특징(feature) 방식, 표현(representation) 기반 방식을 비교하여 확장 가능한 평가자로서 언어 모델을 조사합니다. 실험 결과, 사용자 참여도를 예측하는 데 있어 표현 기반 접근 방식이 프롬프트 기반 평가보다 일관되게 우수한 성능을 보였으며, 이는 해당 방식이 전자상거래 검색에서 오프라인 레이아웃 평가를 위한 신뢰할 수 있는 기반을 제공함을 시사합니다.
경영학 교육을 위한 온프레미스 다중 강좌 RAG 튜터링: 캠퍼스 AI 튜터의 하드웨어-소프트웨어 트레이드오프
On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor
검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.
단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명
Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation
대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.