arXiv:2404.06017

Identifying Shopping Intent in Product QA for Proactive Recommendations

Besnik Fetahu, Nachshon Cohen, Elad Haramaty, Liane Lewin-Eytan, Oleg Rokhlenko, Shervin Malmasi

제출 2024-04-09

원문 초록

Voice assistants have become ubiquitous in smart devices allowing users to instantly access information via voice questions. While extensive research has been conducted in question answering for voice search, little attention has been paid on how to enable proactive recommendations from a voice assistant to its users. This is a highly challenging problem that often leads to user friction, mainly due to recommendations provided to the users at the wrong time. We focus on the domain of e-commerce, namely in identifying Shopping Product Questions (SPQs), where the user asking a product-related question may have an underlying shopping need. Identifying a user's shopping need allows voice assistants to enhance shopping experience by determining when to provide recommendations, such as product or deal recommendations, or proactive shopping actions recommendation. Identifying SPQs is a challenging problem and cannot be done from question text alone, and thus requires to infer latent user behavior patterns inferred from user's past shopping history. We propose features that capture the user's latent shopping behavior from their purchase history, and combine them using a novel Mixture-of-Experts (MoE) model. Our evaluation shows that the proposed approach is able to identify SPQs with a high score of F1=0.91. Furthermore, based on an online evaluation with real voice assistant users, we identify SPQs in real-time and recommend shopping actions to users to add the queried product into their shopping list. We demonstrate that we are able to accurately identify SPQs, as indicated by the significantly higher rate of added products to users' shopping lists when being prompted after SPQs vs random PQs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21461v2cs.AI공통 태그 Question Answering, Mixture-of-Experts

AREX: 심층 연구를 위한 재귀적 자기 개선 에이전트

AREX: Towards a Recursively Self-Improving Agent for Deep Research

심층 연구(deep research)는 에이전트가 여러 제약을 동시에 충족하는 답을 찾아야 한다. 이러한 답을 발견하는 것은 비용이 크지만, 후보를 검증하는 작업은 종종 처리 가능한 제약별 검사로 분해할 수 있다. 이러한 발견-검증 비대칭은 연구 에이전트가 단순히 더 오래 검색하는 것 이상을 해야 함을 시사한다. 중간 결과를 검증하고 부분적으로 검증된 상태를 이용해 이후 정제를 안내함으로써 현재 답을 재귀적으로 개선해야 한다. 우리는 재귀적 자기 개선(RSI) 심층 연구 에이전트 계열인 AREX를 제안한다. AREX는 증거를 수집하고 잠정적 답을 구성하는 내부 연구 루프와, 답을 제약별로 감사하고 미해결 주장을 식별하며 표적 후속 연구를 시작하는 외부 자기 개선 루프를 번갈아 수행한다. 긴 수평에 걸쳐 RSI를 유지하기 위해 AREX는 외부 모델에 의존하지 않고, 검증된 증거와 미해결 제약을 보존하는 압축된 개선 상태로 증가하는 상호작용 이력을 압축하는 자율적 컨텍스트 업데이트 도구를 학습한다. 우리는 에이전트 중간 학습(agentic mid-training)과 장기간 강화학습을 통해 검증된 합성 과제와 고품질 궤적(trajectory)으로 AREX를 학습한다. 장기간 학습 동안 희소한 최종 보상을 완화하기 위해, 결정적 증거가 확보되거나 잘못된 연구 방향이 수정되는 핵심 단계를 강조한다. 우리는 dense 4B 모델과 122B-A10B 전문가 혼합(MoE) 모델을 구현한다. BrowseComp, WideSearch, DeepSearchQA, Humanity's Last Exam(HLE) 및 기타 추론·도구 사용 벤치마크에서 AREX는 유사 규모 베이스라인을 크게 능가하며, 훨씬 더 많은 활성 파라미터를 사용하는 모델과도 경쟁력을 유지한다.

arXiv:2607.20426v1cs.CL공통 태그 Question Answering, Mixture-of-Experts

MoE에 지식 주입이 존재하는가? LLM 환각 완화를 위한 MoE에서의 전문가 인식 대조 디코딩 탐색

Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs'Hallucinations

기존 LLM 환각 완화 방법(프롬프트 엔지니어링, 모델 최적화 등)은 모델의 내부 지식을 거의 바꾸지 못하거나 도메인 간 일반화 성능이 낮다. 대조 디코딩(contrastive decoding)은 LLM의 층별 차이를 이용해 환각을 완화한다. 그러나 선행 연구는 GPT와 같은 트랜스포머 기반 모델만 탐구했고, 전문가 혼합(MoE) 모델과 같은 다른 효과적인 프레임워크는 간과했다. MoE는 기존 트랜스포머 아키텍처를 변경하므로, MoE에서도 유사한 층별 차이가 존재하는지 실증 연구를 수행했다. 결과적으로 공유 전문가(shared experts)가 있는 MoE에서는 그러한 차이가 존재하지 않았다. 다만 서로 다른 MoE 전반에서, 상위 층은 사실적 출력과 비사실적 출력 사이에 뚜렷한 전문가 활성화 패턴을 보였다. 이를 바탕으로 QA 작업에서 환각을 완화하기 위해 MoE 상위 층의 전문가 차이를 활용하는 전문가 인식 적응형 대조 디코딩(EAACD)을 제안한다. EAACD는 신뢰도와 일관성을 기준으로 상위 층 전문가를 높은 신뢰도 그룹과 여러 낮은 신뢰도 그룹으로 나눈다. 높은 신뢰도 그룹의 예측과 각 낮은 신뢰도 그룹의 예측을 대조하여 모델의 원래 예측을 보정한다. 대조를 강화하기 위해 EAACD는 어텐션과 마스킹을 통해 낮은 신뢰도 전문가의 환각을 증폭하여 더 강한 부정적 참조를 제공한다. EAACD는 네 개 데이터셋에서 모든 베이스라인을 능가한다.

arXiv:2607.20443v1cs.CL공통 태그 Question Answering, Mixture-of-Experts

GLAN-QnA-KR: 시드 없는 분류체계 기반 한국어 인스트럭션 코퍼스

GLAN-QnA-KR: A Seedless Taxonomy-Driven Korean Instruction Corpus

우리는 GLAN-QnA-KR을 공개합니다. 이는 303,581행 규모의 공개적으로 재배포 가능한 한국어 인스트럭션-QA 코퍼스로, Microsoft의 Phi-3.5-MoE-instruct를 생성 모델로 사용하는 시드 없는 분류체계 기반 GLAN 합성 파이프라인을 통해 생성되었습니다(생성: 2024-12; 공개: 2024-12; 라이선스: OpenRAIL). 이 코퍼스는 1,084개의 영어 라벨 분야로 구성된 평면 분류체계, 한국어 질문/답변 텍스트, 100–900 난이도 척도, 그리고 레코드당 질문 313자·답변 1,098자의 중앙값을 포함합니다. 이 규모의 합성 인스트럭션 데이터에서 비정상적인 두 가지 특성이 있습니다: (i) 303,581행 중 정확히 중복된 질문은 단 1개뿐이며, Jaccard >= 0.9인 문자 trigram 근접 중복 클러스터는 5,000개 표본 탐색에서 0개이고, (ii) KMMLU, KoBEST(5개 하위 과제), HAE-RAE-Bench에 대한 2층 오염 감사는 20,000개의 GLAN 질문 표본과 7개 평가 세트 전체에서, 테스트 대 코퍼스 질문 수준의 문자 trigram Jaccard 최대값이 0.163이며 Jaccard >= 0.7인 테스트 항목은 0개이고, multilingual-E5 코사인 유사도 최대값은 0.901이며 코사인 >= 0.90인 테스트 항목은 1개, >= 0.95인 항목은 0개임을 보여줍니다. 공개 시점 기준, 우리가 알기로 Hugging Face Hub에서 검증 가능한 단일 파이프라인 합성 한국어 인스트럭션 코퍼스 중 최대 규모이며, 시드 없는 분류체계 기반 프로토콜 하에 구축된 유일한 10만 행 이상 한국어 코퍼스입니다. 본 노트는 후속 인용에 적합한 형태로 생성 프로토콜, 코퍼스 통계, 오염 감사, 라이선스 경계를 기술합니다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

arXiv:2610.00663v2cs.AI공통 태그 Mixture-of-Experts

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.