Query Tracking for E-commerce Conversational Search: A Machine Comprehension Perspective
원문 초록
With the development of dialog techniques, conversational search has attracted more and more attention as it enables users to interact with the search engine in a natural and efficient manner. However, comparing with the natural language understanding in traditional task-oriented dialog which focuses on slot filling and tracking, the query understanding in E-commerce conversational search is quite different and more challenging due to more diverse user expressions and complex intentions. In this work, we define the real-world problem of query tracking in E-commerce conversational search, in which the goal is to update the internal query after each round of interaction. We also propose a self attention based neural network to handle the task in a machine comprehension perspective. Further more we build a novel E-commerce query tracking dataset from an operational E-commerce Search Engine, and experimental results on this dataset suggest that our proposed model outperforms several baseline methods by a substantial gain for Exact Match accuracy and F1 score, showing the potential of machine comprehension like model for this task.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ESF-Bench: 실전 기업 애플리케이션의 도전적인 슬롯 채우기(slot filling) 시나리오 벤치마킹
ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications
대규모 언어 모델(LLM)의 급속한 부상은 기업 전반에 걸쳐 혁신적인 도입을 이끌고 있다. 그러나 이러한 모델을 실제 환경에 배포하는 것은 복잡한 시스템 제약과 예상치 못한 사용자 행동으로 인해 고유한 과제를 제기한다. 이러한 애플리케이션 중 슬롯 채우기(slot filling)는 비구조화 입력을 구조화되고 실행 가능한 데이터로 변환하는 데 필수적이다. 본 연구에서는 8개의 고유 도메인에 걸쳐 810개의 다중 턴(multi-turn) 샘플과 6530개의 슬롯으로 구성된 도전적인 Enterprise Slot Filling 벤치마크인 ESF-Bench를 제안한다. 실제 기업 배포 과정에서 관찰된 57가지 가장 도전적인 슬롯 채우기 시나리오의 분류체계를 바탕으로 구축된 ESF-Bench는 현재 최첨단 LLM의 현저한 한계를 드러내며, GPT-OSS-120b low는 벤치마크 샘플의 20.7%에서만 슬롯을 성공적으로 추출한다. 이 분야의 지속적인 연구를 지원하기 위해 벤치마크 데이터셋, 분류체계, 그리고 동봉된 평가 코드를 GitHub에 공개한다.
자연스러운 읽기 중 N400 및 P600 역학을 형성하는 의미 통합과 어휘 기대
Contextual Semantic Relevance and Word Surprisal Predict N400 and P600 Dynamics During Naturalistic Reading
단어 놀라움(word surprisal)은 언어 이해 중 인간의 신경 반응을 예측하는 잘 확립된 계산적 지표이지만, 자연스러운 읽기 상황에서 어휘 기대를 넘어 국소적 의미 적합성이 신경 반응 변이를 설명하는지는 아직 명확하지 않다. 본 연구는 Dublin EEG 기반 읽기 실험 코퍼스(DERCo)를 활용하여, 맥락적 의미 관련성이 N400 및 P600 구간의 단어 잠금 EEG 활동을 예측하는지 검토하였다. 맥락적 의미 관련성은 목표 단어가 최근 담화 맥락과 의미적으로 얼마나 강하게 연결되어 있는지를 어텐션 인식 측정치로 산출하였으며, GPT 기반 단어 놀라움과 비교되었다. 22명의 참가자와 32개의 EEG 채널에 걸쳐, 어휘 변수와 반복 관측을 통제하면서 회귀 기반 ERP 분석 및 일반화 가법 혼합 모델을 사용하여 두 예측 변수를 검증하였다. 두 예측 변수 모두 EEG 반응과 신뢰할 수 있는 연관성을 보였으나, 시간적·두피 수준 패턴에서 부분적으로 상이한 양상을 나타냈다. 놀라움은 기대 관련 변이를 포착한 반면, 맥락적 의미 관련성은 N400 및 P600 구간 평균 전압 전반에 걸쳐 강건한 효과를 보였으며, 특히 P600 구간에서 설명력이 두드러졌다. 모델 비교 결과, 맥락적 의미 관련성은 어휘 통제 변수와 놀라움을 넘어서는 추가적인 설명력을 제공하는 것으로 나타났다. 이러한 결과는 자연스러운 읽기가 어휘 기대와 국소적 의미 통합 모두에 의존하며, 맥락적 의미 관련성이 담화 의미 적합성과 ERP 역학 사이의 해석 가능한 계산적 연결고리를 제공함을 시사한다.
자연주의적 이해 중 언어 모델의 이질적 신경 예측력
Heterogeneous Neural Predictivity from Language Models During Naturalistic Comprehension
언어 모델 표현은 자연주의적 언어 자극에 대한 구조화된 고차원 주석을 제공하며, 이해 과정에서 유용한 신경 예측 변수로 기능할 수 있다. Brain Treebank, MEG-MASC, Podcast ECoG의 잠금 파생 데이터를 8개의 고정(frozen) 언어 모델, 블록 인코딩 모델, 그리고 시간·nuisance·표현 용량을 맞춘 대조군과 함께 분석했다. hold-out 예측의 양성 결과와 저수준 기준선 대비 개선은 소스 수준 요약 전반에 걸쳐 광범위하게 나타났다. Brain Treebank와 Podcast ECoG 전반에서 평가 가능한 432개 행 중 67개가 통제된 예측 전용 기준을 충족했으며, 모델 측 특징 절제는 대부분의 평가 가능한 소스 행에서 예측 점수를 변화시켰다. 뇌 유래, 시간 연계, 음향, 이식 신호 대조군은 분석 파이프라인의 구성요소 수준 민감도를 확인했다. 이러한 결과는 언어 모델에서 파생된 양이 자연스러운 음성 및 텍스트 이해 중 신경 활동을 주석화할 수 있음을 보여준다. 참가자 수준의 대조군 매칭 이점은 균일하지 않고 국소적이었으며, 반응 프로필과 특징 특이성 대조는 표현적 또는 계산적 해석의 범위를 제한했고, 완전한 공동 색인(co-indexed) 통합 해석을 위해서는 향후 공동 색인(jointly indexed) 커버리지가 필요할 것이다. 종합하면, 이번 분석은 언어 모델 특징이 유용한 신경 예측 변수임을 밝히고, 예측적 유용성을 공유된 신경 구조나 언어 처리 계산에 관한 주장과 구분한다.
구문적 믿음 갱신이 정원길 처리 난이도의 동인
Syntactic Belief Update as the Driver of Garden Path Processing Difficulty
정원길 문장은 인간에게 처리 난이도를 제기한다. 문장 접두 문맥은 청자를 한 가지 해석으로 이끌다가, 청자가 초기 해석이 틀렸음을 드러내는 핵심 단어를 듣게 될 때까지 그렇게 된다. 어휘적 놀람도(surprisal)는 통상 문장 처리 난이도를 꽤 잘 예측하는 척도이지만, 정원길 문장에 대해서는 좋은 예측을 제공하지 못한다. 우리는 구문 트리에 대한 확률 분포(구문적 믿음)를 능동적으로 예측하고, 각 새 단어 이후에 그 분포를 갱신하는 대안을 제안한다. 처리기가 정원길로 이끌리면 구문적 믿음은 틀리게 되며, 핵심 단어에서 큰 갱신이 필요해진다. 갱신의 크기는 일반화된 Rényi divergence로 측정된다. 중요한 점은, 이 지표가 어휘 항목에 의존하지만 어휘 항목의 확률과는 완전히 독립적이라는 것이다. 이 구문적 믿음 갱신(Syntactic Belief Update)은 정원길 문장에 대한 인간의 읽기 시간 데이터에 더 잘 맞는다. 이는 심리언어학에서 놀람도에 대한 순수하게 비어휘적 대안을 탐구하는 새로운 연구 방향을 시사한다.
Invocable APIs derived from NL2SQL datasets for LLM Tool-Calling Evaluation
LogiQA 2.0—An Improved Dataset for Logical Reasoning in Natural Language Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.