신경-기호 시스템은 전문가 에이전트나 기타 지식원으로부터 관련 있는 답변만을 결합해야 한다. 지식 네트워크가 성장하여 더 많은 지식원과 연결될수록, 주어진 입력 질의에 대해 관련 있는 전문가만 사용하는 것은 정확도와 확장성 측면에서 점점 더 중요해진다. 우리는 증거에 관한 법 이론의 표준적인 관련성 정의를 확장한다. 즉, 답변은 가용한 지식을 고려할 때 당면한 사안에 대해 입증력(probative)과 실질적 중요성(material)을 모두 가질 때, 그리고 그 경우에만 관련성이 있다. 우리는 이 관련성 체계를 실제 또는 인공 전문가의 피드백 퍼지 인지 지도(FCM)를 혼합하는 데 적용한다. 전문가 FCM의 방향성 인과 그래프는 하나의 공통 지식 네트워크로 혼합 또는 결합된다. 우리는 전문가들의 평형 극限 순환(limit-cycle) 예측 또는 답변을 혼합 FCM의 답변과 비교하고, 그 차이 또는 변동으로부터 답변의 입증적 지위를 추정한다. 새로운 베이즈 유사 정리는 지식 혼합물을 이에 대응하는 사후 유사 FCM으로 분리하며, 이 FCM 역시 관련성 기반 비교를 가능하게 한다. 그 결과 주어진 질의에 대해 관련성 혼합 FCM 지식 네트워크를 만들어 내는 최종 관련성 혼합 가중치 집합이 얻어진다. 따라서 질의가 다르면 서로 다른 관련성 혼합 FCM이 생성된다. 우리는 허혈성 뇌졸중 위험의 원인과 피드백을 모델링한 실제 13개 노드 전문가 FCM으로부터 생성한 합성 FCM을 사용하여 이 관련성 접근법을 시연한다.
검색 증강 생성(RAG) 시스템은 외부 근거를 검색하고 검색된 문맥을 조건으로 생성함으로써 대규모 언어 모델(LLM)의 근거를 확보한다. 밀집 검색은 국소적인 의미 매칭에는 효과적이지만, 독립적으로 순위를 매기는 검색은 중복된 구절을 반환하고, 청크 간 의존성을 놓치며, 다중 홉 추론에 불완전한 근거를 제공할 수 있다. 우리는 하이브리드 후보 시딩, 가중 청크 그래프 구축, 그래프 기반 확장, 스펙트럼 관련성 전파, 토큰 예산 기반 문맥 선택을 결합한 스펙트럼 그래프 증강 검색 프레임워크인 SpectRAG를 제안한다. 문서 청크는 밀집 의미 임베딩과, 가중 청크 그래프에서 도출된 그래프 스펙트럼 좌표로 표현되며, 이 그래프의 간선은 의미 유사도, 문서 인접성, 섹션 계층, 공유 개체, 인용 링크, 그리고 LLM이 생성한 유용성 질문 간 유사도를 인코딩한다. 질의 시점에 SpectRAG는 정확한 내적 검색과 하이브리드 관련성 신호를 사용해 재현율이 높은 시드 집합을 구성하고, 이를 청크 그래프 위에서 확장하며, 그래프 근접도와 스펙트럼 정보를 사용해 후보를 다시 점수화하고, 고정된 토큰 예산 아래에서 최종 문맥을 조립한다. 목표는 개별적으로 유사한 청크를 검색하는 데 그치지 않고, 관련성이 높고 다양하며 구조적으로 연결되어 있고 근거 기반 추론에 충분한 문맥을 구성하는 것이다. MultiHopRAG, UltraDomain, 장문 문서 질의응답 설정에서의 실험 결과, SpectRAG는 폭넓은 근거 회수를 개선하고 밀집, 하이브리드, HyDE, LightRAG, NaiveRAG 기준선에 대해 경쟁력 있는 생성 품질을 달성한다. 결과는 또한 그래프 스펙트럼 구조가 추론 지향 검색과 문서 간 검색에 특히 유용함을 보여 주며, 초기 정밀도, 계산 비용, 도메인에 따른 성능 측면의 상충 관계도 드러낸다.
그래프 검색 증강 생성(GraphRAG)은 복잡한 관계형 검색 과제, 특히 추론 깊이에 따라 가능한 경로의 수가 급격히 증가하는 고밀도 연결 지식 그래프에서 상당한 어려움에 직면한다. 기존 GraphRAG 검색 알고리즘은 관련 그래프 문맥을 식별하기 위해 경직된 사전 정의 휴리스틱에 의존하거나, 그래프 탐색을 안내하기 위해 비용이 많이 드는 LLM 기반 추론을 사용한다. 이러한 한계를 해결하기 위해 우리는 대규모 언어 모델(LLM) 추론으로 탐색 공간을 좁히고 과제와 관련된 관계 경로를 복원하는, 가볍고 학습이 필요 없는 GraphRAG 검색 알고리즘인 DotRAG를 제안한다. 인덱싱 단계에서 DotRAG는 개체-관계 지식 그래프를 구축하고, 그 내용을 요약하는 그래프 전체 개요를 생성하며, 그래프 도달 가능성 인덱싱을 활용하여 비용이 큰 온라인 그래프 탐색을 피한다. 질의 시점에는 LLM이 이 개요를 사용해 유망한 그래프 영역을 식별하고, 그래프 정보를 질의에 연결하는 관계 시퀀스를 가설로 세운다. 이후 LLM은 그래프 제약을 이용해 후보 풀을 점진적으로 제한하면서 목표 지향적 관계 검색을 수행한다. MetaQA 2-hop 질의에서 DotRAG는 97.78%의 검색 재현율과 51.27%의 F1을 달성하였으며, 이는 최고 기준선 점수인 34.74%와 6.33%에 비해 높다. STaRK-MAG에서 DotRAG는 2-hop 질의에 대해 85.07%의 재현율을 달성하는 동시에 추론 기반 GraphRAG 기준선보다 높은 계산 효율을 보였으며, HopRAG보다 검색 지연 시간이 12.2배 낮았다.
학술 동료 심사는 학술적 검증의 초석으로 남아 있으나, 이 분야는 데이터와 방법 측면에서 몇 가지 과제에 직면해 있다. 데이터 측면에서 기존 연구는 대규모의 검증된 벤치마크가 부족하고, 실제 편집 업무 흐름을 반영하지 못하는 지나치게 단순화된 평가 지표 때문에 한계를 겪는다. 이러한 간극을 메우기 위해 우리는 동일인 식별 파이프라인을 통해 포괄적인 학술 프로필을 아우르는 다중 출처 학술 플랫폼을 통합하여 구축한 포괄적 데이터셋 OmniReview를 제시하며, 이는 202,756건의 검증된 심사 기록을 제공한다. 이 데이터를 바탕으로 재현율에서 정밀한 전문가 식별에 이르기까지 추천을 평가하는 3단계 계층적 평가 프레임워크를 도입한다. 방법 측면에서 기존 임베딩 기반 접근은 의미 압축의 정보 병목과 제한된 해석 가능성 문제를 안고 있다. 이러한 방법론적 한계를 해결하기 위해 우리는 대규모 언어 모델(LLM)과 다중 과제 학습을 결합한 새로운 프레임워크인 Profiling Scholars with Multi-gate Mixture-of-Experts(Pro-MMoE)를 제안한다. 구체적으로, LLM이 생성한 의미 프로필을 활용하여 세밀한 전문성의 뉘앙스와 해석 가능성을 보존하고, 과제 적응형 MMoE 아키텍처를 사용하여 상충하는 평가 목표를 동적으로 균형 맞춘다. 종합적인 실험 결과 Pro-MMoE는 일곱 개 지표 중 여섯 개에서 최고 성능을 달성하여 현실적인 심사자 추천을 위한 새로운 벤치마크를 확립한다.
거대 언어 모델(LLM)은 특히 논쟁적인 주제에 대해 언어와 지역에 따라 서로 다른 설명을 포함하여, 사람들이 정보를 탐색하고 소비하는 방식을 점점 더 매개하고 있다. 다양한 정보 탐색을 지원하려면 모델이 사용자가 여러 언어와 정보 흐름에 걸쳐 경합하는 서사를 탐색하도록 도와야 한다. 본 연구는 다양한 다국어 정보 탐색에 필요한 여섯 가지 능력을 정의한다. 이는 서사 포함, 서사 제외, 누락된 서사 식별이라는 세 가지 기초 능력과, 다양한 서사 제시, 확증적 질의에서의 서사 포괄성 유지, 언어 간 정보 동등성 유지라는 세 가지 상위 능력이다. 이러한 정보 탐색 능력의 개발을 안내하기 위해, 23개 논쟁적 주제에 걸친 23개 출판 언어의 뉴스 기사 1,333건과 Reddit에 기반한 질의 460건으로 구성된 벤치마크인 \textsc{NarrativeBench}를 제안한다. 24개 질의 언어에 걸쳐 14개 LLM을 평가한 결과, 현재의 모델은 다양한 서사를 안정적으로 탐색하는 데 필요한 능력이 부족하며, 이로 인해 사용자가 접하는 관점에 대한 통제력이 제한되고, 다양성을 명시적으로 요청하더라도 경합하는 설명에 대한 노출에 상당한 격차가 남는 것으로 나타났다. 또한 정보 접근은 질의의 틀과 언어에 따라 달라지며, 이는 민주적 담론에 필요한 공통 기반을 약화시키는 에코 챔버, 언어적 필터 버블, 정보 격차의 위험을 초래한다. \textsc{NarrativeBench}는 여러 언어와 지역의 사용자가 다양한 서사를 탐색할 주체성을 갖도록 하는 정보 시스템을 개발하기 위한 기반을 제공한다.
이미지에 대한 실시간 멀티모달 인사이트를 제공하는 것은 낮은 지연 시간, 높은 설명 정확도, 비용 효율적이고 효율적인 확장 가능한 솔루션을 요구하므로 어렵다. 예를 들어 새로운 의상 이미지가 주어졌을 때, 이미지가 "어스 톤"과 "린넨 바지"를 묘사한다는 인사이트를 생성하고 사용자가 이러한 주제를 따라 유사한 아이디어를 탐색하도록 하고자 한다. 이러한 인사이트를 생성하는 전통적 전략은 대개 분류 체계를 구축하고, 사람이 레이블링한 골든 셋을 만들고, 이 데이터셋으로 모델을 학습하고, 이를 온라인 추론 서비스에 배포하는 것이다. 이러한 워크플로는 고정된 분류 체계, 높은 레이블링 비용, 표본 공간에서의 제한된 레이블링 범위, 레이블러의 사람 오류와 전문성 격차에 제약된다. 또한 이러한 방법은 비용이 많이 들고 시간이 지나며 반복 개선하기 번거롭다. 최근에는 온라인 인사이트를 위해 생성형 AI 모델을 탐색하는 추세가 나타났으나, 이 방법은 지연 시간이 길고 대량의 요청이나 대규모 오프라인 레이블링 수요를 지원하기에는 비용이 지나치게 높다. 본 논문은 확장성이 높고 비용 효율적이며 지연 시간이 낮고 정확도가 높은 온라인 이미지 인사이트 서비스를 제공하는 솔루션으로 클러스터 기반 생성형 레이블링(Generative Labeling On Clusters, GLOC)을 제시한다. GLOC은 고도로 최적화된 이미지 임베딩을 활용해 인사이트 유형의 목적에 맞게 의미적으로 서로 가까운 이미지 클러스터를 형성하고, 클러스터 수준에서 인사이트를 요약하여 클러스터 구성원에 효과적으로 일반화한다. Pinterest에서 GLOC은 이미지와 텍스트 질의를 모두 사용해 검색할 수 있는 멀티모달 검색 서비스인 Hybrid Search의 이미지 설명자와 피벗 질의 제안을 구동한다. 오프라인 및 온라인 A/B 테스트는 GLOC이 기존 방법을 크게 능가하며 품질과 효율 모두에서 개선을 제공함을 보여준다.
에이전틱 검색, 전자증거개시(e-discovery), 논문의 AI 심사처럼 AI 에이전트가 비용이 드는 인간 평가자를 위해 항목을 선별할 때는 통과된 항목만 평가를 받는다. 본 연구는 데이터가 무한하더라도 각 종류의 증거가 에이전트의 오류에 대해 무엇을 입증할 수 있는지 보인다. 합의는 에이전트의 수가 아무리 많아도 에이전트들이 일치한다는 것만 보여 줄 뿐 옳다는 것을 보여 주지는 않는다. 평가자의 수락은 정밀도를 제공하지만 재현율에 대해서는 하한만 제공한다. 어느 에이전트가 어느 관련 항목을 찾았는지 알면, 에이전트들이 찾은 항목이 음의 상관관계를 갖지 않는 경우 재현율의 상한을 얻을 수 있고, 에이전트가 서로 교환 가능한 경우 에이전트 하나를 더 추가해 얻을 수 있는 이득의 한계를 정할 수 있다. 에이전트에 대한 가정이 없다면 재현율은 에이전트가 통과시키지 않은 항목을 평가해야만 확정할 수 있다. 이러한 항목의 무작위 표본으로 놓친 관련 항목의 수를 임의의 원하는 정확도로 추정할 수 있으며, 필요한 표본 크기는 에이전트 수에 따라 증가하지 않는다.
Generative recommendation (GR) is moving industrial recommender systems (RecSys) from scoring candidate items to autoregressively generating item identifiers. This shift promises higher recommendation quality, but makes serving substantially harder: each request executes a short sequence of dependent decoding steps that explore a large item space and select promising candidates on the latency-critical path. GR not only creates structural mismatches with conventional RecSys pipelines, but also challenges the architectural and optimization assumptions of LLM serving stacks, making direct adoption of existing systems difficult. We present RecoGEM, our production GR serving system. RecoGEM uses a runtime--engine decoupling architecture to move GR-specific serving responsibilities, such as candidate-state transitions and live artifact updates, to a dedicated runtime. Its execution engine exploits GR's short token sequences, large candidate populations, and predictable step shapes to optimize self-attention, candidate selection, and execution planning. RecoGEM has been deployed for over nine months across our production lines, serving applications with hundreds of millions of users and supporting more than ten GR model families. On our OneModel production workloads, RecoGEM reaches over 1,000 QPS per serving instance with P99 latency below 35 ms and a 2.88$\times$ throughput improvement over representative baselines.
DoorDash나 Uber Eats와 같은 주문형 배달 플랫폼은 전통적인 전자상거래에는 없는 제약을 부과한다. 사용자의 배달 가능 범위를 벗어난 판매자는 단순히 낮은 순위가 되는 것이 아니라 유효하지 않은 후보가 된다. 생성형 검색은 최근 대규모 검색 시스템에서 큰 잠재력을 보였다. 그러나 이를 이러한 환경에 적용하려면 세 가지 과제가 따른다. 첫째, 기존 시맨틱 ID는 지리 정보를 약한 신호로만 인코딩하므로, 도달 가능성은 미분 불가능한 생성 후 강제 절단에만 의존할 수밖에 없다. 둘째, 사용자 선호는 지역과 질의에 따라 크게 달라지므로, 지리 정보와 현재 질의를 조건으로 하지 않고 과거 행동을 집계하면 편향된 관심 추정이 나온다. 셋째, 검색된 후보 집합은 집합 전체의 가치로 평가되지만 자기회귀 학습은 각 시퀀스를 독립적으로 채점하므로, 중복되는 유사 후보를 억제할 집합 수준의 신호가 없다. 이러한 과제를 해결하기 위해 주문형 배달을 위한 통합 생성형 검색 프레임워크 TS-GEAR를 제안한다. (1) Geo-Semantic ID는 판매자 식별자를 지리적 접두사와 시맨틱 접미사로 나누어, 도달 가능성을 사후 필터가 아닌 예측 대상으로 만든다. (2) Query-Geo Target Attention은 실시간 질의와 위치를 이중 타깃으로 사용해 과거 행동을 집계하며, 각 행동 자체의 위치를 어텐션 키에 인코딩한다. (3) GMPO(Group Marginal Policy Optimization)는 GRPO 내에서 중복을 제거한 그룹 보상과 한계 이득(marginal advantage)을 이용해 이득을 재정의함으로써 보조적인 다양성 목적 함수를 피한다. 경량 0.1B 백본으로 온라인에 배포된 TS-GEAR는 타오바오 샹거우의 검색 광고 파이프라인에서 하루 1억 5천만 건 이상의 질의를 처리하며, HitRate와 지리적 유효성 모두에서 최신 생성형 검색 방법들을 일관되게 능가하고, 광고 노출 3.8%, 광고 수익 4.2%의 향상을 달성했다.
Late Chunking은 문서 전체를 인코딩한 후 청크 경계에서 풀링하여, 국소 검색 단위에 문서 맥락을 보존한다. 청크 수준 후속 학습은 맥락 의존적 검색을 개선하지만, 공유된 맥락 때문에 의미적으로 유사한 동일 문서 내 부정 예시를 구별하기 어려워질 수 있다. 우리는 정답 청크와 가장 어려운 이웃 청크 사이의 국소 결정 경계를 연구한다. InSeNT에서 출발하여 InSeNT의 문서 내 그래디언트를 분석하고, 조건부 부정 예시 할당의 엔트로피가 로짓이 고정된 상태에서 스케일링 계수에 따라 단조 감소함을 보인다. 우리는 문서 국소 청크 경계를 보정하기 위한 두 부분으로 이루어진 프레임워크를 제안한다. 첫 번째 구성요소는 문서 내 마진으로부터 판별 스케일을 조정하고, 두 번째 구성요소는 문서 인코딩 중 청크 분할 정보를 어텐션에 노출한다. ConTEB와 NanoBEIR에서의 실험 결과, 제안 모델은 평가된 인코더 설정 전반에서 문맥적 청크 검색을 개선하면서도 경쟁력 있는 구절 수준 검색 품질을 유지한다. 절제 실험은 적응적 스케일링과 청크 인식 라우팅이 각각 수행하는 별개의 역할을 추가로 규명한다.
LLM 광고는 사용자 대화를 바탕으로 광고를 선택하며, 이때 사용자의 필요는 명시적인 제품 검색을 넘어설 수 있다. ChatGPT Ads는 광고주가 무엇을 제공하는지, 누구에게 유용할 수 있는지, 언제 유용할 수 있는지를 설명하는 자연어 문맥 힌트를 제공하도록 허용하며, 이는 다양한 사용자 대화에서 광고 순위를 정하기 위한 추가 정보로 사용된다. 그러나 이러한 힌트를 효과적으로 구성하는 방법은 아직 명확하지 않다. 우리는 주어진 예산 내에서 광고의 순위를 향상시키기 위해 문맥 힌트를 구성하는 문제로서 문맥 힌트 최적화(Context Hint Optimization, CHO)를 정식화한다. 확립된 마케팅 프레임워크에 기반하여, 무엇(What), 누구(Who), 언제(When)를 다루는 일곱 가지 문맥 힌트 생성 전략과 이 일곱 가지 차원을 모두 결합한 통합(Unified) 전략을 개발한다. 우리는 CHO-Bench를 소개하고, 임베딩 기반 및 LLM 기반 랭커를 사용하여 다섯 개의 데이터셋에서 119만 건이 넘는 쌍대 평가를 수행한다. 실험 결과, 문맥 힌트는 평가된 오프라인 랭커에서 광고 순위를 향상시킨다. 개별 전략은 비슷한 평균 향상을 보이고 통합 전략이 일관된 이점을 제공하지는 않지만, 특정한 생성-랭킹 구성에서는 전략 간 차이가 더 두드러지며, 임베딩 기반 랭커와 LLM 기반 랭커는 서로 다른 정보 차원을 선호한다. 힌트 예산을 늘리면 순위가 추가로 향상되지만 한계 이득은 감소한다. 이러한 결과는 LLM 광고에서 광고 측 순위 최적화를 연구하기 위한 오프라인 벤치마크를 확립하며, 모델별 힌트 선택과 예산을 고려한 생성 및 집계의 기회를 부각한다.
생성형 추천 모델은 아이템을 시맨틱 ID라고 불리는 이산 토큰의 시퀀스로 표현한다. 기존 접근법은 잔차 또는 계층적 벡터 양자화를 사용해 이러한 식별자를 도출하며, 토큰이 양자화 수준에 걸쳐 독립적인 의미를 가진다고 가정한다. 이 가정을 재검토하여, 본 논문은 시맨틱 ID가 각 토큰의 의미가 그 접두부에 조건화되는 계층적 경로처럼 동작해야 한다고 주장한다. 이는 기존의 고정 코드북 양자화와 생성형 추천기가 암묵적으로 학습하는 계층 구조 사이의 불일치를 부각한다. 이러한 통찰에 기반하여, 트리 구조 내의 경로로 시맨틱 ID를 구성하는 하향식 분할 군집화 방법인 적응형 실루엣 트리(Adaptive Silhouette Tree, AST)를 제안한다. 고정된 분기 계수를 사용하는 기존 방법과 달리, AST는 실루엣 계수를 최대화하여 각 노드의 분기 수를 동적으로 결정함으로써 밀집 영역에서는 더 세밀한 분할을, 균질한 영역에서는 간결한 그룹화를 가능하게 한다. 또한 롱테일 아이템에 대한 지도를 개선하기 위해 분할 시 최소 확률 질량을 강제하는 제약 변형을 추가로 도입한다. 크기와 도메인이 다양한 다섯 개의 Amazon Review 데이터셋에서 수행한 광범위한 실험은 AST가 강력한 기준선을 유의하게 능가함을 보여준다. 이러한 결과는 시맨틱 ID 구성을 생성형 추천기의 고유한 계층 구조에 정렬하면 더 효과적인 추천으로 이어짐을 입증한다.
밀집 검색기는 질의의 의미적 명세에 부합하는 문단을 선택하도록 만들어졌다. 본 연구는 이들이 정답 기반 검색 편향을 겪는다는 것을 보인다. 즉, 유효한 대체 정답을 뒷받침하는 문단보다 모델이 알고 있는(가능성이 높다고 점수를 매기는) 정답 객체를 언급하는 문단을 선호한다. 이를 LAMA/TREx의 통제된 사실 대조를 통해 시험한다. 각 검색기에 대해 토큰 예측 헤드를 사용하여 모델이 대체 객체보다 정규 객체에 얼마나 높은 점수를 부여하는지를 측정하고, 이 점수가 문단 순위를 예측하는지 확인한다. DPR, Spider 변형, Contriever, E5, Qwen3-Embedding을 포함한 여덟 개의 검색기 전반에서, 토큰 예측 점수가 클수록 해당 객체를 포함하는 문단의 검색 점수가 일관되게 더 높게 예측된다. 이는 문단이 정답 객체에서만 다른 경우에도 성립하며, 높은 점수의 객체를 언급하는 문단이 잘못된 관계를 표현하는 경우에도 성립한다. 따라서 밀집 검색은 문단 선택 과정에서 정답 기반 검색 편향을 나타내며, 어떤 증거가 검색되는지에 영향을 준다.
인터넷이 널리 사용되면서 추천 시스템은 더욱 중요해졌다. 정보의 양이 많아 사용자가 정말로 필요한 것을 찾기 어렵다. 그러나 사용자의 선호는 나이와 소셜 네트워크의 영향으로 시간이 지남에 따라 변할 수 있다. 추천 시스템은 사용자의 선호를 포착하여 적합한 항목을 추천해야 하는데, 이는 어려운 과제이다. 본 연구는 사용자의 변화하는 선호에 적응하는 새로운 추천 시스템을 제안한다. 사용자의 변화하는 선호를 학습하고 이에 적응함으로써 더 나은 추천을 제공한다. 본 연구는 사용자의 선호를 더 정밀하게 모델링하기 위해 맥락 요인을 추가 정보로 사용한다. 제안하는 추천 시스템에서 맥락은 정의된 각 시간 구간 내에서 사용자가 상호작용한 항목에 기반한다. 본 연구는 추천 시스템을 위한 두 가지 새로운 어텐션 메커니즘을 제안한다. 맥락 항목 어텐션 모듈은 맥락 정보, 사용자 선호의 변화 패턴, 항목의 중요도를 포착한다. 멀티헤드 어텐션 모듈은 사용자 선호의 다양성을 확장하고 변화하는 선호에 적응한다. 항목의 시간 정보를 추가로 사용하여 맥락 항목의 표현을 모델링함으로써 추천 성능이 향상된다. 실험에서는 세 가지 실제 데이터셋을 사용하여 제안한 알고리즘을 여러 최신 추천 방법과 비교한다. 실험 결과는 제안한 맥락 인식 추천 모델이 기존 방법보다 우수하며, 어텐션 메커니즘이 맥락 정보를 효과적으로 포착함을 보여 준다.
인도 지식 체계(IKS) 컬렉션에서 관련 증거는 운문, 번역, 주석을 포함해 한 저작의 여러 부분에 걸친 구절들에 분산되어 있을 수 있다. 이를 찾으려면 자연어 질문과 부분적으로 기억된 운문 조각을 원문 구절에 대응시켜야 한다. 우리는 하이브리드 검색, 장(章) 및 책 수준의 엔티티 노트(EN), 퍼지 운문 검색(FVR), 신경 재순위화를 결합한 검색 엔진 Dhara를 제시한다. Dhara Bench의 325개 질문에 대한 다섯 가지 비교는 BM25 대비 검색 표현, EN의 기여, 재순위기의 품질과 연산 시간, FVR, 그리고 Gemini를 검토한다. BGE-M3 단일 벡터 검색은 모든 범주에서 nDCG@10, Recall@20, MRR@20 측면에서 BM25를 능가한다. 그 점수는 ColBERTv2와 대체로 비슷하며, 동일한 하드웨어 구성에서 평균 검색 시간은 각각 0.108초와 0.962초이고 디스크의 청크 저장 메모리 사용량은 더 작다. 후보 수를 맞춘 직접 분기에 EN을 추가하면 Qwen에서는 열두 개 범주 모두, BGE에서는 열 개 범주에서 nDCG@10이 향상되며, 결합 순위는 동일한 후보 수로 제한된다. Qwen은 모든 범주에서 BGE보다 nDCG@10, Precision@5, MRR@20이 향상되지만, 전체 추정 직렬 연산 시간은 약 6.72배이다. FVR은 어느 재순위기를 쓰더라도 운문 범주의 nDCG@10을 약 20%p 높인다. Gemini는 관련성 주석이 보이는 상태에서 원문 매핑과 수동 검토를 거친 뒤 평가된다. EN과 FVR을 갖춘 Qwen 파이프라인은 열 개 범주에서 Gemini보다 Recall@20이 높고 다중 홉 질문에서 더 강한 완전 증거 검색을 보이는 반면, Gemini는 여러 범주에서 초기 관련성 우위를 유지한다. 이 결과는 증거 요구 사항과 자원 예산에 따른 검색 선택에 시사점을 제공한다.
전자상거래 카탈로그는 점차 레이크하우스 테이블, 즉 객체 스토리지의 Parquet 파일 위에 놓인 Apache Iceberg 메타데이터 형태로 존재한다. 그러나 상품 검색은 여전히 이 카탈로그의 사본 위에서 실행되며, 어휘 엔진과 벡터 데이터베이스가 각각 별도의 수집 파이프라인, 스키마, 데이터 지연 구간, 비용을 가진다. 본 논문은 레이크하우스 테이블을 단일 기록 시스템으로 두고 검색 애플리케이션을 데이터 레이크 위에서 직접 호스팅할 수 있음을 보인다. 이미 Iceberg 테이블을 제자리에서 제공하는 실시간 OLAP 엔진인 Apache Pinot을 확장하여, Lucene 텍스트 인덱스 위의 BM25 관련도 점수, 파일 간 점수를 비교할 수 있도록 하는 말뭉치 전체 용어 통계, 그리고 일반 SQL에서의 역순위 융합(reciprocal rank fusion)을 추가한다. 스트림으로 공급되는 실시간 테이블도 동일한 테이블 뒤에 두고 브로커가 병합할 수 있다. Amazon ESCI 벤치마크(미국 상품 120만 개, 테스트 질의 22,458개)에서 레이크에서 제공하는 하이브리드 검색은 정확 검색과 동등한 성능(nDCG@10 .361)을 보인다. 레이크 테이블은 파일 등록 149초 후에 질의할 수 있고, 레이크 커밋은 3.8초 안에 검색 가능해지며, 이는 검색 엔진에 직접 색인하는 경우에 근접한 수준이다. 브랜드 기준으로 정렬된 상품 2억 7,700만 개(0.8 TB)의 레이크에서, 16-vCPU 노드 하나는 브랜드 범위 벡터 검색, BM25 검색, 클라이언트 융합 하이브리드 검색에 6.5-9 ms(p50)로 응답하고, p99 180 ms 미만에서 초당 벡터 검색 1,100건과 BM25 검색 635건을 처리하며, 커밋을 4.3초 안에 검색 가능하게 한다. 검색은 자체 인덱스만 추가한다. 카탈로그 사본, 동기화 파이프라인, 두 번째 스키마가 필요 없으므로 저장 공간, 재구축 시간, 사본 일관성 유지를 위한 운영 작업이 줄어든다.
대규모 언어 모델과 시맨틱 ID(SID)의 발전으로 생성형 검색(GR)이 산업 응용에 도입되었다. 이러한 시스템은 관련성 요구뿐 아니라 요청 메타데이터 제약을 만족하는 항목을 반환해야 한다. 카탈로그 트라이는 SID의 유효성을 보장하지만, 생성 이후에야 메타데이터를 필터링하면 거부된 후보에 연산이 낭비되고 적격 결과가 너무 적게 남을 수 있다. 우리는 빔 선택 이전에 메타데이터 제약을 반영하는 RoutingTrie를 제안한다. RoutingTrie는 하나의 공유 SID 트라이를 유지하고, Dense Bitset 또는 Sparse List를 사용하여 각 메타데이터 필드에 대한 간결한 인덱스를 구축한다. 서로 다른 필드 분포에 대해 이러한 인덱스 표현 중 하나를 선택하는 기준이 되는 저장 비용 공식을 도출한다. 디코딩 중에 필드 프로브는 요청된 값이 후보 간선 아래에 존재하는지 판단하고, 빔 선택을 안내하는 결합 마스크를 생성한다. 구성 가능한 합성 벤치마크인 ShopTrie에서의 실험은 다양한 메타데이터 분포에 걸쳐 간결한 저장과 효율적인 CPU 및 GPU 프로빙을 보여준다. 프로덕션 재생 실험에서 RoutingTrie는 지연 시간을 1.1 ms만 늘리면서 Hit@100을 67.5\%에서 96.1\%로, 즉 28.6%p 높인다. 재현성을 지원하기 위해 ShopTrie 생성기, 벤치마크 스크립트, RoutingTrie의 CPU 및 Triton GPU 구현을 공개할 예정이다.
클릭률(CTR) 예측은 추천 및 광고 시스템의 핵심 구성 요소이다. 대규모 언어 모델(LLM)은 풍부한 의미적 사전 지식을 제공하여, 특히 콜드 스타트 및 롱테일 환경에서 예측 품질을 향상시킨다. 그러나 전체 규모의 LLM을 CTR 파이프라인에 주입하는 것은 추론 시점에 비용이 지나치게 크다. 기존의 LLM 강화 CTR 방법은 LLM을 온라인으로 서빙하는 대신 LLM 출력을 오프라인으로 캐싱하여 이 비용을 피한다. 우리는 온라인 LLM 기반 의미 모델링을 실용적으로 만드는 자원 효율적 파이프라인인 SlimFM을 제안한다. (1) 의존성 인식 구조적 가지치기로 LLaMA3-8B를 44% 압축하여 45억 매개변수 백본으로 만든다. (2) LoRA 기반 필드 인식 미세조정으로 가지치기된 모델이 가벼운 텍스트 프롬프트로부터 변별력 있는 필드 수준 의미 임베딩을 생성하도록 학습시킨다. (3) 의미 기반 융합 모듈이 이러한 임베딩을 기존 CTR 모델의 특징 상호작용에 주입한다. 네 가지 데이터셋과 여섯 가지 CTR 백본에 걸쳐 SlimFM은 압축하지 않은 모델 정확도의 99% 이상을 유지하면서, 기존 LLM 강화 기준선 대비 추론 지연 시간을 최대 3.4배 줄인다.
신뢰할 수 있는 함수 호출을 위해서는 대규모 언어 모델(LLM)이 적절한 함수를 선택하고 사용자 의도에 부합하는 인자를 생성해야 한다. 그러나 구문상 유효한 호출이라도 부적절한 함수 선택이나 일치하지 않는 인자로 인해 의미상 잘못될 수 있다. 본 논문에서는 로컬 스키마 검증과, 함수 선택 및 인자 정확성에 대한 별도의 의사결정 모델 검증을 결합한 프레임워크인 의사결정 모델 기반 함수 호출(Decision-Model-Guided Function Calling, DM-Call)을 제안한다. 거부된 후보에 대해 DM-Call은 시도 전반에 걸쳐 검증 확률, 이진 판정, 스키마 오류를 누적한다. 또한 수치 확률과 언어적 정답 레이블을 결합한 하이브리드 피드백 표현을 통해 외부 도구를 실행하지 않고도 반복적 개선을 유도한다. BFCL과 API-Bank(첫 호출)에 걸친 광범위한 평가에서 DM-Call은 약간의 추가 비용만으로 직접 생성 대비 함수 호출 정확도를 향상시킴을 보인다.
약물 추천은 환자별 치료 근거와 처방의 상호작용 구조를 함께 고려해야 한다. 핵심 과제는 각 약물을 뒷받침하는 근거가 무엇인지, 그리고 예측 품질을 유지하면서 상호작용을 얼마나 강하게 정규화할지를 결정하는 것이다. 본 논문은 임상 근거 기반 잔차 학습 프레임워크인 EviDrug를 제안한다. 이 프레임워크의 임상 메모리 백본은 자기 지도 방식으로 학습된 방문 인식 인코더, 학습 사례 메모리, 그리고 하나의 약물 집합 상호작용 블록을 통합하여 환자별 처방을 구성한다. 게이트 기반 정제 헤드는 백본 상태를 임상적 연관성 및 이력에 조건화된 약물 식별 정보와 결합하여 제한된 로짓 보정을 수행한다. 약물-약물 상호작용(DDI) 피드백은 학습 질의 예측을 이용하여 정규화 강도를 조정한다. MIMIC-IV, NWICU, SICdb 전반에서 EviDrug는 발표된 12개 기준 방법을 AP, F1, Jaccard 지표에서 앞서며, 가장 강력한 비교 대상 대비 AP를 각각 2.26, 2.06, 1.71 퍼센트포인트 향상시킨다. 이러한 성능 향상은 MetaDrug보다 낮은 파라미터 및 실행 시간 비용으로 달성된다. 대응 대조 실험은 예측 품질을 안정적으로 유지하면서 DDI가 감소함을 보여준다. 코드는 https://github.com/LIZESHENG13/EviDrug 에서 확인할 수 있다.