밀집 검색기는 언어 모델(LM)을 보강하기 위해 외부의 전문 지식에 접근하는 데 중요한 역할을 한다. 밀집 검색기를 학습하려면 일반적으로 주석이 달린 질의-문서 쌍이 필요한데, 이는 만드는 데 비용이 많이 들고 코드와 같은 전문 분야나 추론이 필요한 복잡한 환경에서는 구하기 어렵다. 이러한 현실적 어려움으로 자기지도 검색기 학습에 대한 관심이 커지고 있다. LM은 자기지도 학습 목표(즉, 다음 토큰 예측)를 통해 토큰 수준의 의존성을 포착하도록 학습되므로, 검색 역시 토큰 덩어리 사이의 의존성을 학습하는 것으로 유추하여 볼 수 있다. 이러한 유추는 자연스럽게 다음 질문으로 이어진다. 언어 모델링의 정신에 따른 자기지도 학습 목표를 검색기 학습에 어떻게 적용할 수 있는가? 이에 답하기 위해 우리는 언어 모델링을 통한 자기지도 검색기 학습을 위한 통합적이고 확장 가능한 학습 프레임워크인 Revela를 소개한다. Revela는 배치 내 어텐션 메커니즘을 통해 다음 토큰 예측을 국소 문맥과 문서 간 문맥에 조건화함으로써 문서 간의 의미적 의존성을 모델링한다. 이 어텐션은 검색기가 계산한 유사도 점수로 가중되며, 이를 통해 검색기가 언어 모델링의 일부로서 최적화될 수 있다. 우리는 다양한 검색기 백본에 대해 도메인 특화(CoIR), 추론 집약적(BRIGHT), 일반 도메인(BEIR) 벤치마크에서 Revela를 평가한다. 주석이 달리거나 합성된 질의-문서 쌍 없이도 Revela는 CoIR와 BRIGHT 모두에서 더 큰 지도 학습 모델과 상용 API를 능가한다. 또한 약 1000배 적은 학습 데이터와 10배 적은 연산량으로 BEIR의 비지도 최고 성능(SoTA)을 달성한다. 성능은 배치 크기와 모델 크기에 따라 향상되며, 이는 Revela의 확장성과 자기지도 검색기 학습에서의 가능성을 보여 준다.
벡터 인덱스의 기반이 되는 임베딩 모델을 업그레이드하려면 말뭉치를 재인코딩해야 한다. 최근 연구들은 어댑터나 윈도우 재순위화를 통해 기존 인덱스를 재사용한다. 본 연구는 문단 및 코드 말뭉치에서 16개의 모델 쌍, 그리고 Natural Questions(NQ)에서 11개의 모델 쌍을 대상으로 세 가지 결과를 확인하였다. 첫째, 재사용은 재인코딩을 결코 피하지 못한다. 마이그레이션이 완료되어야 한다면 모든 전략은 결국 모든 문서를 인코딩하며, 재사용은 그 작업 비용이 지불되는 시점과 그동안 제공되는 품질만을 바꾼다. 둘째, 어댑터는 새 모델뿐 아니라 기존 모델과도 비교되어야 한다. 다섯 가지 어댑터 변형 중 같은 계열의 LLM 브리지만이 기존 모델을 능가했으며, 그 차이도 미미하다. 셋째, 윈도우 재순위화 비용은 기존 인덱스만으로 산정할 수 있다. 8,841,823개 전체 문단에 대한 사전 등록된 재현 실험은 시험한 세 쌍 모두에서 이 예측을 확인하였다. 워크로드 편향도 중요하다. 사전 등록된 36회의 추가 Zipf 재현 실험에서 계획된 전략 계열은 32회에서 일치하였다. 이러한 결과로부터 마이그레이션 전 규칙 세 가지, 즉 재사용이 가치가 있는지, 어떤 전략을 쓸지, 윈도우를 얼마나 깊게 잡을지에 대한 규칙이 도출된다. 깊이 규칙은 목표 품질에 도달한 모든 윈도우의 비용을 말뭉치의 10^5분의 4 이내로 산정하였다. NQ에서는 사전에 확정한 계획이 11개 쌍 중 10개에서 전략 계열을 선택하였고 모든 윈도우의 비용을 정확히 산정하였다. 품질 입력값은 말뭉치 규모에 걸쳐 덜 안정적으로 전이되므로, 모델 격차와 윈도우 품질 손실은 서비스 중인 인덱스에서 측정해야 한다.
Screen history can serve as searchable visual memory for people and agents, but unlike an offline corpus, it must be encoded and indexed as each screenshot arrives. OCR-based indexing is fast but loses visual information; visual encoding takes over two seconds. Yet screens change incrementally: most pixels repeat within and across screenshots. This raises a question: do visual encoders need to recompute their representations from scratch for every new screenshot? We present StreamEmbed, a system for incremental visual embedding that exploits this redundancy. Guided solely by pixel differences, it combines spatial token pruning, which skips blocks that repeat a neighbor, with temporal KV reuse, which reuses cached keys and values for blocks unchanged across screenshots. A small learned adapter compensates for pruning and reuse to preserve fidelity to full-screenshot embeddings. On ScreenMemEval, our benchmark of 10,426 questions over 184 hours of screen histories from two humans and a computer-use agent, StreamEmbed sets a new accuracy-latency Pareto frontier on an M2 Pro GPU: it encodes up to 3.7x faster than full-screenshot encoding without sacrificing accuracy and improves accuracy over OCR-based indexing by up to 6.3 Recall@10 points at matched latency. A memory-efficient vector index stores a simulated year of screenshots in 0.13 GB of RAM. Together, these results make real-time indexing of screen history in its native visual form practical, laying a foundation for fully local visual assistants.
본 논문은 일반 소비자용 하드웨어에서 서사 읽기를 위한 맥락적 동반자로 기능하도록 설계된 프라이버시 보호형 오프라인 진행 인식 AI 어시스턴트인 MeReader를 소개한다. 문서나 책을 온라인에서 전체 텍스트를 한꺼번에 처리하여 줄거리 누설의 위험이 있는 기존 대규모 언어 모델(LLM) 기반 시스템과 달리, MeReader는 검색과 생성을 모두 독자가 위치한 텍스트 지점으로 한정한다. 이 시스템은 벡터 유사도, BM25, 요약 임베딩을 결합한 하이브리드 검색 아키텍처를 통합하여 독자의 현재 맥락에 대한 높은 충실도를 보장한다. 고전 영어 도서를 대상으로 정량적 이해도 지표와 정성적인 LLM 기반 독립 평가를 모두 사용하여 시스템을 평가한다. 결과는 품질-지연 시간 경계를 보여 주며, 중간 규모의 로컬 모델(2b-4b)이 더 큰 모델(5b+)과 동등한 이해도를 달성하면서도 허용 가능한 응답 품질을 유지할 수 있음을 나타낸다. 중요하게도, 제안한 진행 인식 경계 메커니즘은 검색 품질과 정확성을 해치지 않으면서 미래 내용의 누설을 방지하는 것으로 확인된다. 이러한 결과는 로컬화되고 프라이버시 중심인 접근 방식이 디지털 독서 경험을 대체하는 것이 아니라 보강할 수 있으며, 클라우드 의존형 서비스의 좋은 대안이 됨을 시사한다. 그럼에도 진행 인식, 프라이버시 보호, 서사형 전자책 읽기를 AI 지원과 결합한 통합 시스템은 여전히 부족하다. MeReader의 개발은 바로 이 공백에서 출발했으며, 이러한 요소들을 종합하여 서사의 연속성이나 사용자 프라이버시를 해치지 않고 이해도를 높이는 데 집중한 오프라인의 책 범위 제한형 어시스턴트로 구현했다.
생성형 추천은 긴 상호작용 이력으로부터 이득을 얻지만, 이를 직접 처리하는 비용은 이력 길이에 따라 증가한다. 본 논문은 공간 불변성, 의미 충실성, 평생 진화 가능성이라는 세 가지 요건을 바탕으로 한 순환 메모리 압축 프레임워크 RecMem을 제안한다. RecMem은 하위 계층을 공유하는 분기형 인코더-디코더와 슬롯별 망각 게이트 갱신을 사용하여 과거 구간을 고정된 개수의 메모리 슬롯으로 압축한다. 추천 지도 학습은 메모리가 예측 정보를 보존하도록 학습시키며, 스트림 일관성 학습은 순차 처리와 패킹 처리에서 나온 예측을 정렬한다. 구성상 메모리 상태와 디코더 컨텍스트는 이력 길이와 무관하다. 수축성과 근사 반군 일관성 하에서, 이 두 처리 순서 사이의 상태 불일치에 대해 이력 범위와 무관한 상계도 도출한다. MerRec에서 RecMem은 16개의 메모리 슬롯과 216 토큰의 디코더 컨텍스트를 사용하는데, 이는 HSTU-1200의 1,200 토큰과 비교되며, HSTU-1200의 Recall@10의 87.9%와 Recall@200의 97.0%를 유지한다. RecMem은 PHSTU와 평가된 최근 이력 전용 및 검색 기반 기준선을 능가하며, 먼 과거 이력에 대한 분석은 보관된 상호작용이 예측 신호에 기여함을 보여준다.
게임 산업의 급속한 팽창은 역동적인 환경에 맞춘 고도화된 추천 시스템을 요구한다. 기존의 그래프 신경망(GNN) 기반 방법은 주로 다양성보다 정확도를 우선시하여 둘 사이의 본질적인 상충 관계를 간과한다. 이를 해결하기 위해 우리는 앞서 균형 지향적 게임 추천 시스템인 CPGRec을 제안하였다. 그러나 CPGRec은 플레이어-게임 상호작용 간의 중요한 차이를 고려하지 못한다. 이러한 상호작용은 플레이어의 개인 선호를 반영하는 데 있어 중요도가 서로 다르며, GNN 기반 모델에 내재된 과평활화 문제를 악화시킬 수 있다. 더욱이 기존 접근법은 이러한 한계를 해결하는 데 대규모 언어 모델(LLM)의 추론 능력과 방대한 지식을 충분히 활용하지 못한다. 이러한 간극을 메우기 위해 우리는 두 가지 새로운 모듈을 제안한다. 첫째, 선호 기반 엣지 재가중(PER) 모듈은 부호가 있는 엣지 가중치를 부여하여 플레이어의 유의미한 관심과 무관심을 정성적으로 구분하고, 이어서 선호 강도를 정량적으로 측정하여 그래프 합성곱에서의 과평활화를 완화한다. 둘째, 선호 기반 표현 생성(PRG) 모듈은 전역 관심사와 개인 관심사를 비교하여 개인 선호를 추론함으로써 LLM으로 게임과 플레이어에 대한 맥락화된 설명을 생성하고, 이를 통해 플레이어와 게임의 표현을 정제한다. \textcolor{black}{두 개의 Steam 데이터셋}에 대한 실험은 CPGRec+가 최신 모델보다 정확도와 다양성 모두에서 우수함을 보여 준다. 코드는 https://github.com/HsipingLi/CPGRec-Plus 에서 확인할 수 있다.
AI 응용은 한 모델이 다른 모델이 생성한 출력에 따라 작동하는 방식으로 여러 모델을 점점 더 많이 조합한다. 전달되는 텍스트는 송신 모델의 추론도 담을 수 있다. 사고 연쇄는 이러한 텍스트에 대한 우리의 실험적 사례이다. 우리는 이러한 모델 간 추론 전달에 대해 세 가지 질문을 던진다. 추론은 신뢰할 수 있게 전달되는가? 수신자에게 유용한가? 안전한가? 이 세 질문을 송신자-수신자 설정으로 연구한다. 송신자 LLM이 추론 흔적을 생성하고, 별도의 수신자 LLM이 이에 따라 행동해야 한다. 두 모델은 서로의 정체를 알지 못한다. 따라서 송신자는 특정 수신자에 맞춰 추론을 조정할 수 없다. 신뢰성은 수신자가 송신자가 의도한 결론을 복원하는지를 묻는다. 이를 검증 가능성(Verifiability)으로 측정한다. 유용성은 전달된 추론이 수신자가 자신의 실수를 바로잡는 데 도움이 되는지를 묻는다. 이를 교정 가능성(Correctability)으로 측정한다. 안전성은 전달된 추론이 수신자로 하여금 올바른 답을 버리고 송신자가 제공한 잘못된 추론을 따르게 하는지를 묻는다. 이를 기만성(Deceptiveness)으로 측정한다. 과제, 송신자, 수신자의 세 요인 모두가 우리가 측정한 세 지표 모두에 영향을 미친다. 그러나 흥미로운 경향이 몇 가지 있다. 과제의 성격이 추론 전달의 신뢰성에 더 중요한 요인이다. 신뢰성은 산술 과제에서 더 높고 과학 및 상식 과제에서 더 낮다. 수신자의 성격은 추론 전달의 유용성을 결정하는 데 더 중요한 역할을 한다. 송신자의 성격은 오염된 추론이 수신자에게 해를 끼치는지 여부에 가장 크게 영향을 미친다.
지정된 JSON 스키마를 따르는 출력을 생성하는 것은 현대 대규모 언어 모델의 도구 사용, 구조화된 추출, 지식 베이스 구축의 토대가 된다. 이러한 중요성에도 불구하고, 이 과제를 위한 공개 데이터셋은 규모가 작거나 합성되었거나 텍스트 전용이며, 실제 페이지 콘텐츠를 실무에서 사용되는 프롬프트 및 스키마와 짝지은 경우는 드물다. 우리는 2025년 2~3분기에 옵트아웃 방식의 ScrapeGraphAI 텔레메트리를 통해 수집하고, 900만 건의 원시 이벤트에서 중복 제거 및 스키마별 균형 조정을 거친 93,695건의 스키마 제약 추출 이벤트인 ScrapeGraphAI-100k를 소개한다. 이 코퍼스는 25,453개의 고유 스키마와 15개의 명명된 언어에 걸쳐 있으며, 탐지된 콘텐츠의 89%가 영어이다. 각 인스턴스는 마크다운으로 변환된 페이지 콘텐츠를 프롬프트, 스키마, LLM 응답, 그리고 예제별 jsonschema-rs 구조 적합성 레이블과 짝짓는다. 코퍼스 전반의 구조적 다양성을 규명하고, 스키마 복잡도가 증가할 때 나타나는 급격한 실패 임계값을 확인한다. 사례 연구로서, 이 데이터로 미세조정한 1.7B 학생 모델은 GPT-5-nano 교사 모델의 출력 분포를 근접하게 따르지만, 스키마 준수 면에서는 30B-A3B 기준 모델(활성 매개변수 33억 개)에 여전히 뒤처진다. 이 증류 결과를, 실제 실무 워크로드에 기반한 대규모 스키마 제약 생성이 기존의 합성 또는 텍스트 전용 코퍼스로는 지원할 수 없었던 학습과 벤치마킹을 가능하게 한다는 예비적 증거로 제시한다. ScrapeGraphAI-100k는 HuggingFace에 공개되어 있다.
이종 네트워크에서의 그래프 이상 탐지(GAD)는 노드 및 엣지 이종성으로 인해 고유한 과제를 제시한다. 기존 그래프 신경망(GNN) 방법은 주로 동종 GAD에 초점을 맞추므로 다음 세 가지 핵심 문제를 해결하지 못한다: (C1) 다양한 메타패스(meta-path) 전반에 걸친 비정상 신호와 풍부한 의미론 포착; (C2) 이종 정보 네트워크(HIN) 차원 정렬에서 고주파(high-frequency) 내용 보존; (C3) 클래스 불균형(class imbalance) 하에서 어려운 이상 샘플로부터 효과적으로 학습. 이를 극복하기 위해, 우리는 다양한 도메인에서 웨이블릿의 효과에서 영감을 받은 새로운 카이제곱 필터를 기반으로 한 스펙트럴 GNN 프레임워크인 ChiGAD를 제안한다. 구체적으로 ChiGAD는 (1) 다중 그래프 카이제곱 필터(Multi-Graph Chi-Square Filter)로, 각 메타패스 그래프에 전용 카이제곱 필터를 적용하여 이상 정보를 포착하고; (2) 상호작용형 메타-그래프 합성곱(Interactive Meta-Graph Convolution)으로, 고주파 정보를 보존하면서 특징을 정렬하고 통합 카이제곱 필터로 이종 메시지를 통합하며; (3) 기여도 기반 교차 엔트로피 손실(Contribution-Informed Cross-Entropy Loss)로, 클래스 불균형을 해결하기 위해 어려운 이상을 우선시한다. 공개 및 산업 데이터셋에 대한 광범위한 실험 결과, ChiGAD는 여러 지표에서 최신(state-of-the-art) 모델을 능가한다. 또한 동종 변형인 ChiGNN은 7개 GAD 데이터셋에서 우수한 성능을 보여 카이제곱 필터의 효과를 검증한다. 코드는 https://github.com/HsipingLi/ChiGAD 에서 이용할 수 있다.
에이전트가 효과적으로 행동하려면 "지난 프로젝트 회의에서 무엇이 결정되었는가?" 또는 "사내 도구에 대한 FAQ는 어디에 있는가?"와 같은 질문에 답하기 위해 채팅, 이슈 트래커, 이메일, 지식 베이스 등 여러 리소스에 걸쳐 맥락 정보를 수집해야 한다. 이러한 정보가 사용자 환경의 어디에 있는지는 에이전트에게 알려져 있지 않으므로, 에이전트는 연속된 상호작용에서 동일한 리소스를 반복해서 탐색한다. 일반적인 라우팅 방식은 각 리소스를 하나의 도구로 표현하고, 처음 보는 환경으로 일반화하기 위해 상위 수준의 설명에 의존한다. 이러한 설명은 유사하거나 겹치는 리소스를 구분하지 못하는 경우가 많으며, 에이전트의 이후 상호작용으로부터 개선될 수도 없다. 본 논문은 하위 에이전트가 인용한 문서를 관련 정보가 있는 위치에 대한 피드백으로 사용하는 적응형 라우터인 Wayfinder를 제안한다. 이러한 인용은 Wayfinder의 내부 리소스 표현을 갱신하며, 이후 상호작용에서는 이 표현을 사용해 관련 정보를 담고 있을 가능성이 높은 리소스에 우선순위를 둔다. 또한 오프라인 강화학습 중 리소스의 식별 정보를 익명화하고 순열화하여, 어떤 리소스가 어떤 주제를 담고 있는지에 대한 학습 시점의 과적합을 억제하는 리소스 증강을 도입한다. 어블레이션 결과는 학습 환경이 적을 때 이 방법이 가장 큰 도움이 됨을 시사한다. 현실적인 질의와 리소스 접근 패턴을 함께 제공하는 공개 전문 환경이 없으므로, 기존 데이터셋인 NFCorpus, FEVER, Tech Startup으로부터 통제된 테스트베드 세 개를 구축하여 공개한다. 공통의 폐쇄 루프 프로토콜에서 지도학습, 도구 검색, 문맥적 밴딧 기준선과 비교한 결과, Wayfinder는 정적 설명으로 구분할 수 없는 의미적으로 중복되는 내용을 리소스가 포함할 때 가장 우수한 라우팅 성능을 보였으며, 리소스가 서로 다른 코퍼스에서 추출된 경우에는 설명 기반 도구 검색만으로도 충분하였다.
위성 군집은 이제 매일 지구를 촬영하며, 삼림 벌채부터 도시 건설에 이르는 이벤트의 전 과정을 포착한다. 이러한 이벤트를 완료 이전에 예측하면 시의적절한 개입이 가능하지만, 기존 시스템은 개방 어휘에 걸쳐 변화가 어디에서 발생하는지, 무엇이 될 것인지, 언제 끝날 것인지를 함께 식별하지 못한다. 이러한 모델을 구축하려면 다양한 이벤트 데이터가 필요하지만, 이벤트는 건초더미 속의 바늘과 같아서 전 지구 규모의 수작업 주석은 불가능하다. 본 논문은 변화를 서로 다른 시점의 비전-언어 모델 임베딩 간 벡터 차이로 표현하여 이 문제를 해결한다. 이러한 산술적 접근은 잠재 공간에서 의미적 변환을 직접 탐색할 수 있게 하며, 이를 통해 (1) 수작업 주석 없는 전 지구 이벤트 발견용 자동 데이터 엔진과 (2) 우리가 아는 한 최대 규모의 전 지구 위성 이벤트 데이터셋을 구축하고, 이를 이용해 (3) 새로운 전 지구 규모 이벤트 예측 모델을 학습한다. 이 데이터셋은 6개 대륙에 걸쳐 PlanetScope와 Sentinel-2에서 얻은 약 200만 장의 이미지로, 64개 이상의 이벤트 유형에 걸친 21,000개 이상의 위치로 구성된다. 본 모델은 최대 F1 점수 93.5%로 변화를 탐지하고, 예측 이벤트 검색에서 기준선보다 3.6배 우수한 성능을 보이며, 완료 9개월 전에도 중앙값 3일의 오차로 완료일을 예측한다. 코드: https://github.com/ShreelekhaR/predicting-the-needle
문화유산 유적지는 센서 네트워크로 점점 더 많이 모니터링되고 있지만, 그 데이터를 질의하려면 데이터베이스 전문 지식이 필요하다. 대규모 언어 모델(LLM)은 자연어 인터페이스를 제공하지만, 원시 센서 기록에 대해서는 각 값이 어떤 센서, 유적지, 시간에 속하는지를 놓치고 조용히 잘못 계산한다. 본 논문은 LLM을 질문 해석과 답변 표현에 한정하고 계산은 SPARQL과 결정론적 코드에 맡기는 지식 그래프 질의응답 방법인 HeriKGQA를 제시한다. 질문은 W3C SOSA/SSN과 CIDOC-CRM을 정렬한 문화유산 온톨로지로 제약된 의도로 파싱되어 SPARQL로 컴파일되며, 질의 결과와 그라운딩 계층이 도출한 시간적, 공간적, 이상(anomaly) 사실로부터 답변이 생성되고, 각 LLM 단계는 오류 정정으로 보호된다. 다섯 곳의 문화유산 유적지의 실제 데이터에 대한 500개 질문에서 HeriKGQA는 99.0%의 정확도를 달성하였으며, 이는 동일한 LLM을 사용하고 동일한 이상 규칙과 답변 규약을 제공받은 세 기준선 중 가장 강한 것보다 18.2%p 높고, 답변 품질은 비슷하면서 속도는 거의 네 배 빠르다. 그라운딩이 없으면 정확도가 12.2%p 하락하며, 이상 질문에서는 99%에서 66%로 떨어진다. 개발 과정과 실제 배포에서 얻은 교훈도 함께 보고한다.
계약서, 기술 매뉴얼, 온라인 커뮤니티에서는 흔히 익숙한 단어에 특별한 의미를 부여하고 이를 한 곳에서 정의한다. 해당 정의 없이 글을 읽는 언어 모델은 통상적인 의미를 사용하여 그럴듯하게 들리지만 틀린 답을 내놓을 수 있다. 본 논문은 정답이 지역 정의에 좌우되는 객관식 문항으로 이 문제를 연구한다. 문항은 합성 어휘, 상업 계약서, Reddit 커뮤니티 용어집, 탈중앙화 거래소 문서에서 가져왔다. 세 언어 모델에 각 문항을 정의가 있는 경우와 없는 경우로 묻는다. 이후 정답 키를 사용하지 않고, 모델의 반복된 답변과 진술된 확신도가 모델 자신의 오류를 드러내는지 검증한다. 별도로, 작은 오픈 모델에 정답 키를 제공하고 더 큰 모델이 어떤 문항을 틀릴지 예측할 수 있는지 검증한다. 세 가지 결과를 보고한다. (1) 출처가 재정의한 익숙한 단어가 가장 많은 오류를 일으킨다. 모델은 같은 오답을 반복하는 경우가 많으며, 반복된 답변이나 진술된 확신도 모두 이를 안정적으로 알려 주지 못한다. (2) 출처의 정의는 합성 문항의 대부분의 오류를 바로잡지만, 모델 자체의 사전 지식에서 가져온 정의는 그렇지 못하다. 실제 계약서에서는 출처의 정의가 오류의 약 절반만 바로잡는다. (3) 정답 키가 주어지면 작은 모델은 더 큰 모델이 틀릴 가능성에 따라 문항의 순위를 매길 수 있다. 이러한 결과는 지역 정의를 포함한 전체 출처에 대조하여 답을 검증하는 테스트가 필요함을 시사한다.
LLM 기반 추천 에이전트는 카탈로그를 검색하고, 상품을 살펴보고, 사용자에게 질문하고, 거절된 추천을 수정할 수 있다. 그러나 이러한 행동은 수작업으로 설계된 워크플로에 의해 좌우되는 경우가 많고, 기존 학습 방법은 상호작용 정책 전체가 아니라 쿼리 재작성이나 목록 순위화 같은 개별 구성 요소를 최적화한다. 본 논문은 도구가 통합된 추천 에이전트의 전체 상호작용 정책을 학습하는 강화학습 프레임워크인 SimRec을 제시한다. SimRec은 두 가지 구성 요소를 도입한다. 과제 고정형 사용자 시뮬레이터는 모든 추천에 대해 피드백을 제공하며, 사용자 프로필이 아니라 현재 과제의 필요에 조건화되고, 외부 LLM이거나 셀프 플레이 하의 추천기 자신일 수 있다. 과제 정렬 보상은 GRPO로 전체 궤적을 최적화하며, 최종 적중과 함께 자연스러운 검색 품질과 유효한 도구 사용을 보상하고, 대규모 카탈로그에서의 희소한 적중을 다루기 위해 학습 시에만 목표 주입을 사용한다. ESCI와 Amazon C4에서 SimRec은 Qwen3-4B 에이전트의 NDCG@100을 32.23%에서 35.42%로, 22.94%에서 24.72%로 향상시키며, 훨씬 큰 백본 위의 학습 불필요 에이전트와 NDCG 기준의 과제 정렬 기준 모델을 능가한다. 분석 결과, 학습된 에이전트는 학습되지 않은 에이전트보다 후보를 검증하고, 선호를 활용하며, 거절된 추천에서 회복하는 빈도가 훨씬 높다. 코드는 https://github.com/ZJU-REAL/SimRec 에서 확인할 수 있다.
시 아카이브를 얼마나 잘 검색할 수 있는지는 모델이 이해하는 내용뿐 아니라 사용자가 여전히 기억하는 내용에도 달려 있다. 본 연구는 고전 아랍어 시를 대상으로 이를 보이며, 두 개의 코퍼스, 세 가지 색인 방식, 두 가지 평가 프로토콜에 걸쳐 아홉 개의 밀집 인코더와 BM25를 벤치마킹한다. 어떤 검색기가 우세한지는 질의가 시의 어휘를 얼마나 담고 있는지에 따라 결정된다. 혀끝에 맴도는(tip-of-the-tongue) 질의에서는 BM25가 대형 다국어 임베딩 모델(Qwen3-Embedding-8B, Recall@5 0.746 대 0.717)을 포함한 모든 밀집 인코더를 앞서지만, 추상적 질의에서는 10개 중 8위로 떨어진다(0.392 대 0.748). 동일한 질의의 어휘를 수정해 보면 이 순위가 대체로 질의 구성을 반영함을 알 수 있다. 기억하는 반 구절 하나를 추가하면 BM25가 38점 상승하고, 인용된 단어를 수작업으로 재작성하면 BM25가 8B 인코더와 대등해지며, 기억된 어휘에 대한 BM25의 민감도는 가장 강력한 밀집 인코더의 민감도보다 유의하게 가파르다. 같은 축이 설명 증강도 좌우하며, 그 효과는 +37점에서 -39점까지 변동한다. 그 메커니즘은 시스템 유형에 따라 나뉜다. 어휘적 포함 관계는 BM25가 설명에 반응하는 방식을 가장 잘 예측하고, 임베딩 근접성은 밀집 인코더의 반응을 가장 잘 예측한다. 마지막으로, 이 분야의 두 표준 프로토콜인 기지 항목 검색(known-item retrieval)과 주제적 관련성은 동일한 시스템에서 서로 분리되며, 이 결과는 두 명의 블라인드 인간 주석자와 두 개의 오픈 가중치 판정 모델에 의해 재현되었고, 그중 하나는 문자 그대로의 일치 기준이 없는 평가 기준표를 사용하였다. 하나의 프로토콜이나 하나의 질의 레지스터만 보고하는 벤치마크는 실질적으로 잘못된 그림을 줄 수 있다. 코드와 데이터는 https://github.com/Ellzo/what-the-query-remembers 에서 이용할 수 있다.
본 논문에서는 문헌 연구, 과학적 코딩 및 다단계 연구 워크플로우를 위해 총 35B(350억) 개 및 활성 3B(30억) 개의 파라미터를 갖춘 오픈 모델(open model)인 SAIL을 소개합니다. SAIL은 과학 인지 개선 루프를 통해 개발되었습니다. 즉, 프론티어 AI 모델 기반의 에이전트들이 작업 실패 사례를 분석하고 근본적인 역량 격차를 해결하는 학습 과제를 구축합니다. 이러한 진단 과정에서는 문헌 작업에서의 검색 및 근거 선택, 코딩에서의 과학적 가정 및 추론, 더 긴 연구 조사에서의 계획 및 수정을 면밀히 검토합니다. 에이전트들은 논문 모음과 과학 코드 저장소를 활용하여 필요한 환경 및 도구를 갖춘 문제, 상호작용 궤적, 실행 가능한 과제를 생성합니다. 우리는 여러 개발 주기에 걸쳐 이 루프를 반복하며 지도 미세조정(supervised fine-tuning), 전문가 학습, 다중 교사 온-정책(on-policy) 증류, 에이전트 강화학습을 통해 SAIL을 학습시킵니다. SAIL은 주요 오픈 가중치 모델보다 훨씬 적은 수의 파라미터만으로도 다양한 과학 연구 작업 전반에서 경쟁력 있는 성능을 달성합니다.
직교 회전은 2비트 Cohere 코드의 거리 순위 상관을 0.75에서 0.91로 향상시키지만, 최근접 이웃 비교의 뒤집힘은 51% 증가시킨다. 본 논문은 그래프 탐색이 수행하는 비교를 통해 양자화를 분석한다. 비교는 양자화 오차가 정확한 마진을 초과할 때에만 바뀌며, 이로부터 아슬아슬한 경우와 큰 오차를 구분하는 뒤집힘 상계를 얻는다. 공유되는 끝점은 상관된 거리 오차를 유발하며, 이 오차는 한 비교 안에서 부분적으로 상쇄된다. 정확한 재생 항등식은 후보 수준의 동작을 이웃 선택의 출력과 연결한다. 가우시안 모델은 좌표 코드 오차를 닫힌 형태로 제시하고, 희귀 스파이크 구성은 모집단 반경 오차의 두꺼운 꼬리를 드러낸다. 홀드아웃 블록은 정확한 마진 또는 양자화된 마진에 기반한 수용 규칙에 대해 모델 비의존 인증서를 제공한다. 24개의 데이터셋-코드 구성에서, 보정으로 추정한 위험도는 홀드아웃 순위 및 가지치기 뒤집힘과 각각 0.97과 0.99의 상관을 보이는데, 마진 대 잡음 요약 지표는 0.91과 0.99, 거리 순위 상관은 0.74와 0.05이다. 20만 벡터 그래프의 쌍을 이룬 구축 실험은 회전, 질의 점수 계산, 위상을 종단 간 재현율 및 탐색 작업량과 연결한다.
호스팅형 검색 증강 생성(RAG)과 의미 검색은 사용자가 제공자가 보유한 가치 있는 코퍼스를 질의할 수 있게 하며, 이는 각 질의와 선택된 결과를 숨기면서도 사용자가 수신할 권한이 있는 문서만 공개해야 한다는 상충하는 두 요구를 낳는다. 기존의 암호학적 접근은 매 질의마다 전체 코퍼스를 처리하여 비용이 크거나, 소수의 클러스터만 스캔하여 효율을 위해 품질을 희생한다. 본 논문은 학습된 딥 해싱을 비공개 필터로 재활용한다. 무작위화된 이진 코드가 제공자에게 짧은 후보 목록을 가리키고, 암호화된 재순위화와 오블리비어스 키 전송이 정확한 질의와 최종 선택을 보호한다. 이 후보 목록은 검색 품질을 희생하지 않고 전체 코퍼스 암호학적 검색을 생략하게 한다. 후보 200~500개로 25K에서 5.4M 문서에 이르는 다섯 개의 제로샷 코퍼스에서 전체 코퍼스 검색에 근접한 성능을 보인다. 10-Gbps 링크에서 268만 개 구절의 NQ 전체 코퍼스에 대해, 본 프로토콜은 128토큰 Qwen3-32B RAG 파이프라인에 0.38초, 즉 6.5%만 추가한다. 공개된 코드는 방향성 메트릭 차분 프라이버시(DP)를 만족하며 임베딩 역추론 및 속성 추론 누출을 크게 줄여, 신중하게 학습된 후보 목록이 비공개 밀집 검색을 정확하면서도 실용적으로 만들 수 있음을 보여 준다.
Hierarchical Navigable Small World(HNSW) 그래프와 같은 그래프 기반 색인은 최근접 이웃 검색을 효율적으로 만들지만, 높은 평균 재현율이 응용의 품질 요구 수준에 미달하는 결과를 내는 질의를 가릴 수 있다. 우리는 보정된 규칙이 초기 그래프 탐색 결과를 수용하면 이를 반환하고, 그렇지 않으면 누락된 이웃을 탐색하는 Certify-then-Rectify(CTR)를 제안한다. 복구 탐색은 기존 그래프와 초기 탐색에서 이미 계산된 거리를 재사용한다. 이 탐색을 어디까지 진행해야 하는지 정하기 위해 그래프 스트레치를 통해 거리 척도 상의 거리와 그래프 경로 길이를 연관시킨다. 우리는 불필요한 작업을 가지치기하는 Metric Bound Verification(MBV)과 함께 Stretch-Bounded Expansion from Query(SBE-Q)를 개발하고, 요구된 재현율에 필요한 참 이웃의 비율까지의 경로로부터 그 예산을 추정한다. 유한 표본 허용 한계가 이 재현율 정렬 추정을 뒷받침하며, 제안 복구 중에 기록된 경로는 별도의 최단 경로 계산에 대한 보수적인 대안이 된다. 독립적인 검정이 초기 수용과 복구 결과를 인증하여, 추정된 스트레치가 모든 관련 경로를 포괄하지 않더라도 종단 간 모집단 재현율 보장을 제공한다. 복구를 인증할 수 없으면 거부된 질의는 전수 탐색을 사용한다. HNSW에 대한 실험에서는 다섯 가지 스트레치 추정기를 비교하고, 복구 효율을 평가하며, 최대 1억 개 벡터의 데이터베이스에서 준수 여부와 처리량을 평가한다. CTR은 HNSW에 국한되지 않으며, 다른 그래프 색인에서도 평가한다.
설명 가능한 추천 시스템에 대규모 언어 모델(LLM)을 통합하면 종단간 구조에서 성능과 효율 사이의 상충이 흔히 발생하며, 순위 결정과 설명의 공동 최적화가 차선의 타협으로 이어질 수 있다. 이를 해결하기 위해 우리는 추천 과정을 전용 순위 결정 단계와 설명 생성 단계로 엄밀히 분리하는 새로운 분리형 프레임워크인 Prism을 제안한다. 이러한 분해는 각 구성 요소가 자신의 목적에 맞게 최적화되도록 하여 결합 모델에 내재된 충돌을 제거한다. 지식 증류에서 착안하여, Prism은 강력한 지시 수행 교사 LLM(FLAN-T5-XXL)을 Oracle로 활용해 충실도 높은 설명 지식을 생성한다. 그다음 소형의 미세 조정된 학생 모델(BART-Base)인 Prism이 이 지식을 개인화된 설명으로 종합하는 데 특화된다. 벤치마크 데이터셋에 대한 폭넓은 실험은 핵심적인 발견을 보여 준다. 즉, 증류 과정은 지식을 전달할 뿐 아니라 잡음 필터로도 작용한다. 1억 4천만 파라미터의 Prism 모델은 충실성과 개인화에 대한 인간 평가에서 110억 파라미터의 교사 모델을 크게 능가하며, 교사의 출력에 존재하는 환각을 교정하는 창발적 능력을 보인다. 24배의 속도 향상과 10배의 메모리 소비 감소를 달성하면서, 우리의 분석은 분리와 목표 지향적 증류의 결합이 고품질이며 어쩌면 더 중요하게는 신뢰할 수 있는 설명 가능한 추천으로 가는 효율적이고 효과적인 경로임을 입증한다.