거대 언어 모델(LLM) 판정자는 검색 평가를 위한 대규모 관련성 판정을 만드는 일반적인 방법이 되었다. 그러나 각 판정에는 비용이 많이 들 수 있는 프런티어 모델 호출이 필요하고, 판정은 해석하기 어려우며 재현되지 않을 수 있다. 본 논문에서는 LLM이 문서별 판정을 대체하는 읽기 쉬운 프로그램을 주제별로 작성할 수 있는지를 묻는다. 이러한 문제를 해결하기 위해 자동 관련성 레이블링을 위한 빠르고, 검사 가능하며, 확장 가능한 판정자를 생성하는 방법인 ExecJudges를 제안한다. 구체적으로 ExecJudges는 프런티어 LLM을 사용하여 평가 지침을 어휘 매칭, 파서와 같은 표준 NLP 라이브러리, 풀 통계에만 의존하는 실행 가능한 프로그램으로 변환한다. ExecJudges-L 변형은 사람의 레이블 예시가 있으면 이를 함께 사용한다. 우리는 생성된 레이블을 훈련된 NIST 평가자, 프런티어 LLM 판정자, 최근 제안된 주제별 분류기와 비교하여 일곱 개의 TREC 컬렉션에서 ExecJudges를 평가한다. 결과는 ExecJudges가 TREC DL 2019-2021에서 Claude Sonnet 5.5 LLM 판정자 수준으로 NIST 평가자와 일치함을 보여준다. 주제당 소수의 사람 레이블이 있을 때 ExecJudges-L 변형은 일곱 개 컬렉션 모두에서 동일한 레이블을 사용한 주제별 분류기보다 NIST와 더 높게 일치하며, 동일한 레이블을 제공받은 LLM 판정자의 일치도를 넘어서거나 Krippendorff의 alpha 기준으로 약 0.05 이내이다. 이 레이블은 공식 TREC DL 실행 결과를 Kendall의 tau 0.87~0.94로 순위화하며, 프로그램 작성에는 주제당 $0.17~$0.49의 일회성 비용이 들고 채점에는 추가 비용이 들지 않는다. 우리의 결과는 ExecJudges가 시스템 평가나 순위 개선을 위해 깊은 결과 풀에 레이블을 부여하는 데 있어 LLM 판정자에 대한 재현 가능하고, 검사 가능하며, 효율적이고, 비용 효과적인 대안임을 시사한다.
온라인 A/B 테스트는 새로운 추천 또는 순위 정책과 같은 사용자 대면 시스템의 변경 사항을 배포 전에 평가하는 표준적인 방법이다. 표준 A/B 테스트의 평균 차이 추정량은 불편추정량이지만 분산이 큰 경우가 많다. 처리 정책과 운영 정책이 유사한 확률로 동일한 행동을 선택하면, 그 결과로 얻어지는 관측은 두 정책의 차이에 대해 정보를 거의 제공하지 못하면서 잡음만 더할 수 있다. 결과적으로 A/B 테스트는 작은 처리 효과를 탐지하는 데 많은 트래픽과 긴 기간을 요구할 수 있다. 기존의 분산 감소 방법은 주로 데이터 수집 방식이 고정된 이후에 추정량을 개선하며, 최근의 중첩 인지 설계는 두 정책 간의 단일 트래픽 분할만 최적화하므로 정책이 서로 다른 행동으로 트래픽을 유도할 수 없다. 본 논문에서는 행동을 표집하는 방식과 그 결과 관측을 처리 효과 추정에 사용하는 방식을 함께 최적화한다. 기여는 두 가지이다. 첫째, 쌍별 오프폴리시 평가를 바탕으로 두 정책 간 평균 처리 효과를 추정하기 위한 분산 최적 행동 수준 로깅 정책을 도출하며, 이는 임의의 고정된 통제 변량에 대해 닫힌 형태의 해를 갖는다. 둘째, 과거 로그를 사용하여 로깅 정책과 통제 변량을 함께 최적화함으로써 분산을 더욱 줄인다. 시뮬레이션된 정책 A/B 테스트 실험 결과, 제안한 설계는 평가한 모든 설정에서 기존 분산 감소 방법보다 평균 처리 효과를 더 정확하게 추정하였으며, 일반적으로 통계적 검정력을 높이고 더 나쁜 정책이 선택되는 빈도를 줄였다. 그 결과 제안한 설계는 실무자가 훨씬 적은 온라인 트래픽으로 신뢰할 수 있는 배포 결정에 도달할 수 있게 한다.
CoT 방식의 LLM 추천기는 순위화에 앞서 사고 사슬 접두부로 자연어 선호 노트를 생성하지만, 이 노트는 검증 없이 신뢰되며 순위화 모델은 행동이 유사한 사용자를 참조하지 않는다. 본 논문은 선호-이력 왕복 검증기를 중심으로 구성된 ReflectRec을 제안한다. 이 검증기의 재현율 점수는 선호-이력 복원 가능성의 작동적 신호로 기능하여, 복원 가능성이 낮은 선호에 대한 조건부 재생성과 재생성 시도 간의 선택을 가능하게 한다. 이 검증기를 중심으로 의미 기반 1단계 프롬프트, 조건부 재생성, 그리고 행동이 유사한 사용자의 미래 시청 기록을 협업 힌트로 주입하는 Forward-Look 검색을 연결한다. MovieLens-100K와 MovieLens-1M에서 전체 파이프라인은 CoT4Rec-ICL보다 Hit@10 기준으로 +16.25 / +4.46 pp 높은 성능을 보이며, 모든 ValScore 구간과 세 가지 LLM 백본(Qwen3-30B, Qwen2.5-72B, Llama-3.3-70B)에서 긍정적인 향상을 보인다. 또한 Amazon Electronics에서도 유사한 검증기 기반 재생성 양상을 관찰한다.
주제가 유사한 논문의 양이 늘어나면서 유용한 연구 통찰이나 방법론적 지침을 제공할 수 있는 새로운 연구를 찾아내기가 어려워지고 있다. 본 논문은 여러 증거 출처를 결합하여 개인화된 읽기 우선순위를 만들어 내는 경량 발굴 도구 KnowMe Paper Radar를 제시한다. 사용자가 주제, 우선순위, 제외 조건, 날짜를 지정하면 시스템은 주제 관련성, 최신성, 저자의 연구 이력, 협업 경로, 방향별 기관 맥락을 종합한다. KnowMe는 각 점수 구성 요소와 이를 뒷받침하는 출처를 드러냄으로써, 독자가 현재의 질문에 맞는 유망한 논문을 선택하고 익숙한 저자를 넘어 관련 연구를 발견하도록 돕는다. 자동 수집, 버전 병합, 그래프 캐시 재사용 덕분에 일반 사용 중에는 대규모 언어 모델(LLM) 추론 없이도 이 워크플로가 편리하게 유지된다. 수집된 174,640개 레코드에 대한 실험에서 반복적인 문맥 준비가 3배 이상 빨라졌으며, 캐시된 초록은 전문가가 판정한 검색 과제에서 순위 10의 정규화 할인 누적 이득(NDCG@10)을 0.412에서 0.598로 향상시켰다. 보완적인 분석에서는 동일하게 축적된 레코드가 의미 기반 검색, 연구 이력 모델링, 문헌에 근거한 계획 수립을 어떻게 뒷받침하는지 살펴본다. 브라우저 인터페이스와 구조화된 명령줄 인터페이스(CLI)는 이러한 기능을 연구자와 연구 에이전트 모두에게 제공하며, KnowMe를 문헌에 기반한 재귀적 자기 개선(RSI) 워크플로를 위한 실용적인 상류 도구로 자리매김한다.
하위 호환 검색은 새 인코더가 기존 모델이 이미 인코딩해 둔 갤러리를 질의할 수 있게 하여, 수십억 개의 항목을 다시 인코딩하지 않고도 교차 모달 검색 시스템을 업그레이드할 수 있게 한다. 기존의 호환 방법은 기존 질의에 맞춰 학습하여 기존 모델의 정확도 부근에 머물거나, 모든 질의마다 기존 인코더와 새 인코더를 모두 실행한다. 우리는 VIBRA를 제안한다. VIBRA는 기존 갤러리에서 관련도를 맞추고, 그 자체로 기존 공간의 질의가 되는 여러 뷰의 바리센터로 단일 모델의 오류를 교정하며, 새 인코더가 이 합의를 계승하도록 학습시켜 배포 시 존재하지 않는 모델도 모든 질의에 영향을 미치게 한다. 우리는 바리센터가 뷰들의 가장 어려운 비관련 항목이 서로 다를 때에 한하여 뷰들의 평균보다 마진을 얻음을 보이고, 이 이득 중 하나의 인코더가 도달할 수 있는 몫을 규명한다. CLIP, MetaCLIP, SigLIP2의 여섯 백본 사이의 다섯 가지 업그레이드에 대한 다섯 벤치마크에서, VIBRA는 50개 설정 모두에서 최고의 호환 방법이며, 가장 강한 기준선보다 Recall@1을 최대 5.6포인트, 기존 모델보다 최대 18.0포인트 향상시키면서 새 인코더의 지연 시간에는 1 ms 미만만 추가한다.
대규모 임상 텍스트 컬렉션에 대한 접근은 임상 노트 검색, 환자 코호트 식별, 도메인 적응형 검색 모델을 포함한 의료 정보 검색 연구를 발전시키는 데 필수적이다. 그러나 개인정보 보호 규정 때문에 실제 임상 노트는 거의 이용할 수 없으며, 이는 특히 유럽 포르투갈어와 같은 저자원 언어의 연구 진전을 제한한다. 본 논문은 임상 텍스트 검색에 관한 프라이버시 보호 연구를 지원하기 위해 제작된 유럽 포르투갈어 합성 임상 노트의 공개 데이터셋 LusoClin을 제시한다. LusoClin은 실제 임상 데이터를 전처리하고, 오픈소스 Llama 3.2(3B) 지시 튜닝 모델을 양자화 저랭크 적응(Quantized Low-Rank Adaptation)으로 미세 조정한 뒤, 프롬프트 기반 임상 노트 생성을 적용하여 만들어졌다. 의미 기반 색인과 임상 검색을 용이하게 하기 위해, 노트에는 BERT 기반 모델을 사용하여 임상 개체가 자동으로 주석되어 있다. 우리는 자동 지표와 사람 평가를 사용하여 LusoClin을 유용성, 충실도, 다양성, 프라이버시 측면에서 평가한다. 결과는 이 데이터셋이 임상적으로 관련된 언어 패턴을 포착하며 임상 문서 검색 및 도메인 특화 모델 적응과 같은 후속 정보 검색 응용을 지원할 수 있음을 보여 준다. 다만 주석자가 합성 노트와 실제 노트를 종종 구분할 수 있고 일부 의학적 불일치가 남아 있다.
하나의 학술 채용 공고에 수백 건의 지원서가 몰릴 수 있으며, 첫 번째 심사 단계가 위원회 시간의 대부분을 소모한다. 본 논문은 학술 채용 공고를 위한 국가 플랫폼에 배포되어 해당 플랫폼의 공고 데이터베이스와 통합된 CV 우선순위 정렬기(CV Priority Sorter)를 기술한다. 이 시스템은 CV 묶음에 대해 읽는 순서를 제안하고 모든 결정은 위원회에 맡기며, 고정된 다국어 트랜스포머 인코더와 각 라벨 입력 후 재학습되고 세션이 끝나면 폐기되는 세션별 선형 모델을 결합한다. 이 시스템은 효과가 있다. 합성 CV 300건의 풀에서, 도구가 제시한 순서대로 읽는 위원회는 묶음의 절반을 읽은 시점에 관련 후보의 95%에 도달하는 반면, 임의 순서에서는 거의 전부를 읽어야 한다. 본 논문은 시스템 자체보다는 그 주장을 감사했을 때 발견한 것에 관한 것이다. 세 가지 발견이 제품을 바꾸었다. 첫째, 풀이 문서 길이만으로 정렬 가능하다는 것이 드러났으며, 이로 인해 그 풀에서의 정밀도 유형 지표는 정보를 주지 못한다. 공유된 길이 예산 하에서 풀을 다시 생성하면 이 지름길이 제거되며 읽기 깊이 결과는 그대로 유지된다. 둘째, 우리 시스템을 포함하여 이러한 시스템이 보고하는 4단계 일치도 점수는 고정된 임계값에서 이진 확률을 자른 것이므로, 순위가 아니라 분류기의 확신도를 따르며 라벨이 쌓일수록 하락한다. 셋째, "다음 CV 제안" 버튼을 구현하는 가장 명백한 방법인 불확실성 샘플링은 모델 품질을 유지하지만, 이 방법이 묻는 CV가 그렇지 않았다면 건너뛰었을 것들이기 때문에 위원회의 총 읽기 부담을 라벨 없는 기준선보다 높인다. 네 번째 결과는 다음에 살펴볼 곳을 보여 준다. 호스팅된 LLM 임베딩 모델은 길이를 통제한 조건에서 라벨이 없을 때의 순서형 판별력을 0.66에서 0.80으로 끌어올리지만, 세션 모델이 라벨을 수십 개 확보하면 더 이상 중요하지 않게 된다. 로컬 크로스 인코더는 데이터를 외부로 보내지 않고도 이러한 콜드 스타트 이득에 필적한다. 본 논문은 각 발견이 요구한 수정 사항을 보고한다.
LLM 강화 추천 시스템은 아이템의 부가 정보를 의미 임베딩으로 인코딩하지만, 이러한 임베딩은 역전(inversion) 공격을 통해 민감한 텍스트 속성을 유출할 수 있다. 기존의 입력 측 방어 기법은 신뢰할 수 있는 수집이나 로컬 토큰 교란에 의존하며, 추천에 필요한 아이템 간 의미 위상을 훼손하는 경우가 많다. 이를 해결하기 위해 본 연구는 관계 충실도(relational fidelity)를 핵심 목표로 도입하여, 프라이버시를 위해서는 의미적 이동을 요구하되 유용성을 위해서는 아이템 간 상대적 관계를 보존하도록 한다. 이 원칙에 기반하여 영향력이 큰 프로토타입 단어에 대한 위상 인지 난독화 앵커를 학습하고 이를 정적 의미 그래프를 통해 전파하는 프로토타입 기반 점진적 난독화(PGPO)를 제안한다. PGPO는 개별 비유사성, 구조적 일관성, 의미 제약 보상을 사용하여 GRPO로 최적화된다. 두 벤치마크에 대한 실험에서 상한에 근접한 추천 성능을 유지하면서 강력한 역전 방어 성능을 보인다. 코드는 https://github.com/Shengxiang-Lin/PGPO 에서 확인할 수 있다.
사용자의 질의에 답하는 의료 AI 시스템은 대규모 문서 컬렉션에서 의료 지식을 검색하는 데 의존한다. 이러한 맥락에서 일반 모델을 의료 데이터셋으로 파인튜닝하면 검색 관련성을 향상시킬 수 있다. 그러나 현대 검색 시스템의 기반이 되는 밀집 임베딩은 대체로 불투명하여 그 결과의 작동 방식을 이해하기 어렵다. 더욱이 특정 의료 데이터셋에 적응하면 새로운 임상 코퍼스로의 전이성을 잃을 위험이 있다. 본 연구에서는 희소 오토인코더(SAE)를 의료 정보 검색에 적용하여 밀집 텍스트 임베딩을 의미적으로 해석 가능한 표현으로 변환함으로써 이러한 문제를 다룬다. 이를 위해 우리 모델은 재구성 목적 함수와, 질의-문서 관련성을 직접 보존하는 InfoNCE 대조 손실을 결합한다. 세 가지 임베딩 모델을 도메인 내 및 도메인 외 설정에서 여섯 개의 의료 검색 데이터셋에 걸쳐 평가한다. 의료 코퍼스로 학습한 희소 코드는 원래 임베딩보다 도메인 내 검색을 향상시키고, 특히 대상 코퍼스가 학습 코퍼스와 멀 때 밀집 임베딩보다 도메인 외 성능 손실이 적다. 중요하게도 실험 결과, 이 방법은 해당 특징을 가장 강하게 활성화하는 질의와 문서로부터 의미 내용을 추론할 수 있는 해석 가능한 특징을 산출한다. 이러한 특징의 해석은 특정 문서가 검색된 이유를 밝혀 주며, 학습 분포를 넘어서도 전이된다.
기업 리테일 워크플로에서는 에이전트가 구조화된 상품 및 주문 기록부터 비정형 문의와 리뷰에 이르기까지 이종 소스에 걸쳐 증거를 연결해야 하지만, 기존의 에이전트형 RAG 벤치마크는 이러한 과제를 거의 반영하지 못한다. 이러한 워크플로를 통제된 방식으로 평가할 수 있도록, 우리는 페르소나 기반 시뮬레이션으로 구축한 조합형 리테일 벤치마크인 RetailBridge를 소개한다. 이 벤치마크의 질문은 이종 소스 간에 엔티티와 중간 답변을 연결하여 구성되며, 에이전트가 관련 소스를 식별하고, 소스 간에 증거를 전달하며, 근거에 기반한 답변을 생성하도록 요구한다. 이러한 리테일 워크플로에서 LLM을 체계적으로 평가하기 위해, 우리는 자동 스키마 브리핑, 소스 라우팅 계획 연쇄, 진단 기반 계획 수정을 갖춘 리테일 특화 프레임워크 RetailRAG를 개발한다. RetailRAG는 모든 평가 축에서 기존 에이전트형 RAG 기준선을 일관되게 능가하여, 리테일 워크플로에서 LLM 에이전트를 평가하기 위한 강력한 참조 시스템의 역할을 한다. RetailBridge에서 RetailRAG로 10개의 LLM 백본을 평가한 결과, 다중 소스 연쇄가 제공자와 모델 규모를 막론하고 지배적인 병목임이 드러났으며, 이는 신뢰할 수 있는 리테일 에이전트에는 규모 확장만이 아니라 명시적인 소스 간 오케스트레이션이 필요함을 시사한다. 코드와 데이터는 https://github.com/DISL-Lab/RetailBridge 에서 공개되어 있다.
적응형 검색 증강 생성은 검색 없이 답할 때(클로즈드북)의 신뢰도와 같은 리더의 신호를 사용하여 검색 여부와 검색량을 결정한다. 본 논문은 이러한 방법을 항상 많은 문단을 검색하는 방식이 아니라, 질의당 평균 문단 수에 동일한 상한을 둔 상태에서의 최선의 단순 정책, 즉 고정 깊이 또는 고정 깊이들의 무작위 혼합과 비교한다. 정책은 0개, 1개 또는 5개의 문단을 할당하며 보류된 질문에서 평가된다. 약 2,000개 질문으로 이루어진 일곱 가지 설정은 TriviaQA, Natural Questions, MS MARCO, Qwen3-8B 및 Qwen3-32B 리더, 그리고 두 가지 검색 소스(질문별 문단 풀과 350만 문단 규모의 Wikipedia 인덱스)를 조합한 것이다. 신뢰도에 따른 할당은 세 가지 방식으로 이득을 얻을 수 있다. 첫째, 부족한 예산을 배급한다. 질의당 0.5개 문단의 상한에서는 일곱 개 설정 모두에서 최선의 단순 정책을 정확도 0.010~0.075만큼 능가한다. 둘째, 해로운 검색을 피한다. 1개 이상 문단의 상한에서는 문단이 이미 알고 있는 답을 덮어쓰는 경우가 많은 Wikipedia에서만 상당한 이득이 나타나며, TriviaQA의 Qwen3-8B에서 가장 강건하다(+0.051, 정확 일치와 F1에서도 동일). 셋째, 깊이를 선택하는 데는 거의 도움이 되지 않는다. 클로즈드북 신뢰도는 첫 번째 문단이 어떤 질의에 도움이 되는지는 순위화하지만, 1개와 5개 문단 사이의 선택에 대한 순위화는 우연보다 거의 낫지 않으며, 문단 풀에서는 2~3개 문단의 고정 깊이가 동등하거나 더 낫다. 프로브의 지연 시간을 비용으로 반영하면, 게이트가 대부분의 질의에서 검색을 건너뛰는 경우에만 이득이 남으며, 더 큰 리더의 경우 답변 평가 지표에도 좌우된다.
추천 시스템은 우리가 보는 정보를 형성하며, 필터 버블, 급진화, 양극화, 사회적 불평등에 대한 우려를 낳는다. 대규모 언어 모델(LLM)은 이러한 역학을 심화할 수 있는 더 강력한 개인화를 가능하게 하지만, 대부분의 추천 시스템은 참여도나 좁은 정확도 지표에 맞춰 조정되어 있으며 더 넓은 사회적 영향에는 거의 주의를 기울이지 않는다. 본 연구는 LLM 보조 재순위화가 개인화를 개선하면서, 이론적으로 제기되었으나 아직 실증적으로 규명되지 않은 위험인 이념적으로 부합하거나 극단적이거나 음모론적인 정치 콘텐츠에 대한 노출을 의도치 않게 증폭하는지 조사한다. 실제 YouTube 궤적을 사용하여, 임베딩 베이스라인과 함께 세 개의 모델에 대한 제로샷 프롬프팅으로 플랫폼의 사이드바 후보를 재순위화하고, 관련성, 이념적 정렬과 다양성, 음모론적 또는 극단주의적 콘텐츠에 대한 노출을 평가한다. 결과는 다음과 같다. (i) 순수한 개인화 지시 하에서 재순위화는 관련성을 개선하는 한편 이념적 노출을 좁히며, 세 모델 중 두 모델에서는 그러한 이력을 가진 사용자에게 문제적 콘텐츠를 부각시킨다. 가장 명시적으로 당파적인 요청을 거절하는 세 번째 모델은 모델별 가드레일을 시사한다. (ii) 경량의 프롬프트 수준 제약은 세 모델 모두에서 문제적 노출을 상당히 줄이며, 정규화된 재순위기는 여전히 관련성에서 플랫폼 베이스라인보다 높은 순위를 유지한다. (iii) 주제 단서와 당파 단서를 독립적으로 변화시킨 합성 실험은 둘 사이에 고정된 선호가 없음을 보여 준다. 낙태와 이민에서는 주제가 지배적이고, 주제 신호가 더 약한 선거에서는 당파성이 우세해진다. 본 결과는 위험이 큰 정치 추천에서 맥락적 뉘앙스를 구현하는 LLM의 힘을 부각하며, LLM 보조 개인화를 정확도를 넘어 평가해야 하고 프롬프트 설계를 중립적 기본값이 아닌 가치 개입적 선택으로 다루어야 할 필요성을 강조한다.
연속적인 시각 스트림으로부터 새로운 개념을 학습하는 인간과 달리, 기존의 개인화 비전-언어 모델(VLM)은 학습 중에 미리 정의된 개념 집합을 내재화하며 정적 이미지나 오프라인 비디오에서 동작한다. 이러한 모델은 사용자가 스트림 도중에 정의한 개념을 등록하지 못하며, 그 개념이 앞서 등장했던 순간을 상기하지도 못한다. 우리는 이 과제를 개인화 스트리밍 비디오 이해(Personalized Streaming Video Understanding, PSVU)로 정식화하고, 이 과제를 위한 최초의 벤치마크인 PSVU-Bench를 소개한다. PSVU-Bench는 132개 비디오에 타임스탬프가 있는 질문을 주석으로 달았다. 개념 정의(Concept-Definition), 실시간(Real-Time), 과거 시점(Past-Time) QA는 모델에게 임의의 타임스탬프에서 개념을 등록하고, 사용자 정의 행동을 포함한 개념의 현재 상태를 인식하며, 과거 증거를 검색하도록 요구한다. 우리는 사용자 정의 개념을 보관된 비디오 클립과 분리하여 저장하고, 각 질의를 개념 설명으로 재작성하여 관련 이력을 검색하는 강력한 플러그 앤 플레이 기준선인 PEARL을 제안한다. 비디오에서 명명된 개념을 접지(grounding)하는 것은 모든 개념이 공유하는 기술이다. 따라서 공개 인터넷 비디오에 대해 검증된 개념 질문으로 구성된 학습 세트 PSVU-10K를 구축하고, 이를 이용해 PEARL의 검색기와 응답 VLM을 한 번만 학습시킨다. 테스트 시점에 정의되는 개념은 여전히 별도의 학습이 필요 없다. 학습 없이 세 가지 아키텍처에 적용했을 때, PEARL은 대응하는 오프라인 모델 대비 평균적으로 Real-Time QA를 15.05%, Past-Time QA를 12.60% 향상시키며, 세 가지 모두 두 QA 유형에서 기존 온라인 비디오 모델을 능가한다. 추가 학습을 하면 Qwen3-VL-8B 기반 PEARL은 Real-Time QA에서 8.66%, Past-Time QA에서 9.39% 더 향상되며, 모든 범주에서 성능이 개선된다. 코드, 데이터 및 모델은 https://github.com/Yuanhong-Zheng/PEARL 에서 확인할 수 있다.
희소 레이블은 단독으로 나타나는 경우가 드물다. 분류기는 희소 레이블 자체를 학습하지 않고도 함께 자주 나타나는 레이블을 단서로 이를 맞힐 수 있다. 기존 진단 방법은 학습된 모델이 있어야 사용할 수 있다. 데이터에 이런 실패가 생길 가능성이 있는지, 일반적인 집계 지표가 무엇을 가리는지 학습 전에 알려 주지는 못한다. 매크로 F1은 다른 레이블별 혼동 집계 지표와 마찬가지로, 한 레이블의 재현율이 동반 레이블의 유무에 따라 어떻게 나뉘는지에 영향을 받지 않는다. 같은 레이블 안에서 이 차이를 측정하는 추정 대상과, 동반 레이블이 없는 경우의 재현율이 올라갈 때만 의존성이 줄었다고 해석하는 규칙을 제시한다. 보고 재현율이 동반 레이블 없는 재현율을 얼마나 초과할 수 있는지 학습 전에 상한을 정하는 학습 레이블 통계량도 제안한다. 말뭉치 23개, 학습 목적함수 7개, 레이블 상관관계를 이용하는 방법 5개 계열을 평가했다. 추정 대상을 정의할 수 있는 말뭉치 6개 모두에서 동반 레이블 없는 재현율이 더 낮았다. 동반 레이블 없는 재현율을 적용하면 매크로 F1에 반영된 희소 레이블의 참양성 중 최대 18.4%가 사라진다. 모든 말뭉치에서 그 차이는 학습 레이블로 구한 상한 이내였다. 긴 꼬리를 다루는 목적함수 중 의존성을 줄인 것은 없었으나, 아키텍처에 따라 의존성은 달라졌다. 다른 레이블의 예측으로 희소 레이블의 점수를 계산하는 모델은 의존성이 높았다.
생성형 추천 시스템은 언어 모델로 사용자가 다음에 선택할 항목의 의미 ID를 디코딩한다. 지도 미세조정(SFT) 뒤 강화학습(RL)으로 사후 학습하는 것이 일반적이다. 개선은 대개 상위 10개 결과에서 보고되지만, 실제 운영에서는 이런 모델이 후보 수백 개를 후속 순위 모델이나 보상 모델에 전달한다. RL 사후 학습에는 숨은 비용이 있다. 목록 상단의 정확도는 높아지지만(K가 작을 때의 hit@K), 연구에 사용한 데이터셋 다섯 개 모두에서 후보 목록의 재현율은 낮아졌다(K가 수백일 때의 hit@K). 모델이 순위 산정은 더 잘하지만 후보 검색은 더 못하게 된다. 통제 실험에서는 재현율 저하가 롤아웃에서 샘플링한 후보에 RL이 부여하는 음의 어드밴티지에서 비롯됐다. 근본 원인은 사용자마다 다음 항목이 하나만 기록돼 RL이 나머지 후보를 모두 오답으로 처리한다는 것이다. 그러나 이런 후보는 모델이 가장 가능성 높다고 본 대안이며, 이력이 비슷한 다른 사용자의 실제 다음 항목인 경우가 많다. 여기에 벌점을 주면 비슷한 사용자가 다음에 선택할 항목의 점수가 낮아져 그 사용자들의 후보 목록에서 빠진다. 대안으로 롤아웃 밖 앵커링을 제안한다. 롤아웃에 포함되지 않은 항목에 대한 SFT 모델의 순서를 보존하는 손실 항 하나를 추가한다. 목록 상단의 개선 효과를 유지하면서 다섯 데이터셋에서 모두 재현율을 SFT 수준으로 복원했고, 다른 RL 설정에서도 효과가 있었다. 우리가 아는 한 이 재현율 저하를 체계적으로 다룬 첫 연구다. 저하를 측정하고 원인을 규명한 뒤, 원인을 알면 간단한 방법으로 해결할 수 있음을 보였다.
목록 단위 대규모 언어 모델(LLM) 순위 재산정기는 호출 한 번으로 문서 수백 개의 순위를 신뢰성 있게 매기기 어렵다. 따라서 호출을 조율하는 일정에 의존한다. 병렬 일정은 후보를 그룹으로 나누고 각 그룹에서 정해진 수만 다음 단계로 보낸다. 한 그룹에 할당량보다 많은 상위 구절이 들어가면 그중 일부가 탈락해 비용이 큰 보정 호출이 필요해진다. 이처럼 할당량이 결과를 제한하는 경우에는 후보를 나누는 방식이 중요하다. 기대 탈락 수를 기준으로 가장 좋은 방식은 카드를 나눠 주듯 검색기 순위에 따라 그룹마다 번갈아 후보를 배정하는 것이다. 개념 자체는 새롭지 않지만 그 효과는 분석되지 않았다. 단순한 검색기 모델 아래에서 그룹별 할당량을 동일하게 두면 어떤 분할도 이 방식보다 실제 상위 10개 후보를 평균적으로 덜 탈락시키지는 못한다. 검색기가 개선될수록 연속된 순위 구간으로 나누는 방식은 더 많은 상위 후보를 탈락시킴을 증명한다. 분석에서 도출한 가장 단순한 일정 DealRank는 LLM 여섯 개에서 두 라운드만으로 최상위 일정과 평균 nDCG@10 차이가 0.1점 이내였다. 후보가 최대 1,000개인 경우까지 첫 호출을 병렬로 실행하는 BlitzRank보다 일관되게 1.1~1.4배 빨랐다. 후보가 1,000개일 때 세 라운드가 필요했으며 슬라이딩 윈도보다 11배 빨랐다. BlitzRank 같은 기존 일정에도 순환 배정을 적용하면 보정 호출이 필요한 쿼리가 59%에서 14%로 줄어 품질의 유의한 변화 없이 지연 시간이 줄었다. 예측과 같이 할당량이 4개면 무작위 분할의 성능도 비슷했다. 다만 결과가 시드에 좌우되며, 밀집 검색기에서 할당량이 1개일 때는 순환 배정보다 nDCG@10이 1.3점 낮았다.
대규모 언어 모델(LLM)이 등장하면서 여러 페이지를 담은 파일을 개별 문서로 나누는 페이지 스트림 분할(PSS)이 다시 주목받고 있다. 그러나 공개된 LLM 기반 방법은 여전히 인접한 페이지 한 장 또는 몇 장에서 문서 경계를 분류하는 문제로 다룬다. 상용 문서 분할 API는 처리 방법을 공개하지 않는다. PSS를 전체 페이지 스트림에 걸친 순차 처리로 정의하고, 사람이 문서를 읽듯 페이지를 살피는 순환 교차 사고 과정(RICoT) 프롬프팅 프레임워크를 제안한다. 슬라이딩 윈도 안에서 페이지마다 추론하고 경계 여부를 확정한 뒤 다음 페이지로 넘어간다. 윈도 사이에는 이미 읽은 내용의 간결한 기록을 넘겨 호출당 비용을 제한한다. 비식별화한 실제 금융 문서의 페이지 스트림 205개로 구성된 벤치마크 FinancePSS-205도 소개하며 공개할 예정이다. 이 벤치마크에서 공개 가중치 LLM 세 개에 각각 같은 백본을 적용해 비교했을 때, RICoT는 페이지 쌍이나 윈도 단위 프롬프팅과 성능이 같거나 높았다. TABME 테스트 하위 집합에서 GLM-5로 RICoT를 실행한 결과 문서 F1은 0.847, 경계 F1은 0.915로 공개된 제로샷 결과를 앞섰다. 더 큰 교사 모델의 경계 결정으로 매개변수 20억 개의 학생 모델을 학습했다. 페이지 수준 추론을 함께 주는 경우와 주지 않는 경우의 성능이 비슷했으며, FinancePSS-205에서 프롬프트 기반 최고 성능 모델과 문서 F1 차이가 0.05 이내였다.
밀집 검색은 현대 검색, 질의응답, 검색 증강 생성의 핵심이며, 여기서 높은 유사도는 흔히 의미적 관련성의 증거로 간주된다. 본 논문은 이 가정을 어디까지 시험할 수 있는지 살펴본다. NONSENSE는 질의 단어의 복사를 금지하면서 눈에 띄게 비의미적인 문자열을 구성하고 질의와 문자열 사이의 밀집 유사도만을 최적화하는 블랙박스 희소 편집 탐침이다. 다섯 개의 BEIR 스타일 데이터셋과 세 가지 대표적인 단일 벡터 검색기 전반에서, 이러한 문자열은 검색기 자신이 판정한 최상의 질의 관련 구절(QRP)보다 자주 높은 점수를 받으며, 전체 코퍼스에서 1위로 순위가 매겨지는 경우도 많다. 이 결과는 평가한 밀집 검색기에 의미성 격차가 있음을 시사한다. 즉, 최근접 이웃이라는 지위가 구절과 같은 의미와 분리될 수 있다. 이러한 발견은 밀집 검색기를 관련 문서를 검색하는지 여부뿐 아니라 유사도 점수가 의미적 근거를 얼마나 신뢰성 있게 반영하는지로도 평가하는 것이 중요함을 강조한다.
특허 선행기술 조사자는 줄마다 불리언 쿼리를 작성한다. 처음에는 범위를 넓혀 관련 문서를 찾고, 이후에는 후보를 검토할 수 있을 만큼 범위를 좁힌다. 일본 특허청의 검색 보고서 38,397건에서 실행 가능한 전문가 전략을 추출해 다시 실행했다. 생성한 전략은 인용 문헌의 재현율과 각 인용 문헌을 포함하는 가장 작은 결과 집합으로 평가했다. 프롬프트 기반 모델은 재현율이 높은 유효한 전략을 작성했으나, 인용 문헌이 속한 집합이 너무 커서 검토하기 어려웠다. 점수를 매긴 롤아웃으로 생성기를 오프라인에서 두 방식으로 적응시켰다. 전략 수준 학습은 검토 부담을 반영한 전체 전략 점수를 사용한다. 쿼리 줄 수준 학습은 이미 찾은 인용 문헌을 더 작은 집합에 남기는 줄에 높은 가중치를 준다. 같은 롤아웃에서 쿼리 줄 수준의 기여도 부여는 전략 수준 점수보다 검토 관련 평가지표에서 우수했다. 이를 반복하자 인용 문헌을 포함하는 집합의 크기 중앙값이 768개에서 50개 미만으로 줄었다. 문서가 100개 미만인 집합에서 전문가보다 더 많은 인용 문헌을 찾았으나 재현율은 낮았다. 전략 수준 선호 학습은 거의 완전한 재현율을 달성했다. 두 방식은 서로 보완적이다.
저비트 LLM 양자화는 모델이 서비스에 관련된 정확도를 보존하고, 지원되는 GPU 커널을 통해 실행되며, 측정된 메모리 및 지연 시간 한계를 충족할 때에만 유용하다. 본 연구는 vLLM을 사용하는 NVIDIA B200에서 INT2/INT3, GPTQ, NVFP4 및 혼합 정밀도 구성을 포함하여 Qwen3-8B를 연구한다. 144개의 융합 선형 모듈 전체에서 네이티브 패킹 실행과 정밀도를 검증하고, 사전 등록된 게이트 하에서 한국어, 영어, 수치 및 추론 품질을 평가한다. 패킹된 INT2와 INT3는 실행되지만, 시험한 일곱 개의 INT2 그리드는 모두 생성에서 퇴화한다. 개별 모듈 복원 효과는 강한 비가법성을 보이며, 한국어와 추론의 민감도 순위는 일치하지 않고, 유망했던 INT4/INT8 개발 후보는 독립적인 최종 평가에서 실패한다. 16비트 활성화, 98개의 NVFP4 가중치 전용 모듈, 46개의 INT8 모듈, INT8 출력 헤드로 구성된 설정은 손대지 않은 FINAL-81 세트(5,168개 항목)에서 모든 게이트를 통과하며, 가중치 로딩 메모리는 5.917 GiB(한계 5.98), 한국어 교사 정답 유지율은 0.904(게이트 0.90), BF16 대비 TPOT 비율은 0.939이다. 이 설정은 NVFP4 W4A4 대비 쌍체 정확도를 +1.4%p(Bonferroni 보정 구간 [+0.2, +2.6]) 향상시키며, 선택 세트에서는 +3.4%p이다. 이 비교는 활성화 정밀도와 INT8 보호를 모두 변경하며, 탐색적 분석은 활성화 변경이 상당히 기여함을 시사하나 할당 효과 자체의 분리된 효과는 입증되지 않았다. 최종 체크포인트는 보존되지 않았으며, 비트 단위 재빌드 재현성은 검증되지 않은 채로 남아 있다.