TPRF: A Transformer-based Pseudo-Relevance Feedback Model for Efficient and Effective Retrieval
원문 초록
This paper considers Pseudo-Relevance Feedback (PRF) methods for dense retrievers in a resource constrained environment such as that of cheap cloud instances or embedded systems (e.g., smartphones and smartwatches), where memory and CPU are limited and GPUs are not present. For this, we propose a transformer-based PRF method (TPRF), which has a much smaller memory footprint and faster inference time compared to other deep language models that employ PRF mechanisms, with a marginal effectiveness loss. TPRF learns how to effectively combine the relevance feedback signals from dense passage representations. Specifically, TPRF provides a mechanism for modelling relationships and weights between the query and the relevance feedback signals. The method is agnostic to the specific dense representation used and thus can be generally applied to any dense retriever.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RIS-Kernel: 희소 어텐션을 통한 긴 컨텍스트 LLM 추론을 위한 모델 무관 아키텍처
RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention
대규모 언어 모델에서 전체 셀프 어텐션(self-attention)의 복잡도는 O(N^2)로 스케일링되며, 이는 긴 컨텍스트 문서 분석을 65,536 토큰으로 제한하고 비용이 큰 GPU 클러스터를 필요로 한다. Reduced Interaction Sampling(RIS) 추론 엔진은 모델 무관 아키텍처로서 이 제약을 해결한다. 가중치를 수정하지 않고, RIS는 상용 메모리 한계 내에 맞는 희소 확률적 기하학(sparse stochastic geometry)을 사용하여 셀프 어텐션 복잡도를 O(N log N)으로 줄인다. 우리는 두 가지 체제에서 Qwen2-1.5B-Instruct에 대해 RIS를 검증한다. 32,768 토큰에서의 통제된 평가(여기서 네이티브 밀집(dense) 어텐션이 상한 역할을 함)에서, 1% 밀도와 70개 앙상블 시드(seed)를 사용한 RIS-Stochastic은 75.00% 정확도를 달성하여 네이티브 밀집 기준선(71.88%)을 능가하며, 5% 밀도와 10개 시드를 사용한 RIS-Stochastic은 이와 동일한 수준(71.88%)에 도달한다. 이는 희소 어텐션이 정규화(regularizer) 역할을 함을 보여준다: 여러 시드에 걸친 낮은 밀도(1%)는 시퀀스 수준의 노이즈를 걸러내는 반면, 더 높은 밀도(5%)는 방해(distractor) 노이즈를 다시 도입한다. 가장 타이트한 예산 하에서, RIS-Structural은 10개 시드만으로 1% 밀도에서 68.75% 정확도에 도달하여, 제로 컨텍스트 하한(floor)(59.38%) 대비 컨텍스트 격차의 75%를 회복한다. 65,536 토큰에서는 밀집 어텐션이 메모리 부족(out-of-memory) 오류를 유발하는데, RIS는 제로 컨텍스트 하한(51.56%) 대비 최대 14.06퍼센트포인트의 검색(retrieval) 이득을 제공하며, 이는 McNemar의 대응 검정(paired test)에서 한계적으로 유의함(p = 0.078 < 0.10)으로 확인된다. 모든 평가는 상용 비가속 CPU 서버(16-128 GB RAM)에서 실행되었으며, GPU 가속 없이도 표준 학술 하드웨어에서 긴 컨텍스트 LLM 추론이 가능함을 보여준다.
Fast k-NN Graph Construction by GPU based NN-Descent
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
TRACE: 엔터프라이즈 LLM에서 지식을 보존하는 파라미터릭 도구 검색을 위한 비즈니스 규칙 기반 추론 커리큘럼
TRACE: Business Rule-Grounded Reasoning Curriculum for Knowledge-Preserving Parametric Tool Retrieval in Enterprise LLMs
파라미터릭 검색(parametric retrieval)은 각 API에 고유한 가상 토큰을 할당하고, 제약 빔 탐색(constrained beam search)을 통해 모델이 이를 생성하도록 학습함으로써 LLM이 도구를 암묵적으로 검색할 수 있게 한다. ToolSense는 이 방식이 두 가지 치명적인 단점을 갖는다고 보여준다: 학습(training) 중 파라미터릭 도구 지식을 파괴하고, 빔 탐색 디코딩이 실시간 배포에 너무 느리다는 것이다. 우리는 이러한 분리(dissociation)를 해소하는 2단계 커리큘럼인 TRACE(Tool Retrieval via Augmented Chain-of-thought and Enterprise rules)를 제안한다. 1단계는 ToolSense의 다중 형식 암기 SFT를 재사용하여 LoRA로 도구 지식을 시드(seed)한다. 2단계가 핵심 기여이다: 모델은 ToolSense의 RRB 쌍과 도메인 전문가가 큐레이션한 비즈니스 규칙을 대상으로 합성된 쿼리라는 두 가지 데이터 소스를 사용하며, 둘 다 추론 trace로 증강된 데이터로, 도구 토큰의 JSON 목록을 생성하기 전에 thinking trace를 출력하도록 학습된다. 이 학습 목표는 1단계 MCQ 및 QA 프로빙 정확도를 보존하면서 프로덕션 지연 시간에서 단일 빔 greedy 디코딩을 가능하게 한다. 두 엔터프라이즈 제품군에 걸친 8,300개 이상의 도구를 포함한 통합 엔터프라이즈 카탈로그에서 평가한 결과, 2단계 TRACE 학습은 도구 이해력을 보존할 뿐 아니라 향상시킨다: MCQ 정확도는 1단계 대비 +3.2 pp, QA 프로빙은 +9 pp 향상한다. 검색(retrieval)에서는 TRACE가 Domain A에서 ~86% 재현율, Domain B에서 ~60% 재현율을 달성한다—임베딩(embedding) 기준선(baseline) 성능 ~27% 및 ~52%와 비교—둘 다 단일 빔 greedy 디코딩으로, 프로덕션 지연 시간에서 직접 배포 가능하다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
Continual Graph Memory and Community Infrastructure for AI-Assisted Mathematical Discovery
토론
이 논문과 연결된 포럼 글이 아직 없습니다.