Constructing Set-Compositional and Negated Representations for First-Stage Ranking
원문 초록
Set compositional and negated queries are crucial for expressing complex information needs and enable the discovery of niche items like Books about non-European monarchs. Despite the recent advances in LLMs, first-stage ranking remains challenging due to the requirement of encoding documents and queries independently from each other. This limitation calls for constructing compositional query representations that encapsulate logical operations or negations, and can be used to match relevant documents effectively. In the first part of this work, we explore constructing such representations in a zero-shot setting using vector operations between lexically grounded Learned Sparse Retrieval (LSR) representations. Specifically, we introduce Disentangled Negation that penalizes only the negated parts of a query, and a Combined Pseudo-Term approach that enhances LSRs ability to handle intersections. We find that our zero-shot approach is competitive and often outperforms retrievers fine-tuned on compositional data, highlighting certain limitations of LSR and Dense Retrievers. Finally, we address some of these limitations and improve LSRs representation power for negation, by allowing them to attribute negative term scores and effectively penalize documents containing the negated terms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NegT2IBench: 부정이 그림을 바꿀 때. 텍스트-이미지 모델을 위한 극성 벤치마크
NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models
텍스트-이미지(T2I) 모델은 주로 요청된 콘텐츠의 생성 여부를 측정하는 벤치마크로 평가되지만, 이러한 벤치마크는 "빨간색이 아닌 컵"을 생성하는 것과 같이 부정 제약 조건을 충족하는 상보적 능력을 대체로 간과합니다. 부정 측정은 긍정 기반 벤치마크에서는 직면하지 않는 과제를 제기하며 신중한 프롬프트(prompt) 및 평가(evaluation) 설계를 필요로 합니다. 본 연구에서는 두 가지 속성 유형과 네 가지 관계 범주를 다루는 4,800개의 프롬프트로 구성된 벤치마크인 NegT2IBench를 소개합니다. 프롬프트는 극성(polarity)에 따라 구성되며, 충족되어야 하는 긍정 진술과 충족되어서는 안 되는 부정 진술의 개수가 각각 0개에서 2개까지 주어집니다. 두 요소를 독립적으로 변화시킴으로써 부정의 효과와 프롬프트 복잡성의 효과를 분리합니다. 본 연구의 검출기 기반 채점은 재현 가능하고 감사 가능하며 어떤 요구 사항이 실패했는지 정확히 짚어냅니다. 3명의 작업자 라벨이 부여된 600개의 이미지에서, 최대 30배 더 큰 비전-언어(vision-language) 평가자만큼이나 인간과 가깝게 일치하면서도 GPU 메모리는 일부만 사용합니다. 11개의 T2I 모델과 211,200개의 이미지 전반에서 9개 모델이 단일 긍정 진술보다 단일 부정 진술에서 더 낮은 점수를 기록했습니다. 진술별 채점 분석 결과 색상에서 성능 손실(loss)이 가장 컸고 근접성에서는 거의 0에 가까웠으며, 실패한 진술의 41.5%는 프롬프트가 금지한 대상을 정확히 렌더링한 것으로 나타났습니다. 프롬프트가 요구하는 것을 렌더링하는 것과 금지하는 것을 배제하는 것은 종합적인 구성 점수로는 구별할 수 없는 별개의 능력입니다. NegT2IBench는 후자를 직접 측정하여 부정 실패를 진단하고 이를 극복하는 방법을 개발하기 위한 통제된 테스트베드를 제공합니다.
대규모 언어 모델에서 진실의 트릴레마
The Trilemma of Truth in Large Language Models
일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.
Attributes Shape the Embedding Space of Face Recognition Models
Ref-Long: Benchmarking the Long-context Referencing Capability of Long-context Language Models
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
MambaFusion: Height-Fidelity Dense Global Fusion for Multi-modal 3D Object Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.