TEMPS: 시계열 정보 검색을 위한 시간적 문장 임베딩
TEMPS: Temporal Sentence Embeddings for Temporal Information Retrieval
한국어 초록
현대 정보 검색(IR) 시스템은 시간을 거의 표현하지 못하지만, 많은 정보 요구는 시간에 의존합니다. 임상, 저널리즘, 법률 검색 등에서는 사건이 언제 발생했는지가 문서의 관련성 여부를 결정할 수 있습니다. 밀집 검색기(dense retriever)와 검색-증강 생성(RAG) 파이프라인은 주제 측면에서는 질의와 문서를 잘 매칭하지만 시간 측면에서는 제대로 매칭하지 못하여, 주제에는 부합하지만 시간적으로는 잘못된 콘텐츠를 표출합니다. 본 논문에서는 두 개의 기준 시점이 지정된 텍스트가 주제적 유사성과 무관하게 시간상으로 얼마나 잘 일치하는지를 측정하는 과제인 시간적 텍스트 유사도(TTS, Temporal Textual Similarity)를 소개합니다. 이어서 고정된(frozen) 의미론적 검색기에 부착되어 해당 신호를 바탕으로 학습하는 모듈형 시간 브랜치인 TEMPS(Temporal Embedding Model for Precise Search)를 제안합니다. 이는 기준 시점이 지정된 시간 표현을 구간(interval)으로 해소(resolve)하고 각각을 가우시안에 모멘트 매칭(moment-match)합니다. 여기서 도출된 순서는 기준 날짜 조건부 인코더를 지도(supervise)하며, 이 인코더의 점수는 추론 시 의미론적 점수와 융합됩니다. 그라운딩(grounding)이 지도 신호를 제공하므로 학습에 수작업으로 라벨링된 시간 데이터를 사용하지 않습니다. 시간 점수 자체는 분포 임베딩의 가우시안-KL 포함 측정(Gaussian-KL inclusion measure)이며, TEMPS가 추가하는 것은 그라운딩과 모멘트 매칭된 지도 신호입니다. 세 가지 시간 벤치마크에서 TEMPS는 테스트된 모든 의미론적 백본의 MRR을 향상시켰으며, TS-Retriever에서는 기존 시간적 SOTA 대비 R@1을 19.92에서 25.39로 끌어올렸습니다.
원문 초록
Modern information retrieval (IR) systems rarely represent time, yet many information needs depend on it: in clinical, journalistic, and legal search, when an event occurred can decide whether a document is relevant. Dense retrievers and Retrieval-Augmented Generation (RAG) pipelines match queries to documents well on topic but poorly on time, so they surface content that is on-topic yet temporally wrong. We introduce Temporal Textual Similarity (TTS), a task that measures how well two anchored texts align in time, independent of their topical similarity. We then present TEMPS (Temporal Embedding Model for Precise Search), a modular temporal branch that attaches to a frozen semantic retriever and trains on that signal. It resolves anchored temporal expressions to intervals and moment-matches each one to a Gaussian; the resulting ordering supervises an anchor-date-conditioned encoder, whose score we fuse with the semantic score at inference. Grounding supplies the supervision, so training uses no hand-labeled temporal data. The temporal score itself is the Gaussian-KL inclusion measure from distributional embeddings; what TEMPS adds is the grounding and the moment-matched supervision. On three temporal benchmarks, TEMPS improves MRR for every semantic backbone tested and, on TS- Retriever, lifts R@1 from 19.92 to 25.39 over the prior temporal state of the art.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28048v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전사에서 의미 코퍼스 분석까지: 고대 언어를 위한 문장 표현의 비지도 학습
From transcription to semantic corpus analysis: unsupervised learning of sentence representations for ancient languages
자동 문자 인식(ATR, Automatic Text Recognition)은 이제 디지털 인문학에 고대 언어의 비구조적이고 이질적이며 종종 노이즈가 많은 대량의 텍스트를 제공한다. 하위 의미 분석—텍스트 재사용 식별, 정렬, 의미 검색—은 문장 임베딩에 의존하지만, 기존 방법은 고대 언어로의 전이가 잘 되지 않는다: 범용 다국어 인코더는 성능이 낮고, 특화 언어 모델은 이방성(anisotropic) 표현 공간을 만들며, 라벨이 붙은 유사도 데이터를 구할 수 없다. 우리는 원문 문장만을 사용하여 특화 토큰 수준 언어 모델을 코퍼스 특화 문장 인코더로 적응시키는 두 가지 완전 비지도 전략—TSDAE와 대조적 문장 임베딩(CSE, contrastive sentence embedding)—을 연구한다. 교부 문헌(patristic literature)에서 성경 재사용이라는 필독학적으로 핵심적인 사례(아우구스티누스, 히에로니무스, 아타나시우스의 라틴어 및 고대 그리스어 전문가 검증 병렬 구문 2,935개)에서, 우리는 재사용 식별을 두 가지 별도 평가 과제—이진 탐지와 대응 검색—로 분해하고, 적응된 인코더를 다국어, 특화, 증류, 지도 미세조정 기준선과 비교 벤치마크하며, HTR(손글씨 문자 인식) 아티팩트와 필사 약어를 시뮬레이션한 인위적 노이즈 데이터에서도 평가한다. 적응된 인코더는 두 과제 모두에서 모든 기준선을 능가하며, 상호 보완적인 특성을 보인다: TSDAE는 대규모 도메인 내 코퍼스가 주어졌을 때 탐지에서 우수하고, CSE는 검색에서 우수하며, 원시 도메인 내 문장 4–8천 개만으로 최적에 도달한다—노트북 GPU에서 수십 초의 학습—그리고 저작물과 저자에 걸쳐 전이되며, ATR 후 노이즈 텍스트에 직접 재학습할 때도 마찬가지다. UMAP 아틀라스는 각 전략의 기하학적 효과를 측정된 성능 향상과 연관 짓고, 전체 파이프라인—분할, 미세조정, 교차 코퍼스 의미 검색—은 온라인 도구 Paraphrasis를 통해 비전문가에게 제공된다.
AX는 새로운 AEO이다
AX is the New AEO
2023년에 AI 모델(model)은 학습(training) 데이터로부터 답변했고 데이터가 부족할 때 환각(hallucination)을 일으켰으며, 기업들은 이러한 지식을 심어두라는 조언을 받았습니다. 이후 모델의 학습 지식은 실시간 웹 검색에 자리를 내주었고 조언 역시 이를 따랐습니다. 즉, 답변 엔진 최적화(AEO, answer-engine optimization)는 이제 AI 엔진이 기업을 노출하고 추천할 가능성을 높이기 위해 포럼 스레드, 리스티클, 외부 인용 전반에 빵 부스러기(흔적)를 흩뿌려 두라고 기업에 권장합니다. 그러나 단순히 노출되는 것만으로는 더 이상 충분하지 않습니다. 에이전트(agent)는 결정을 내리기 전에 결과를 열고 읽으며, 구매자의 질문 하나로 인해 여러 차례의 검색과 가져오기(fetch) 단계를 거칩니다. 이 심층 탐색 단계에서 결과를 좌우하는 것은 에이전트가 기업 자체 사이트를 가져와서 읽을 수 있는지 여부, 즉 에이전트 경험(AX, agent experience)입니다. 본 논문에서는 AX가 새로운 AEO라고 주장합니다. 우리는 인지도, 기존 모델 지식, 두 가지 AEO 대리 지표를 일치시킨 1,056개의 실제 기업을 대상으로 네 개의 독립적인 하네스(harness)에 걸쳐 기업에 대한 구매자 질문으로 구성된 37,927회의 에이전트 여정을 실행한 뒤, 이들의 AX 수준에 따라 분류했습니다. 사이트 가독 여부와 관계없이 완성된 답변 중 모델의 학습 지식에서 나온 비율은 7~10%에 불과했습니다. 에이전트 친화적인(agent-ready) 기업은 자체 페이지를 기반으로 답변이 구축된 비율이 56% 대비 78%였으며 명확하게 추천되는 빈도가 1.9배 더 높았던 반면, 에이전트 친화적이지 않은 기업에 대한 그라운딩(grounding)된 답변은 에이전트에 평균 64% 더 많은 비용을 초래했습니다. 기업, 하네스, 질문을 고정했을 때 사이트를 기반으로 구축된 답변은 평균 41% 더 정확했습니다. 주요 실패 요인은 조작(fabrication)이 아닌 누락(omission)으로, 웹 기반으로 구축된 답변은 구매자가 요청한 사실을 전혀 포함하지 않을 확률이 3.7배 더 높았습니다. 4개 하네스 간의 기준선(baseline)은 크게 달랐으며 스택에 따라 명확한 추천 비율이 7배나 차이 났지만, 추천 격차는 모든 하네스에서 유지되었습니다. 에이전트 웹 시대에는 회자되는 것보다 읽힐 수 있는 것이 더 중요하며, 사이트의 AX를 개선하는 것이 기업이 활용할 수 있는 가장 강력한 수단입니다.
다단계 임베딩 검색을 통한 시각적 공간에서의 경로 탐색 학습
Learning to Route in Visual Space via Multi-Step Embedding Retrieval
대규모 언어 모델(LLM) 에이전트는 외부 지식에 접근하기 위해 검색 도구에 의존하지만, 시각적 에이전트 탐색은 여전히 표준 단일 단계 검색기로 인해 심각한 병목 현상을 겪고 있습니다. 현재의 파이프라인에서는 에이전트가 모든 중간 단계마다 텍스트 쿼리를 생성해야 하므로, 시각적 단서를 설명하기 어렵거나 검색기가 상위 결과 내에 필요한 중간 증거를 제시하지 못할 때 어려움을 겪습니다. 본 논문에서는 전체 임베딩 공간에 걸친 다단계 탐색을 검색 도구로 직접 위임함으로써 이러한 성능 병목 현상을 해결할 수 있다는 가설을 세웁니다. 이를 체계적으로 연구하기 위해 시각적 매칭과 검색 계획을 모두 테스트하는 5가지 핵심 난이도를 갖춘 유연한 데이터 생성 프레임워크이자 벤치마크인 VHOP을 소개합니다. 이 프레임워크를 바탕으로 지도 미세조정(supervised fine-tuning), 온라인 모방 학습, 강화학습을 결합하여 표준 임베딩 모델을 자기회귀적 다단계 검색기로 변환하는 엔드투엔드 학습 파이프라인인 VHOP-Router를 개발했습니다. 시각적 잠재 공간(latent space)에서 직접 동작하는 VHOP-Router는 에이전트가 중간 텍스트 쿼리를 작성할 필요 없이 단 한 번의 도구 호출로 연결된 이미지 체인을 검색합니다. 실험 결과에 따르면 VHOP-Router는 검색 성능을 5% 미만에서 76.3%로 크게 향상시킵니다. 에이전트 탐색에서 작업 성공률을 52.7% 향상시키고 평균 토큰 길이를 1886개에서 728개로 61% 감소시킨 반면, 에이전트 자체를 업그레이드했을 때는 3.7%의 성능 향상에 그쳤습니다. 에이전트가 단계마다 상위 50개 결과를 검색하는 강력한 기준선과 비교했을 때, VHOP-Router는 문맥 내(in-context) 이미지를 23배 줄이고 누적 API 페이로드를 35배 절감하면서도 우수한 성능을 유지합니다. 또한 이 모델들은 학습 시 보지 못한 난이도와 실제 테스트 세트에서도 견고한 일반화 성능을 보입니다. 궁극적으로 VHOP과 VHOP-Router는 고유한 LLM 기능을 완전히 온전하게 유지하면서 시각적 에이전트 탐색을 위한 효율적이고 효과적인 솔루션을 제공합니다.
경영학 교육을 위한 온프레미스 다중 강좌 RAG 튜터링: 캠퍼스 AI 튜터의 하드웨어-소프트웨어 트레이드오프
On-Premises Multi-Course RAG Tutoring for Business Education: Hardware-Software Trade-offs in a Campus AI Tutor
검색-증강 생성(RAG) 기반 캠퍼스 AI 튜터는 교재와 학생 대화를 기관 인프라 내에 유지하면서 지정된 강의 자료를 바탕으로 답변을 그라운딩(grounding)해야 합니다. 본 논문에서는 캠퍼스 웹 게이트웨이 뒤에 배포되고 Moodle에 임베드되어 사용되도록 설계된 학부 경영학 교육용 온프레미스 다중 강좌 RAG 튜터인 CourseChat을 소개합니다. 고유한 강좌 참조 번호(CRN)로 구분되는 6개의 격리된 강좌가 FastAPI 서비스, 로컬 벡터 데이터베이스, Ollama로 서빙되는 로컬 대규모 언어 모델(LLM)을 실행하는 트윈 엣지 AI 호스트를 공유합니다. 본 연구는 두 차례의 생성 모델 평가 라운드, 별도의 고정 근거 기반 소스 충실도 비교, 대화 및 퀴즈 감사를 보고합니다. 몇몇 더 큰 모델들은 강의실 속도 기준을 통과하지 못했으나, 12B 모델과 7B 대안 모델은 통과했습니다. 별도의 전문가 혼합(MoE) 후보 모델은 일부 수정을 개선했으나 새로운 사실적 오류 및 연속성 오류를 야기했습니다. 따라서 8B 모델이 보편적으로 최적이라고 주장하기보다는 전반적인 개선이 입증될 때까지 기존 8B 프로덕션 모델을 유지합니다. 소프트웨어 변경을 통해 강좌 범위를 보존하면서 후속 주제 해결을 개선했으며, 65개 모듈에 걸친 435개의 사전 구축된 질문을 통해 실시간 생성과 연습 문제를 분리했습니다. 이 결과는 모델 선택, 근거 선택, 서빙 호환성, 제품 설계를 통합적인 엔지니어링 의사결정으로 다루어야 함을 뒷받침합니다. 다만 학습 효과가 입증된 것은 아니며, 교수진 평가, 피크 부하 용량, 완전한 퍼블릭 게이트웨이 수용성은 여전히 별도의 평가 과제로 남아 있습니다.
발견했으나 읽지 못함: 추출된 텍스트가 문서 비전-언어 모델의 검색-읽기 격차를 해소하는 경우
Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models
검색-증강 문서 질의응답은 적절한 페이지를 찾기만 하면 비전-언어 모델(VLM)이 이를 읽을 수 있다고 가정합니다. 본 논문에서는 이러한 가정이 종종 빗나가 검색-읽기 격차(retrieval-reading gap), 즉 증거를 찾았음에도 사용하지 못하는 현상이 발생함을 보여줍니다. 쌍체 프로토콜(paired protocol)을 통해 검색된 페이지 이미지만 사용한 답변과 동일한 이미지에 추출된 텍스트를 함께 제공한 답변을 비교함으로써 이러한 격차를 분리하여 측정합니다. 추적 가능한 증거를 포함하는 자체 벤치마크인 FoveDoc-Bench에서 검색 단계는 거의 모든 증거 페이지를 찾아내지만, CPU 기반 OCR 텍스트를 추가하면 엄격한 정확도(strict accuracy)가 13~16포인트 향상됩니다. 정확한 텍스트 층(text layer)을 제공할 경우 이러한 이득은 대략 두 배로 증가하며, 이는 세 가지 계열의 6개 VLM 전반에서 나타나고 단일 계열 내에서는 모델 규모가 커질수록 격차가 좁혀지기는 하지만 완전히 사라지지는 않습니다. 판독기(reader)는 이 증거를 읽을 수는 있지만 찾아내지는 못합니다. 증거 영역을 잘라내어(crop) 제공하면 텍스트 추가로 인한 이득의 대부분을 회복하지만, 페이지 상에 해당 영역을 상자(box)로 표시하는 방식은 전혀 효과가 없습니다. 또한 동일한 프로토콜을 통해 두 가지 한계를 확인했습니다. 추출된 텍스트는 텍스트 형태의 증거에는 도움이 되지만 차트와 그림에서는 중립적이거나 오히려 해롭습니다. 이러한 이점은 검색 성능이 저하될수록 줄어들며, 동일한 형태의 무관한 텍스트는 감지할 수 있는 수준의 이득을 전혀 제공하지 못합니다. 즉, 추출된 텍스트는 제대로 작동하는 검색을 증폭시키는 장치일 뿐, 실패한 검색을 대체할 수 있는 수단은 아닙니다. 본 연구의 코드는 https://github.com/atoz03/fovedoc-sup 에서 확인할 수 있습니다.
LEGO: 법률 추론을 위한 Expert GraphRAG와 Expert Chain-of-Thought의 시너지
LEGO: Synergizing Expert GraphRAG and Expert Chain-of-Thought for Legal Reasoning
대규모 언어 모델(LLM)은 법률과 같은 고위험 영역에 점점 더 적용되고 있으나, 복잡한 법률 추론은 두 가지 구조적 난제로 여전히 제한된다. 첫째, 기존 RAG 및 GraphRAG 방법은 어휘적 또는 의미적 유사성을 강조하는 반면, 법조문 간의 규범적 관계를 간과한다. 둘째, 기본 사고의 연쇄(Chain-of-Thought) 프롬프팅은 법률 추론의 규범적 구조를 강제하지 않은 채 그럴듯한 근거를 생성할 수 있다. 법률 추론 영역의 파이프라인 병목을 해결하기 위해, 우리는 복잡한 법률 추론을 위해 Legal Expert GraphRAG와 expert Chain-of-thought를 상호 보완적으로 결합하는 이중 모듈 프레임워크인 LEGO를 제안한다. ExpertGraphRAG는 전문가 주석이 달린 민법 그래프에 이러한 규범적 관계를 인코딩하고, 탐욕적 규범 커버리지(normative-coverage) 검색 알고리즘을 사용하여 사례별 조문 부분 그래프를 동적으로 추출한다. 반면 ExpertCoT는 검색된 조문과 사건 사실을 구조화된 조문-사실-결론(Provision-Fact-Conclusion) 추론으로 구성한다. Qwen3-8B 백본을 사용할 때 LEGO는 LawExamQA_Civil에서 40.53% exact-match 정확도를 달성하여, 평가한 RAG 및 CoT 베이스라인을 능가하고 평가한 더 큰 모델들과 유사한 성능을 보이며, 다중 홉 질문에서도 견고성을 유지한다. 또한 개방형 벤치마크에서 평가한 베이스라인 중 최고 결과를 달성한다. 절제 연구(ablation studies)는 두 모듈의 개별적이고 상호 보완적인 기여를 확인하며, LLM의 복잡한 법률 추론 능력 향상에서 LEGO의 효과를 보여준다. 코드와 데이터셋은 다음 링크에서 확인할 수 있다: https://github.com/BLK-WHT/LEGO
토론
이 논문과 연결된 포럼 글이 아직 없습니다.