arXiv:2504.05258

Learning to Reason Over Time: Timeline Self-Reflection for Improved Temporal Reasoning in Language Models

Adrián Bazaga, Rexhina Blloshmi, Bill Byrne, Adrià De Gispert

제출 2025-04-07

원문 초록

Large Language Models (LLMs) have emerged as powerful tools for generating coherent text, understanding context, and performing reasoning tasks. However, they struggle with temporal reasoning, which requires processing time-related information such as event sequencing, durations, and inter-temporal relationships. These capabilities are critical for applications including question answering, scheduling, and historical analysis. In this paper, we introduce TISER, a novel framework that enhances the temporal reasoning abilities of LLMs through a multi-stage process that combines timeline construction with iterative self-reflection. Our approach leverages test-time scaling to extend the length of reasoning traces, enabling models to capture complex temporal dependencies more effectively. This strategy not only boosts reasoning accuracy but also improves the traceability of the inference process. Experimental results demonstrate state-of-the-art performance across multiple benchmarks, including out-of-distribution test sets, and reveal that TISER enables smaller open-source models to surpass larger closed-weight models on challenging temporal reasoning tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22621v1cs.AI공통 태그 Question Answering, Scheduling

Opti-Q: 다중 LLM 질문 계획을 위한 제약 기반 최적화 프레임워크

Opti-Q: A Constraint-Based Optimization Framework for Multi-LLM Question Planning

대규모 언어 모델(LLM)은 강력한 질의응답(QA)을 가능하게 하지만, 예산 내 배포는 비결정성과 이질적인 자원 프로파일(비용, 지연시간, 에너지)로 인해 복잡해진다. 우리는 다중 LLM 오케스트레이션을 위한 실행 전 계획(plan-before-execute) 패러다igm을 구현하는, 데이터베이스에서 영감을 받은 비용 기반 옵티마이저 OPTI-Q를 제안한다. OPTI-Q는 LLM 호출을 실행 방향성 비순환 그래프(DAG)의 물리적 연산자로 모델링하고, 각 질문에 대해 사용자가 지정한 자원 제약 하에서 답변 품질(QoA)을 최적화하면서 금전적 비용, 지연시간, 에너지 간 트레이드오프를 고려하는 계획을 탐색한다. 계획에는 중간 답변을 컨텍스트로 전달하는 순차 연산자와, 모델을 동시에 실행하고 출력을 병합하는 병렬/블렌드 연산자가 포함될 수 있다. 각 후보 계획을 실행하지 않고 이 공간을 탐색하기 위해, OPTI-Q는 벤치마크와 실행 트레이스로 채워지고 갱신되는 통계 카탈로그 PERFDB를 사용하여 개별 연산자와 구성된 하위 계획 모두의 QoA와 자원 비용을 추정한다. 이 추정치를 활용하여 OPTI-Q는 파레토 프론티어 탐색을 수행하고 사용자 선호에 따라 최종 계획을 선택한다. 사용자가 지정한 예산 하에서 MMLU-Pro와 SimpleQA에서 OPTI-Q는 유사한 비용에서 베이스라인 대비 평균 QoA를 각각 약 58% 및 41% 향상시켰으며, 이는 데이터베이스 스타일 계획이 다중 LLM QA에서 더 나은 품질-자원 트레이드오프를 제공함을 보여준다.

arXiv:2607.15257v1cs.AI공통 태그 Question Answering, Scheduling

SearchOS-V1: 견고한 개방 도메인 정보 탐색 에이전트 협업을 향하여

SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration

도구 통합 대규모 언어 모델(Tool-Integrated LLM)의 최근 발전으로 웹 검색은 정보 탐색 에이전트의 핵심 역량이 되었다. 그러나 상호작용 기록이 길어질수록 에이전트는 작업 진행 상황을 추적하는 데 점점 더 어려움을 겪는다. 검색 시도가 유용한 증거를 제공하지 못하면, 현재의 단일- 및 다중 에이전트 시스템은 반복적인 루프에 빠질 수 있으며, 검색 예산을 낭비하고 궁극적으로 최종 산출물의 품질과 완전성을 저하시킨다. 우리는 SearchOS를 소개하는데, 이는 취약한 암묵적 검색 진행 상태를 명시적이고 지속적이며 공유 가능한 상태로 전환하는 시스템 수준의 다중 에이전트 프레임워크이다. 먼저, 개방 도메인 정보 탐색을 그라운딩된 인용이 포함된 관계형 스키마 완성(relational schema completion)으로 공식화하는데, 에이전트는 엔티티를 발견하고 연결된 테이블 간 속성을 채우며, 각 값을 출처 증거에 고정한다. 이어서 Search-Oriented Context Management(SOCM)를 설계하는데, 이는 진화하는 상태를 Frontier Task, Evidence Graph, Coverage Map, Failure Memory로 외부화한다. SOCM 위에 구축된 SearchOS는 파이프라인 병렬 스케줄링 메커니즘을 적용하며, 서브 에이전트의 실행을 겹치게 하고 해결되지 않은 커버리지 공백을 대상으로 하는 작업으로 확보된 슬롯을 지속적으로 재채워 활용률과 처리량을 향상시킨다. 검색 에이전트의 실행을 스케줄링하고 제어하기 위해 SearchOS는 Search Tool Middleware Harness를 도입한다. 이는 모델과 도구 상호작용을 가로채 그라운딩된 증거를 기록하고 정지 또는 예산 소진에 대응하며, 전략 스킬과 접근 스킬로 구성된 재사용 가능한 계층적 스킬 시스템을 제공하여 에이전트의 검색 프로세스를 보강하고 실행 간 실패한 검색 패턴의 반복을 피한다. WideSearch와 GISA에서 SearchOS는 평가된 단일- 및 다중 에이전트 베이스라인 중 모든 지표에서 최고 성능을 기록하며, 견고한 정보 탐색 협업을 향한 길을 열어준다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.