PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21553v1cs.CL

에이전틱 RAG 분석: 로컬 7B 모델을 이용한 다중 홉 QA 구성 요소 소거 실험

Dissecting Agentic RAG: A Component Ablation for Multi-Hop QA with a Local 7B Model

에이전틱 검색-증강 생성(RAG) 시스템은 다중 홉 질의응답을 해결하기 위해 반복적 추론 루프, 쿼리 분해, 적응형 검색을 결합한다. 그러나 각 구성 요소의 기여도는, 특히 로컬 언어 모델만을 사용하는 자원 제약 환경에서는 여전히 잘 이해되지 않는다. 많은 에이전틱 설계는 추가된 복잡성이 도움이 된다는 가정 아래 적응형 검색 라우팅과 더 깊은 검색 루프를 도입한다. 이 가정이 타당한지 검증하기 위해, 로컬 7B 매개변수 모델(Qwen2.5-7B-Instruct)을 사용하여 HotpotQA distractor development set의 5,000개 질문으로 평가한 완전한 에이전틱 RAG 파이프라인에 대한 통제된 소거 실험을 수행했다. 전체 파이프라인은 EM=53.2%, F1=61.6%를 달성했으며, 단일 패스 밀집 검색 기준선의 EM=43.1%, F1=54.0%에 비해 높았다. 여덟 가지 소거 조건에서 다음을 확인했다: (1) reciprocal rank fusion을 통한 고정형 하이브리드 검색이 규칙 기반 적응형 라우팅보다 일관되게 더 우수하며(EM +1.8, F1 +1.9), 라우팅 휴리스틱이 거의 모든 다중 홉 하위 질문에 존재하는 개체명에 반응하여 BM25로 과도하게 라우팅하기 때문이다; (2) 분해된 하위 질문에 대한 2회 검색 반복이 5회의 이득의 95%를 포착하며, 더 깊은 루프에서는 의미 있는 이점이 없다; (3) 쿼리 분해와 cross-encoder 재순위화는 각각 통계적으로 유의미하지만 더 작은 이득을 기여한다(각각 p<0.01, p<0.001). 종합하면, 고정된 로컬 모델 예산 하에서 더 단순하고 고정된 선택이 적응형 버전과 경쟁력 있거나 더 나은 것으로 나타났다. 대부분의 이득은 적응형 라우팅이나 많은 반복이 아니라 짧은 검색 루프를 실행하는 데서 비롯된다. 우리는 독점 API나 대규모 컴퓨팅을 사용하지 않았다.

arXiv:2606.17821v1cs.AI

DecoSearch: Text-to-SQL을 위한 복잡도 인식 라우팅 및 계획 수준 복구

DecoSearch: Complexity-Aware Routing and Plan-Level Repair for Text-to-SQL

대규모 언어 모델(LLM)은 자연어를 SQL로 변환하는 데 뛰어난 능력을 보여주었지만, 다단계적이고 데이터 인식(data-aware) 추론이 필요한 복잡한 쿼리에서는 기존 방법들이 여전히 부족함을 드러냅니다. 우리는 이를 해결하기 위해 각 쿼리를 적절한 수준의 추론 노력으로 라우팅하는 학습 없는(training-free) 프레임워크인 DecoSearch를 제안합니다. 경량 Schema Selector가 먼저 전체 데이터베이스 스키마를 관련 테이블과 열로 가지치기합니다. 이후 LLM Judger가 질문에 분해(decomposition)가 필요한지 판단합니다. 단순한 질문은 직접 생성 경로를 따르고, 복잡한 질문은 원자적 하위 질문들의 방향성 비순환 그래프(DAG)로 상향 조정되며, 각 하위 질문은 목표 지향적인 SQL 생성 단계로 해결됩니다. RAG 구성요소는 의미적으로 유사한 학습 예시로 분해기(decomposer)를 그라운딩하고, Topology Refiner는 실행 실패가 수정 가능한 SQL 오류가 아닌 결함 있는 분해를 나타낼 때 추론 계획을 재구성합니다. DecoSearch는 DeepSeek 백본으로 BIRD에서 70.53%, Spider에서 88.31%의 실행 정확도를 달성하여, 경쟁 방법들보다 한 자릿수 적은 토큰을 소비하면서 모든 학습 없는 기준선을 능가합니다. 또한 이는 모델에 구애받지 않는 래퍼로 작동하여, 파이프라인을 수정하지 않고도 파인튜닝된 SQL 생성 백본을 일관되게 개선합니다.