PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.26449v1cs.CL

ProvenAI: 생성 답변에서의 출처 기반 증거 추적

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI는 검색-증강 생성(RAG) 다중 홉 질의응답에서 답변 정확도, 벤치마크 지원 증거 대비 인용 충실도, leave-one-resource-out 개입 기반 문서별 영향력을 독립 계층으로 측정하는 7단계 평가 프레임워크를 제안한다. HotpotQA distractor 검증 7,405건에서 답변 정확도 53.53%, 평균 인용 충실도 71.55%를 기록했으며, 인용 감사는 양호하지만 인용된 출처의 영향은 약하고 인용되지 않은 출처가 출력을 바꾸는 인용-영향력 격차를 보여준다.

arXiv:2606.21553v1cs.CL

에이전틱 RAG 분석: 로컬 7B 모델을 이용한 다중 홉 QA 구성 요소 소거 실험

Dissecting Agentic RAG: A Component Ablation for Multi-Hop QA with a Local 7B Model

에이전틱 검색-증강 생성(RAG) 시스템은 다중 홉 질의응답을 해결하기 위해 반복적 추론 루프, 쿼리 분해, 적응형 검색을 결합한다. 그러나 각 구성 요소의 기여도는, 특히 로컬 언어 모델만을 사용하는 자원 제약 환경에서는 여전히 잘 이해되지 않는다. 많은 에이전틱 설계는 추가된 복잡성이 도움이 된다는 가정 아래 적응형 검색 라우팅과 더 깊은 검색 루프를 도입한다. 이 가정이 타당한지 검증하기 위해, 로컬 7B 매개변수 모델(Qwen2.5-7B-Instruct)을 사용하여 HotpotQA distractor development set의 5,000개 질문으로 평가한 완전한 에이전틱 RAG 파이프라인에 대한 통제된 소거 실험을 수행했다. 전체 파이프라인은 EM=53.2%, F1=61.6%를 달성했으며, 단일 패스 밀집 검색 기준선의 EM=43.1%, F1=54.0%에 비해 높았다. 여덟 가지 소거 조건에서 다음을 확인했다: (1) reciprocal rank fusion을 통한 고정형 하이브리드 검색이 규칙 기반 적응형 라우팅보다 일관되게 더 우수하며(EM +1.8, F1 +1.9), 라우팅 휴리스틱이 거의 모든 다중 홉 하위 질문에 존재하는 개체명에 반응하여 BM25로 과도하게 라우팅하기 때문이다; (2) 분해된 하위 질문에 대한 2회 검색 반복이 5회의 이득의 95%를 포착하며, 더 깊은 루프에서는 의미 있는 이점이 없다; (3) 쿼리 분해와 cross-encoder 재순위화는 각각 통계적으로 유의미하지만 더 작은 이득을 기여한다(각각 p<0.01, p<0.001). 종합하면, 고정된 로컬 모델 예산 하에서 더 단순하고 고정된 선택이 적응형 버전과 경쟁력 있거나 더 나은 것으로 나타났다. 대부분의 이득은 적응형 라우팅이나 많은 반복이 아니라 짧은 검색 루프를 실행하는 데서 비롯된다. 우리는 독점 API나 대규모 컴퓨팅을 사용하지 않았다.