PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00018v1cs.AI

근거는 무엇을 전달하는가? 역할 특화 QA에서의 메시지 개입 연구

What Do Rationales Communicate? A Message-Intervention Study in Role-Specialized QA

역할 특화 질의응답(QA) 파이프라인에서는 추론기(reasoner)에서 검증기(verifier)로 근거(rationale)를 전달하는 방식이 점차 늘어나고 있지만, 이러한 메시지가 실제로 가져다주는 이점(더 나은 답변, 더 강력한 근거 지지 평가, 혹은 새로운 실패 지점)이 무엇인지는 불분명합니다. 본 연구에서는 증거와 후보 답변을 고정한 채 추론기-검증기 경계를 가로질러 전달되는 근거만을 변경하는 메시지 개입 진단 방식을 도입합니다. DeepSeek을 생성기 및 검증기로 활용하여 MuSiQue, HotpotQA, 2WikiMultiHopQA의 400개 예제에 대해 실험한 결과, 충실한(faithful) 근거는 근거가 없는 경우 대비 답변 정확도를 거의 높이지 못하는 반면, 변조된 근거는 지지 여부 판단을 크게 왜곡하는 것으로 나타났습니다. 맹검 검증기 프롬프트(blind verifier prompt) 환경에서 무해한 환문(paraphrase)은 지지 여부를 0~2.5%만 변화시켰으나, 변조된 근거는 지지 여부를 10~22%나 변화시켰으며, 명시적인 근거 검증 프롬프트는 이러한 패턴을 34~55%까지 증폭시켰습니다. 최종 답변의 변화 폭은 이보다 작았으며(2~30%), 변조로 인해 지지 판단이 바뀐 경우 중 답변 변경이 함께 발생한 비율은 2.9~35.3%에 불과했습니다. 인간 평가(human audit)는 이러한 결과가 중요한 이유를 보여줍니다. 유효한 변조 사례 중 16/42건이 변조 과신(corruption-overtrust) 사례였으며, 블라인드 테스트에서 인간은 모델이 수용한 감사 대상 변조 근거 중 9/10건을 거부하거나 불명확하다고 표시했습니다. 교차 모델 및 작업 경계 점검을 통해 해당 통로가 언제 활성화되고, 증폭되며, 비활성화되거나 작업 라벨로 통합되는지 밝혔습니다. 따라서 근거 공유는 단순한 답변 정확도 향상 경로가 아니라, 검증 메시지 메커니즘 관점에서 평가되어야 합니다.

arXiv:2609.27225v1cs.CL

Meet, Compare, or Abstain: 지식 격자 위의 결정론적 멀티홉 질의응답을 위한 LatWeave

Meet, Compare, or Abstain: LatWeave for Deterministic Multi-Hop Question Answering on Knowledge Lattices

확률적 질의응답 시스템은 대규모 언어 모델(LLM) 자체이든, 검색-증강 생성(RAG)이든, 학습된 멀티홉 검색기이든 관계없이 "무엇이 알려져 있는가"와 "어떻게 추론하는가"를 하나의 확률적 계산으로 뒤섞는다. 그 결과 환각(hallucination)을 근절할 수 없고, 증거 사슬을 감사할 수 없으며, 시스템이 모르는 경우에도 답을 내놓는다. 본 논문은 지식을 다차원 지식 격자(knowledge lattice)로 조직하고 멀티홉 QA를 세 가지 결정론적 연산자, 즉 meet(제약 교집합), compare(격자 순서 비교), abstain(구조적 기권)으로 컴파일하는 LatWeave를 제안한다. LLM은 구축 단계(일회성 추출)와 질의 계획 단계에서만 사용되며, 답변 생성 경로는 LLM을 전혀 사용하지 않고, 태스크 학습도 필요 없으며, 처음부터 끝까지 감사가 가능하다. 이를 통해 웹에 게시된 지식에 대한 질의응답을 항목별로 재현할 수 있게 된다. 본 논문은 전면적인 SOTA를 주장하는 대신, 여섯 개의 공개 벤치마크에서 이 패러다임의 작동 범위(operating envelope)를 규명한다. 지식이 완전한 경우(MetaQA, 39,093개 질문) meet 연쇄는 3홉까지 거의 손실이 없으며(any-hit 0.9975, 완전 지도학습 KBQA와 대등), 템플릿 기반 멀티홉의 본거지(2WikiMultihopQA held-out, n=1,258)에서는 EM 0.865로 기존에 발표된 구조 증강 RAG 재현 결과를 크게 상회한다. 오픈 텍스트의 깊은 조합(MuSiQue)과 추출 커버리지 공백(HotpotQA)에서는 성능 저하를 있는 그대로 보고하며, 그 원인을 격자 대수 층 바깥에 있는 요인으로 귀속한다. 정보가 불완전한 경우(IIRC)에는 기권 정확도(abstain accuracy) 0.971, 누출률(leak rate) 0.029로 구조적 기권을 달성한다. 이 작동 범위 안에서 결정론적 실행은 성능 저하를 초래하지 않으며, 답변 경로의 모든 단계를 다시 계산할 수 있다. 이것이 바로 종단 간 감사 가능성의 원천이다.

arXiv:2609.26086v1cs.CL

CoVeR: 에이전트형 검색에서 커버리지 기반 검증기 호출 라우팅

CoVeR: Coverage-Based Routing of Verifier Calls in Agentic Retrieval

에이전트형 검색(agentic retrieval) 시스템은 일련의 검색 쿼리를 발행하며, 각 단계에서 지금까지 수집한 증거가 검색을 멈추기에 충분한지 판단해야 한다. 이 판단을 LLM 검증기(verifier)나 프롬프트 판정기(prompt judge)에 위임하면 중단 시점 결정이 신뢰할 수 있게 되지만, 검증기가 매 검색 단계마다 계속 늘어나는 증거를 다시 처리해야 하므로 상당한 반복 비용이 발생한다. 본 논문은 이러한 호출 대부분을 답변 정확도를 실질적으로 변화시키지 않고 생략할 수 있음을 보인다. 고정된(frozen) 문장 임베딩 커버리지 마진(coverage margin)에 대한 단일 임계값만으로 증거가 아직 명백히 불완전한 상태를 탐지할 수 있으며, 검증기는 나머지 모호한 경우에만 호출된다. 우리는 이러한 게이트를 CoVeR(Coverage-based Verifier Routing, 커버리지 기반 검증기 라우팅)라고 부른다. 전체 규모 실험 이전에 평가 프로토콜을 고정한 상태에서 세 가지 멀티홉 QA 벤치마크를 대상으로 실험한 결과, CoVeR 게이트를 적용한 에이전트는 전체 예산(full-budget) 에이전트 및 항상 검증하는(always-verify) 기준선 모두와 EM 1점 미만의 차이 이내로 동등한 답변 정확도를 보였다. 이 방식은 검증기 호출을 62-68% 줄이며, 포화(saturated) 환경에서는 93%까지 줄인다. 증거 개수, 어휘 중첩(lexical overlap), BM25 관련도에 기반한 라우터는 단독으로 사용하거나 결합하여 학습하더라도 전반적인 트레이드오프가 더 열등했다. 또한 이 게이트는 재튜닝 없이 판정기(decider)와 에이전트 규모 전반에 걸쳐 전이되며, 그 드래프터(drafter)는 고정된 인코더 위에 얹은 921k 매개변수 헤드로 지식 증류(distillation)할 수 있어 라우팅 루프에 LLM이 전혀 필요하지 않다. 다만 동일한 신호가 검증 자체를 대체할 수는 없다. 주장과 일치하는 내용을 찾는 것이 그 주장이 뒷받침된다고 판단하는 것보다 훨씬 쉽기 때문이다.

arXiv:2607.23278v1cs.CL

무학습 다중 홉 질의응답을 위한 공진화 그래프-텍스트 메모리

Co-Evolving Graph and Text Memory for Training-Free Multi-Hop Question Answering

다중 홉 질의응답은 추론 단계 전반에 걸쳐 관계적·텍스트 증거를 조율해야 하며, 이는 텍스트 코퍼스나 지식 그래프(KG)만으로는 제공할 수 없는 조합이다. 기존 연구는 이 루프의 일부만 강조하는 경우가 많다: 그래프 증강 RAG는 사전 구축되거나 쿼리에 따라 갱신된 그래프에서 검색하고, KGQA 시스템은 주제 중심 부분 그래프 내에서 탐색하며, 메모리 증강 에이전트는 그래프 메모리와 텍스트 문맥을 지속적으로 조화시키지 않은 채 진화하는 메모리만 유지한다. 우리는 동기화된 양방향 그래프-텍스트 작업 메모리를 중심으로 한 무학습 시스템 Co-E를 제안한다. 동기화 사이클은 텍스트 메모리를 통합하고, 관계 트리플을 그래프 메모리로 추출하며, 그래프 사실을 다시 생성 컨텍스트에 주입한다. 두 메모리가 모두 유지되므로 이후 검색과 생성을 형성한다. 6개의 다중 홉 QA 벤치마크에서 평가한 결과, Co-E는 유사한 무학습 오픈 백본 베이스라인보다 성능이 향상되었으며, 더 크거나 학습된 시스템과 경쟁력을 보인다.

arXiv:2607.22597v1cs.AI

HyCE-RAG: 설명 가능한 다중 홉 질의응답을 위한 하이퍼그래프 증거 연쇄 검색-증강 생성

HyCE-RAG: Hypergraph Chain-of-Evidence Retrieval-Augmented Generation for Explainable Multi-hop Question Answering

다중 홉 질의응답은 시스템이 여러 문서에서 증거를 검색하고 흩어진 사실들을 일관된 추론 과정으로 연결해야 한다. 표준 검색-증강 생성(RAG)은 주로 쿼리와 텍스트 청크 간의 의미적 유사성에 의존하므로, 엔티티, 사실, 증거 단위 간의 구조적 관계를 모델링하는 데 자주 실패한다. 그래프 기반 RAG는 그래프 구조 지식을 도입하여 이를 개선하지만, 쌍wise 엣지는 여러 엔티티와 맥락을 포함하는 고차 연관을 표현하는 데 여전히 한계가 있다. 우리는 설명 가능한 다중 홉 질의응답을 위한 하이퍼그래프 증거 연쇄 검색-증강 생성(HyCE-RAG) 프레임워크를 제안한다. HyCE-RAG는 엔티티, 관계, 맥락적 증거를 하이퍼엣지로 구성하고, 쿼리 인식 증거 하이퍼그래프를 구축하며, 엔티티–하이퍼엣지 incidence 구조에 대한 신뢰도 전파를 수행한다. 이어서 답변 생성 전에 신뢰도 기반 증거 조립을 통해 증거 경로를 선택, 연결, 순위화한다. 점수화 과정은 의미적 관련성, 엔티티 연결성, 증거 커버리지, 관계 신뢰도, 추출 신뢰도, 전파된 신뢰도를 공동으로 고려한다. 평탄한 검색 구절이 아닌 구조화된 증거 연쇄를 언어 모델에 제공함으로써, HyCE-RAG는 더 충실하고 해석 가능한 추론을 지원한다. HotpotQA, 2WikiMultihopQA, MuSiQue 및 GraphRAG-Bench의 두 하위 집합에 대한 실험에서 HyCE-RAG는 답변 정확도, 맥락 관련성, 충실성 측면에서 표준 RAG 및 그래프 기반 RAG 베이스라인을 지속적으로 능가한다. 이 결과는 하이퍼그래프 기반 증거 구성이 복잡한 질의응답에서 검색 후 추론(post-retrieval reasoning)의 유망한 방향임을 시사한다.

arXiv:2607.20459v1cs.CL

THOR: 멀티홉 QA를 위한 Theta-Gamma 계층적 진동 추론 프레임워크

THOR: A Theta-Gamma Hierarchical Oscillatory Reasoning Framework for Multi-hop QA

멀티홉 질의응답은 여러 맥락에서 증거를 검색하고 통합하는 것을 요구한다. 현재 연구가 빠르게 진전하고 있음에도 불구하고, 멀티홉 추론은 두 가지 지속적인 한계에 의해 제약받는다: 어텐션 감쇠(attention decay), 즉 추론 체인이 길어질수록 주요 질문에 대한 모델의 집중이 저하되는 현상, 그리고 오류 누적(error accumulation), 즉 실수가 홉을 거치며 전파되어 최종 실패로 누적되는 현상이다. 전역 계획을 지역 검색과 분리하고, 홉 간 효율적인 어텐션 전달을 가능하게 하며 잘못된 경로에서의 오류 누적을 차단하는 검증 및 복구 메커니즘을 제공하는 Theta-Gamma 계층적 진동에서 영감을 받아, 우리는 뇌에서 영감을 받은 Theta-Gamma 계층적 진동 추론 프레임워크인 THOR를 제안한다. 멀티홉 QA 벤치마크에 대한 광범위한 비교 실험과 구체적인 검증 실험은 THOR가 한계를 완화하면서 답변 정확도와 견고성을 향상시키며, 다양한 백본에 걸친 일반화 성능을 보여준다는 것을 입증한다.

arXiv:2606.21262v2cs.AI

ARCO: 다단계 LLM 기반 에이전트를 위한 공진화 적응형 루브릭

ARCO: Adaptive Rubrics with Co-Evolution for Multi-Step LLM-Based Agents

다단계 LLM 에이전트를 위한 강화학습은 종종 성공 여부는 나타내지만 궤적이 좋은지 나쁜지 그 이유를 설명할 수 없는 스칼라 보상에 의존한다. 루브릭 기반 보상은 자연어 기준을 통해 해석 가능성을 높이지만, 기존 방법들은 두 가지 한계를 공유한다: 궤적 수준에서 점수를 매겨 개별 단계에 대한 안내를 제공하지 않으며, 채점기가 폐쇄형이고 정적이어서 학습 중 에이전트가 진화함에 따라 적응할 수 없다. 우리는 ARCO(Adaptive Rubric CO-evolution)를 제안한다. ARCO는 단계별 루브릭을 생성하고 각 행동에 대해 루브릭 조건부 단계 수준 보상을 예측하며, 온-정책 롤아웃에서 이 루브릭 모델을 지속적으로 업데이트하여 기준과 점수가 에이전트의 개선되는 행동과 공진화하도록 한다. HotpotQA, 2WikiMultiHopQA, MuSiQue에서 두 개의 오픈소스 백본을 사용한 실험에서 ARCO는 결과-, 루브릭-, 프로세스 보상 기준선들보다 모든 설정에서 최고의 EM을 달성했으며, 분석 결과 루브릭이 단계별로 구체적이고 설계 선택에 강건하며 에이전트 행동 진단에 유용함을 보여준다. 코드와 데이터는 https://github.com/zihangtian/ARCO 에서 제공된다.

arXiv:2607.10795v1cs.AI

STEC: 개방형 다중 홉 QA의 심층 탐색을 위한 증거 압축

STEC: Evidence Compression for Deep Search in Open-domain Multi-Hop QA

개방형 다중 홉 질의응답(QA)에서 대규모 언어 모델(LLM) 기반 탐색 에이전트는 검색과 추론을 결합하여 지식 집약적 QA에 유망한 접근법을 제공한다. 기존 방법들은 주로 추론 패러다임, 검색 상호작용, 탐색 전략 최적화를 통해 개방형 다중 홉 QA를 개선한다. 그러나 여러 탐색 궤적을 사용하면 최종 답변 선택이라는 어려운 문제가 발생한다. 서로 다른 궤적이 서로 다른 후보를 지지할 수 있으며, 검색된 정보는 이질적이거나 중복되거나 불완전하거나 상충될 수 있다. 원시 궤적을 직접 비교하면 검증기가 노이즈가 많고 정렬되지 않은 내용에 노출되는 반면, 답변 문자열만 비교하면 각 후보를 뒷받침하는 증거가 무시되어 신뢰할 수 있는 최종 선택이 어려워진다. 이러한 문제를 해결하기 위해 우리는 다중 홉 QA에서의 최종 답변 선택을 위한 증거 압축 프레임워크인 STEC을 제안한다. STEC은 두 가지 메커니즘을 통해 기존 후보 집합에서 최종 답변을 선택한다: (1) 정규화된 답변 식별자에 따라 궤적을 그룹화하고 각 답변 그룹을 후보별 증거 표현으로 변환하는 답변 수준 증거 압축(Answer-Level Evidence Compression), (2) 이러한 표현들을 비교하여 후보 집합에서 최종 답변을 선택하는 증거 기반 답변 검증(Evidence-Guided Answer Verification). 이 설계는 최종 선택을 원시 궤적 비교에서 후보 수준의 증거 비교로 전환한다. 우리는 대표적인 베이스라인과 비교하여 네 가지 개방형 다중 홉 QA 벤치마크에서 STEC을 평가한다. 실험 결과, STEC은 비교 방법들 중 전반적으로 가장 우수한 성능을 보이며, 소거 실험 결과는 답변 수준 증거 압축이 최종 답변 선택에 기여함을 뒷받침하는 증거를 제공한다.

arXiv:2606.22681v1cs.CL

모르는 것만 물어라: 효율적인 다단계 RAG를 위한 그라운딩 델타 계획

Only Ask What You Don't Know: Grounded Delta Planning for Efficient Multi-step RAG

다중 홉(multi-hop) 질의응답 RAG에서 반복 검색 오류 누적과 불필요한 추론 단계를 줄이기 위해, 예비 검색으로 계획을 그라운딩(grounding)하고 누락된 정보(정보 델타)에 대해서만 하위 질의를 생성하는 GDP-RAG를 제안한다. HotpotQA, 2WikiMultiHopQA, MuSiQue에서 비교 시스템 중 최고 정확도 60.63%와 cost-of-pass 0.51을 달성해, 더 높은 정확도와 더 낮은 비용을 동시에 만족하는 방법으로 나타났다.

arXiv:2606.21553v1cs.CL

에이전틱 RAG 분석: 로컬 7B 모델을 이용한 다중 홉 QA 구성 요소 소거 실험

Dissecting Agentic RAG: A Component Ablation for Multi-Hop QA with a Local 7B Model

에이전틱 검색-증강 생성(RAG) 시스템은 다중 홉 질의응답을 해결하기 위해 반복적 추론 루프, 쿼리 분해, 적응형 검색을 결합한다. 그러나 각 구성 요소의 기여도는, 특히 로컬 언어 모델만을 사용하는 자원 제약 환경에서는 여전히 잘 이해되지 않는다. 많은 에이전틱 설계는 추가된 복잡성이 도움이 된다는 가정 아래 적응형 검색 라우팅과 더 깊은 검색 루프를 도입한다. 이 가정이 타당한지 검증하기 위해, 로컬 7B 매개변수 모델(Qwen2.5-7B-Instruct)을 사용하여 HotpotQA distractor development set의 5,000개 질문으로 평가한 완전한 에이전틱 RAG 파이프라인에 대한 통제된 소거 실험을 수행했다. 전체 파이프라인은 EM=53.2%, F1=61.6%를 달성했으며, 단일 패스 밀집 검색 기준선의 EM=43.1%, F1=54.0%에 비해 높았다. 여덟 가지 소거 조건에서 다음을 확인했다: (1) reciprocal rank fusion을 통한 고정형 하이브리드 검색이 규칙 기반 적응형 라우팅보다 일관되게 더 우수하며(EM +1.8, F1 +1.9), 라우팅 휴리스틱이 거의 모든 다중 홉 하위 질문에 존재하는 개체명에 반응하여 BM25로 과도하게 라우팅하기 때문이다; (2) 분해된 하위 질문에 대한 2회 검색 반복이 5회의 이득의 95%를 포착하며, 더 깊은 루프에서는 의미 있는 이점이 없다; (3) 쿼리 분해와 cross-encoder 재순위화는 각각 통계적으로 유의미하지만 더 작은 이득을 기여한다(각각 p<0.01, p<0.001). 종합하면, 고정된 로컬 모델 예산 하에서 더 단순하고 고정된 선택이 적응형 버전과 경쟁력 있거나 더 나은 것으로 나타났다. 대부분의 이득은 적응형 라우팅이나 많은 반복이 아니라 짧은 검색 루프를 실행하는 데서 비롯된다. 우리는 독점 API나 대규모 컴퓨팅을 사용하지 않았다.

arXiv:2606.06758v1cs.CL

긴 컨텍스트 및 검색 증강 언어 모델에서의 증거 활용을 위한 4가지 조건 진단 프로토콜

A Four-Condition Diagnostic Protocol for Evidence Utilization in Long-Context and Retrieval-Augmented Language Models

최종 답변 정확도, 검색 재현율, 인용 중첩만으로는 긴 컨텍스트(long-context) 또는 검색 증강 언어 모델이 제공된 증거를 활용했는지 여부를 식별할 수 없습니다. 모델은 파라메트릭 메모리(parametric memory)를 통해 답변하거나, 올바른 구절을 제공받았음에도 실패하거나, 증거를 요청된 답변으로 변환하지 않은 채 인용할 수 있습니다. 본 논문은 고정된 예시, 프롬프트, 점수 필드, 검색 설정, 유효성 검사 하에서 증거 활용을 진단하기 위해 일치된 4가지 조건의 증거 가용성 프로토콜(증거 없음, 전체 컨텍스트, 검색된 증거, 오라클 증거 참조)을 제안합니다. ONCU는 회복된 오라클 참조 증거 이점에 대한 프로토콜 종속 추정량으로 사용되며, 분모 유효 그룹에 대해서만 계산됩니다. 분모 무관 답변, 증거, 검색 및 실패 감사 메트릭은 별도로 보고됩니다. 실증 연구에서는 18,000개의 ONCU 호환 예측을 통해 Controlled-ONCU-safe16K, HotpotQA-ONCU, 2WikiMultiHopQA-ONCU 데이터셋에서 Qwen, Gemma, Llama, Mistral 계열의 5개 로컬 오픈 가중치 모델을 평가했습니다. 주요 발견 사항은 작업 의존적 병목 분할입니다. 제어된 합성 설정은 주로 전체 컨텍스트 활용 실패를 드러내는 반면, 테스트된 현실적 멀티홉(multi-hop) 설정은 주로 분모 무관 답변 및 증거 메트릭에서 검색 체인 커버리지 실패를 드러내며, ONCU는 오라클 개선 그룹에서 동일한 방향을 뒷받침합니다. 본 연구의 기여는 긴 컨텍스트 또는 검색 증강 시스템에 대한 단일 점수 리더보드가 아니라, 증거 없는 답변 가능성, 오라클 증거 회복 가능성, 전체 컨텍스트 활용, 검색 조건부 활용을 분리하기 위한 진단 프로토콜입니다.