arXiv:2606.20359v1 cs.LG

학습, 검색, 또는 둘 다? 온타리오 주거 임대법에 대한 올바른 법령 인용을 위한 4개 그룹 대결 실험

Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act

Ali Asaria, Tony Salomone, Deep Gandhi

제출 2026-06-18

한국어 초록

자가 대리를 하는 임차인, 임대인 및 헬프데스크 직원은 올바른 법령 인용과 함께 실제로 질문을 규율하는 법 조항을 안내받아야 합니다. 우리는 온타리오 주거 임대법 2006년판(RTA)과 그 핵심 규정에 대해 이 작업을 연구하며, 운영자의 질문을 실증적으로 제기합니다: 미세조정(fine-tuning)만으로 충분한가, 아니면 하이브리드 검색이 필요한가? 우리는 Qwen2.5-7B-Instruct를 사용하여 4개 그룹 대결(기본 제로샷, LoRA SFT만, RAG만, SFT+RAG 하이브리드)을 수행하며, 인간 검증이 대기 중인 소규모 실제 평가 세트에서 인용 정확 일치(조+항)로 점수를 매깁니다. 기본 모델은 RTA를 인용할 수 없으며 SFT만 수행한 모델은 조항을 잘못 재현합니다. 검색은 필수적이며 설계상 환각을 0으로 만듭니다. SFT+RAG 하이브리드는 0.481의 정확 일치 점수로 가장 높은 성능을 기록했으며 환각 인용은 0이었습니다. 이 모델의 우위는 제로샷 RAG를 저해하는 높은 재현율의 후보 세트에 대해 SFT가 조항 선택을 더 견고하게 만들기 때문에 발생합니다. 특히, 이 저렴한 bge-small 하이브리드는 더 크고 전문화된 검색 모델(더 큰 임베더와 크로스 인코더 리랭커)로 구축된 파이프라인과 대등하거나 더 나은 성능을 보이며, 더 크거나 개선된 학습 세트도 도움이 되지 않습니다: 여기서 강력한 법령 인용 성능은 전문화된 검색 모델이나 더 많은 데이터를 필요로 하지 않습니다. 이 결과물은 환각을 0으로 만들고 기본 모델 대비 향상 기준을 충족하지만, 지향하는 0.70 정확 일치 목표에는 도달하지 못했습니다. 모든 결과는 인간 검증이 대기 중인 소규모 실제 평가 세트에 대한 것이며 예비 결과로 보고됩니다.

원문 초록

Self-represented tenants, landlords, and help-desk staff need to be pointed at the provision of law that actually governs a question, with a correct statutory citation. We study this task on the Ontario Residential Tenancies Act, 2006 (RTA) and its core regulation, asking the operator's question empirically: is fine-tuning enough, or is hybrid retrieval needed? We run a four-arm head-to-head on Qwen2.5-7B-Instruct (base zero-shot, LoRA SFT-only, RAG-only, and an SFT+RAG hybrid), scored on citation exact-match (section+subsection) over a small, human-verification-pending real eval set. The base model cannot cite the RTA and SFT-only mis-recalls sections; retrieval is essential and drives hallucination to zero by construction; and the SFT+RAG hybrid scores highest at 0.481 exact-match with zero hallucinated citations. Its edge comes from SFT making provision selection more robust to the higher-recall candidate sets that hurt zero-shot RAG. Notably, this cheap bge-small hybrid matches or beats a pipeline built on bigger, specialized retrieval models (a larger embedder and a cross-encoder reranker), and a larger/improved training set does not help either: strong statutory-citation performance here does not require specialized retrieval models or more data. The artifact zeroes hallucination and clears the lift-over-base bar but does not reach the aspirational 0.70 exact-match target. All results are on a small, human-verification-pending real eval set and are reported as preliminary.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20359v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27225v1cs.CL공통 태그 Question Answering, Hallucination, Retrieval-augmented Generation

Meet, Compare, or Abstain: 지식 격자 위의 결정론적 멀티홉 질의응답을 위한 LatWeave

Meet, Compare, or Abstain: LatWeave for Deterministic Multi-Hop Question Answering on Knowledge Lattices

확률적 질의응답 시스템은 대규모 언어 모델(LLM) 자체이든, 검색-증강 생성(RAG)이든, 학습된 멀티홉 검색기이든 관계없이 "무엇이 알려져 있는가"와 "어떻게 추론하는가"를 하나의 확률적 계산으로 뒤섞는다. 그 결과 환각(hallucination)을 근절할 수 없고, 증거 사슬을 감사할 수 없으며, 시스템이 모르는 경우에도 답을 내놓는다. 본 논문은 지식을 다차원 지식 격자(knowledge lattice)로 조직하고 멀티홉 QA를 세 가지 결정론적 연산자, 즉 meet(제약 교집합), compare(격자 순서 비교), abstain(구조적 기권)으로 컴파일하는 LatWeave를 제안한다. LLM은 구축 단계(일회성 추출)와 질의 계획 단계에서만 사용되며, 답변 생성 경로는 LLM을 전혀 사용하지 않고, 태스크 학습도 필요 없으며, 처음부터 끝까지 감사가 가능하다. 이를 통해 웹에 게시된 지식에 대한 질의응답을 항목별로 재현할 수 있게 된다. 본 논문은 전면적인 SOTA를 주장하는 대신, 여섯 개의 공개 벤치마크에서 이 패러다임의 작동 범위(operating envelope)를 규명한다. 지식이 완전한 경우(MetaQA, 39,093개 질문) meet 연쇄는 3홉까지 거의 손실이 없으며(any-hit 0.9975, 완전 지도학습 KBQA와 대등), 템플릿 기반 멀티홉의 본거지(2WikiMultihopQA held-out, n=1,258)에서는 EM 0.865로 기존에 발표된 구조 증강 RAG 재현 결과를 크게 상회한다. 오픈 텍스트의 깊은 조합(MuSiQue)과 추출 커버리지 공백(HotpotQA)에서는 성능 저하를 있는 그대로 보고하며, 그 원인을 격자 대수 층 바깥에 있는 요인으로 귀속한다. 정보가 불완전한 경우(IIRC)에는 기권 정확도(abstain accuracy) 0.971, 누출률(leak rate) 0.029로 구조적 기권을 달성한다. 이 작동 범위 안에서 결정론적 실행은 성능 저하를 초래하지 않으며, 답변 경로의 모든 단계를 다시 계산할 수 있다. 이것이 바로 종단 간 감사 가능성의 원천이다.

arXiv:2609.27814v1cs.CL공통 태그 Question Answering, Hallucination, Retrieval-augmented Generation

LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크

LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law

법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.

arXiv:2609.22537v1cs.AI공통 태그 Question Answering, Hallucination, Retrieval-augmented Generation

EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축

EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability

기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.

arXiv:2607.23838v1cs.CR공통 태그 Question Answering, Hallucination, Retrieval-augmented Generation

TriShieldRAG: 검색-증강 생성(RAG)에서 지식 오염에 대응하는 3중 링 심층 방어 프레임워크

TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)이 쿼리 시점에 외부 지식 베이스에서 검색한 문서를 사용하여 질문에 답할 수 있게 한다. 이로 인해 RAG는 사적 데이터, 빠르게 변하는 정보, 환각(hallucination) 감소에 유용하지만, 모델의 답변은 검색기가 제공하는 내용만큼만 신뢰할 수 있다는 의미이기도 하다. 지식 베이스가 둘 이상의 당사자로부터 쓰기를 허용한다면, 공격자는 소수의 적대적 문서만으로 모델을 원하는 오답 방향으로 유도할 수 있다. PoisonedRAG가 이를 입증했다: 단 5개의 조작된 문서만으로도 무방비 시스템의 답변을 대략 90%의 확률로 뒤집을 수 있으며, 세 가지 자연스러운 단일 단계 방어(당혹도(perplexity) 필터링, 쿼리 패러프레이징(query paraphrasing), 지식 베이스 확장)는 공격 성공률을 30% 이상으로 남긴다. 우리는 그 격차를 메우기 위해 TriShieldRAG를 구축했다. 단일 체크포인트에 의존하는 대신, 파이프라인 전체에 걸쳐 세 개의 독립적이고 형식적으로 명세된 링을 배치한다: 어휘적·통계적 오염 시그니처를 검사하는 Ingest Guard; 출처(provenance) 및 일관성 가중 신뢰 점수로 검색된 집합을 재순위화하는 Retrieval Scorer; 구조적으로 다양한 세 언어 모델(Claude, Mistral Small, Llama 3.2)에 폴링하고 불일치 시 한 번의 제한된 재검색을 허용하는 Cross-LLM Consensus 단계. Ring 2와 3이 작동할 것으로 기대되는 조건을 도출한다: 소수 오염(minority-poison) 가정과 명시적 출처 태그(provenance-tag) 가정. 보고된 구성은 이 분석과 일치하지만, 이를 독립적으로 확인하는 데 필요한 통제된 오염 비율(poison-fraction) 스윕은 아직 실행하지 않았다. 원본 PoisonedRAG의 비적응형(non-adaptive) 공격자를 대상으로, 5,000개 문서의 Wikipedia 지식 베이스와 10개의 타깃 질문에서 평가한 결과, 전체 파이프라인은 공격 성공률을 대략 91%에서 대략 13%로 낮추면서 정상 쿼리에 대한 정확도는 유지한다.

arXiv:2607.20560v1cs.LG공통 태그 Question Answering, Hallucination, Retrieval-augmented Generation

Chronofy: 시간 인식 검색-증강 생성에서 정보 유효성을 위한 시간-논리 감쇠 아키텍처

Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation

검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM) 출력을 그라운딩하기 위해 외부 지식을 검색하고 통합한다. 그러나 현재 RAG 아키텍처는 시간적 출처와 관계없이 검색된 모든 사실을 동등하게 유효한 것으로 취급하여, 그럴듯하지만 구식인 사실이 출력을 오염시키는 시간적 환각(temporal hallucination)을 초래한다. 어제의 임상 검사 결과는 실행 가능하지만, 6개월 전의 동일한 검사 결과는 노이즈이다. 우리는 시간적 유효성을 RAG 시스템의 표현, 검색, 추론 층에 직접 내재화하는 시간-논리 감쇠 아키텍처(TLDA)를 구현하는 3층 신경-기호 프레임워크인 Chronofy를 제안한다. 층 1은 Matryoshka 임베딩 내에 전용 시간 부공간을 확보하여 사실의 시점이 표현에서 구조적으로 제거될 수 없도록 한다. 층 2는 그래프 기반 검색에 학습 가능한 지수 감쇠 함수를 통합하며, 여기서 감쇠 계수 $β_j$는 잠재 과정의 평균 회귀(mean-reversion)율의 2배에 대한 근사로서 베이지안 의사결정 이론에 기반한다. 층 3은 Signal Temporal Logic(STL) 견고성(robustness) 함수를 적용하여 LLM 출력 신뢰도가 아닌 검색된 지식의 시간적 유효성을 평가하고, 가능론적 최약 고리(weakest-link) 원칙을 적용하여 추론 사슬에서 가장 많이 감쇠된 증거에 의해 출력 신뢰도를 제한한다. 우리는 시간적 지식 그래프 예측 벤치마크, TimE 시간 QA 벤치마크, 도메인 특화 민감도 분석에서 Chronofy를 평가하였으며, 명시적 시간 감쇠 모델링이 검색 정밀도를 향상시키고 시간적 환각을 줄이며, 시간적 맥락이 불충분할 때 원칙적인 데이터 재획득 트리거를 가능하게 함을 보여준다.

arXiv:2607.20527v1cs.AI공통 태그 Question Answering, Hallucination, Retrieval-augmented Generation

에이전트 기반 과학 문헌 종합에서 인용 충실성의 평가와 가드

Evaluating and Guarding Citation Faithfulness in Agentic Scientific Synthesis

OpenScholar와 PaperQA2 같은 에이전트형 LLM 시스템은 과학 문헌을 읽고 인용이 포함된 답변을 반환하며, 이들과 해당 벤치마크 모두 고정된 귀속(attribution) 모델이나 인간 채점자를 통해 그 인용이 성립하는지 검사한다. 그러나 어느 쪽도 그 검사 자체의 신뢰성을 감사하지는 않는다. 우리는 그 검사가 신뢰할 수 없으며, 이것이 중요하다는 것을 보인다. 동일한 에이전트 출력에서 측정된 미지원 인용률은 검증자(verifier)의 엄격성에만 따라 약 3%에서 약 18%까지 달라지며, 검증자들은 어떤 인용이 지원되는지에는 동의하지만 어떤 것을 플래그할지에는 동의하지 않는다(음성 특이적 일치도 0.27~0.30). 따라서 단일 플래그 집합은 신뢰할 수 없으며, 명명된 검증자와 프로토콜 없이는 논문 간 비교가 무효이다. 우리는 이러한 행동을 측정 가능하고 상한이 정해지도록 만드는 금표준(gold) 기준 평가 프로토콜과 배포 가능한 가드를 제시한다. 프로토콜은 검증자를 검증하고, 재귀속(re-attribution)을 측정하며, 다른 모델의 판정이 아닌 인간 금표준에 대해 보장을 보정한다. 검증자는 비용에 따라 선택되는 교체 가능한 도구이며(지원 클래스에서 재현율 0.94, 홀드아웃), 재귀속은 결정론적 BM25가 최고의 공개 생성기와 동등한 수준에 이르는 상품화된 단계이다. 가드는 선택된 플래그 규칙을 통과한 진짜 미지원 인용에 대해 분포 무관(distribution-free), 유한 표본 상한을 두는 split-conformal 층을 추가하며, 이는 결론의 정확성이 아니라 포착률에 대한 보장이다. 상한은 홀드아웃 금표준에서 성립하며, 우리는 배포로의 전이를 지배하는 조건인 보정-음성 난이도(calibration-negative difficulty)를 식별하고 정량화하고, 구체적인 재보정 레시피를 제시한다. 이는 이전 conformal-factuality 연구에서 검증되지 않았다. SciFact, QASA, PubMedQA 등 공개 벤치마크에서 네 개의 공개 27-35B 모델과 세 가지 에이전트 파이프라인에 걸쳐 검증되었으며, 모든 주요 수치에 신뢰 구간이 포함된다. 프로토콜과 가드는 공개 단일 GPU 키트로 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.