대규모 언어 모델(LLM)이 법률 연구 및 문서 작성에 점차 많이 활용되고 있으나, 인용된 출처의 뒷받침 없이도 그럴듯하게 들리는 주장을 여전히 생성할 수 있습니다. 본 연구에서는 법률적 주장이 근거 권위(underlying authority)에 의해 뒷받침되는지 검증하기 위한 벤치마크인 PARCEL을 소개합니다. 최근 뉴욕주 항소법원 판결을 활용하여 뒷받침됨(Supported), 반박됨(Refuted), 또는 발견되지 않음(Not Found)으로 라벨링된 3,396개의 괄호형(parenthetical-style) 주장 데이터셋을 구축합니다. 본 연구는 이 과제를 삼항 자연어 추론 문제로 설정하고, 제로샷(zero-shot) 환경에서 여러 최신 LLM을 평가합니다. 가장 우수한 모델은 최대 0.97의 정확도에 도달하지만, 전체 판결문 텍스트가 제공되는 경우에도 모델이 뒷받침되지 않는 주장을 뒷받침되는 것으로 잘못 표시하는 중요한 취약점 또한 결과에서 드러납니다. 모든 모델에 걸쳐 근거의 부재를 탐지하는 것이 직접적인 모순을 탐지하는 것보다 어려우며, 위조되었으나 그럴듯한 인용이 가장 큰 성능 저하를 유발합니다. 전반적으로 PARCEL은 법률 RAG 시스템에서 주장 수준의 그라운딩(groundedness)을 테스트하기 위한 실용적인 벤치마크를 제공합니다.
기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.
대규모 언어 모델(LLM)은 과학적 글쓰기에 점점 더 많이 사용되지만, 그럴듯해 보이나 서지 정보 검증에 실패하는 인용 형태의 참고문헌을 만들어낼 수 있다. 기존 탐지기는 종종 검증을 발견/미발견의 이분법적 판단으로 축소하고, 취약한 파싱이나 불완전한 검색에 의존하여 감사자에게 필드 수준의 신호를 거의 제공하지 못한다. 우리는 인용 환각 탐지를 분류체계에 정렬된 필드 수준의 판정으로 재구성하고, Real, Potential, Hallucinated 인용을 아우르는 12개 코드 분류체계를 도입한다. 이 분류체계를 바탕으로 CiteTracer를 구축한다. CiteTracer는 PDF와 BibTeX에서 구조화된 인용을 추출하고, 캐시 조회, URL 페치, 학술 검색 커넥터, 웹 검색을 통해 증거를 검색하며, 결정론적 필드 매칭을 적용하고, 모호한 사례를 클래스 전문 판정 에이전트로 라우팅하는 계단식 다중 에이전트 탐지기이다. 우리는 실제 시드에서 통제된 LLM 변이로 구축한 2,450개의 합성 인용으로 이루어진 벤치마크를 공개하며, ICLR 2026과 익명 학회의 사전 심사 거절 투고에서 추출한 957개의 실세계 조작 인용과 짝을 이룬다. CiteTracer는 합성 벤치마크에서 97.1% 정확도를 달성하며, Real, Potential, Hallucinated에 대해 각각 97.0, 95.8, 98.5의 클래스 수준 F1 점수를 기록하고, 실세계 데이터셋에서 기권(abstaining) 없이 조작의 97.1%를 탐지한다. Code: https://github.com/aaFrostnova/CiteTracer.
딥 리서치 시스템에서 인용 품질 평가에 사용되는 LLM 심판(judge)의 신뢰성을 벤치마킹하기 위해, 1,248개의 인간 검토 루브릭 결정으로 구성된 적대적 벤치마크에서 3개 모델 패밀리의 8개 LLM을 평가한 결과, 저비용 모델(GPT-5-mini)이 출처 관련성 F1 0.908로 최고 성능을 보이는 등 고비용 프론티어 모델이 반드시 필요하지 않음을 확인했다. 단, 유사한 F1 수준에서도 심판 간 통과율 편향과 위양성·위음성률이 크게 달라 강화학습 보상 신호로 인용 루브릭을 활용하려면 심판의 방향적 편향 교정이 선행되어야 함을 보였다.
자동화된 연구 에이전트는 코드를 생성하고 문헌을 검색하며 과학적 산출물을 초안으로 작성하는 기능이 점점 향상되고 있지만, 생성된 실험이 올바르게 실행되는지 또는 인용된 출처가 생성된 주장을 뒷받침하는지 검증하지 못하는 경우가 많다. 본 논문에서는 신뢰할 수 있는 연구 워크플로 자동화를 위한 실행 기반 다중 에이전트 프레임워크인 AutoResearch를 제안한다. AutoResearch는 샌드박스 Python/PyTorch 실행, 반복적 코드 수정, 인용 검증, 주장 지지 감사, 의사결정 제어, 구조화된 LaTeX 산출물 생성을 결합한다. 이 시스템은 런타임 오류, 인용 검증 실패, 리뷰 에이전트 피드백을 생성된 연구 산출물에 대한 실질적인 필터링 신호로 처리한다. HumanEval, MBPP, SciCode 부분집합, 인용 검증 태스크, 주장 지지 감사, 소규모 엔드투엔드 워크플로 스트레스 테스트에 대한 통제된 평가에서 AutoResearch는 직접 비교 가능한 기준 모델 대비 실행 성공률, 인용 유효성, 로컬 주장 지지, 워크플로 완료율을 향상시켰다. 코드 중심 에이전트는 부분 비교로서 별도 보고된다. AutoResearch는 완전 자율 과학자나 독립적인 논문 품질 벤치마크가 아닌 신뢰성 지향 연구 보조 도구로서 설계되었다. 소스 코드: https://github.com/raja21068/AutoResearch
대규모 언어 모델(LLM) 활용이 확산되면서 실제로 존재하지 않거나 저자 정보가 잘못된 환각(hallucination) 인용이 동료 심사를 통과해 ICLR, ICML, NeurIPS, USENIX Security 등 최상위 학술대회의 공식 논문에 포함되고 있음을 실증적으로 분석하였다. 이를 검증하기 위해 다수의 서지 데이터베이스와 웹 검색 재확인을 결합한 파이프라인 RefChecker를 구축하였으며, 2025년 기준 NeurIPS와 USENIX Security 채택 논문의 약 20편 중 1편에서 최소 2건의 환각 인용이 발견되었고 수상 논문에서도 사례가 관찰되어, 동료 심사만으로는 인용 무결성을 보장하기 어렵다는 점을 보여준다.