PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18021v1cs.AI

LegalHalluLens: 신뢰할 수 있는 법률 AI를 위한 유형별 환각 감사 및 보정된 다중 에이전트 토론

LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI

법률 워크플로우에 배포된 AI 시스템은 집계 메트릭이 약 52%로 보고하는 비율로 환각(hallucination)을 일으키지만, 이 평균은 오류가 어디에 집중되고 어떤 방향으로 발생하는지를 숨기므로 준수 담당자가 신뢰할 수 있는 배포를 위한 실행 가능한 신호를 얻지 못하게 됩니다. 본 논문에서는 세 가지 구성 요소를 갖는 감사 프레임워크인 LegalHalluLens를 제시합니다: CUAD(Hendrycks et al., 2021) 데이터셋에 대한 4가지 법률 동기 청구 유형(수치, 시간적, 의무/권리, 사실)에 걸친 유형별 환각 프로필, 누락 대 창작(invention) 바이어스를 배포 비교 가능한 단일 스칼라로 축소하는 위험 방향 지수(RDI), 그리고 크기와 방향 모두에 대해 보정된 유형별 토론 파이프라인입니다. 510개 계약과 249,252개 조항 수준 인스턴스에 걸쳐, 집계 보고가 숨기는 의무/수치 청구와 시간적 청구 간의 약 38-40pp에 달하는 모델 내 격차를 측정했으며, 52%라는 동일한 비율을 가진 두 시스템이 서로 반대되는 RDI를 가질 수 있음을 보여주었습니다. 토론 파이프라인은 진단(diagnosis)을 추적하는 범주별 이득을 통해 가짜 탐지(fabricated detections)를 45% 감소시켰으며, 훨씬 더 작은 백본(4B 활성 파라미터)으로 상용 API와 대등한 성능을 달성했습니다. 유형별 프로필과 RDI는 집계 메트릭이 숨기는 실패 모드를 드러냅니다. 또한 이러한 진단이 다중 에이전트 토론 파이프라인에 대한 보정 입력으로 활용될 수 있음을 보여주었으며, 여기서 측정된 실패 모드를 타겟팅한 회의론자(Skeptic) 도전 및 비대칭 게이트는 일반적으로 튜닝된 토론보다 우수한 성능을 발휘합니다. 이 프레임워크는 실제 환경에 배포된 법률 AI를 위한 방향 인식(direction-aware) 조달, 책임성, 및 에이전트 설계를 지원합니다.