학습, 검색, 또는 둘 다? 온타리오 주거 임대법에 대한 올바른 법령 인용을 위한 4개 그룹 대결 실험
Train, Retrieve, or Both? A Four-Arm Head-to-Head for Correct Statutory Citation on the Ontario Residential Tenancies Act
자가 대리를 하는 임차인, 임대인 및 헬프데스크 직원은 올바른 법령 인용과 함께 실제로 질문을 규율하는 법 조항을 안내받아야 합니다. 우리는 온타리오 주거 임대법 2006년판(RTA)과 그 핵심 규정에 대해 이 작업을 연구하며, 운영자의 질문을 실증적으로 제기합니다: 미세조정(fine-tuning)만으로 충분한가, 아니면 하이브리드 검색이 필요한가? 우리는 Qwen2.5-7B-Instruct를 사용하여 4개 그룹 대결(기본 제로샷, LoRA SFT만, RAG만, SFT+RAG 하이브리드)을 수행하며, 인간 검증이 대기 중인 소규모 실제 평가 세트에서 인용 정확 일치(조+항)로 점수를 매깁니다. 기본 모델은 RTA를 인용할 수 없으며 SFT만 수행한 모델은 조항을 잘못 재현합니다. 검색은 필수적이며 설계상 환각을 0으로 만듭니다. SFT+RAG 하이브리드는 0.481의 정확 일치 점수로 가장 높은 성능을 기록했으며 환각 인용은 0이었습니다. 이 모델의 우위는 제로샷 RAG를 저해하는 높은 재현율의 후보 세트에 대해 SFT가 조항 선택을 더 견고하게 만들기 때문에 발생합니다. 특히, 이 저렴한 bge-small 하이브리드는 더 크고 전문화된 검색 모델(더 큰 임베더와 크로스 인코더 리랭커)로 구축된 파이프라인과 대등하거나 더 나은 성능을 보이며, 더 크거나 개선된 학습 세트도 도움이 되지 않습니다: 여기서 강력한 법령 인용 성능은 전문화된 검색 모델이나 더 많은 데이터를 필요로 하지 않습니다. 이 결과물은 환각을 0으로 만들고 기본 모델 대비 향상 기준을 충족하지만, 지향하는 0.70 정확 일치 목표에는 도달하지 못했습니다. 모든 결과는 인간 검증이 대기 중인 소규모 실제 평가 세트에 대한 것이며 예비 결과로 보고됩니다.