MortarBench: 주택 담보 대출 발급 에이전트 평가
MortarBench: Evaluating Mortgage Loan Origination Agents
대출 발급(loan origination)은 대출 기관이 신청부터 심사, 승인 및 자금 지원에 이르기까지 새로운 대출을 생성하는 과정입니다. 이 과정은 신청자의 자격과 위험 수준을 평가하는 데 결정적인 역할을 수행합니다. 최근 기업들은 공개 벤치마크(benchmark)가 전무함에도 불구하고 인간 대출 담당자를 보조하기 위해 주택 담보 대출 에이전트(agent)를 사용하기 시작했습니다. 이러한 격차를 해소하기 위해 우리는 대출 발급 에이전트 벤치마크인 MortarBench를 제시합니다. MortarBench는 금융 데이터 합성 및 변형 파이프라인을 활용하여 실제 분포 및 질문과 일치하면서 광범위한 엣지 케이스(edge case)를 포괄하는 예제를 생성합니다. 우리는 최첨단 대규모 언어 모델(LLM)의 성능이 저조함을 확인했으며, 폐쇄형 모델은 최대 77.1%의 정확 일치(exact match) 정확도를 기록했습니다. 또한 비영어권 이름과 관련된 외국성(foreignness)에 대한 LLM의 인식에서 체계적인 바이어스(bias)를 발견했습니다. 이러한 약점을 고려하여, 우리는 신뢰도 보정(confidence calibration) 프레임워크인 CRIT를 도입했습니다. 우리의 방법은 정확도를 80.5%로 향상시키는 동시에 위험 관리 유도를 개선하고 바이어스를 감소시킵니다.