LLM Output Drift: Cross-Provider Validation & Mitigation for Financial Workflows
한국어 초록
금융 기관들은 조정, 규제 보고 및 고객 커뮤니케이션을 위해 대규모 언어 모델(LLM)을 배포하지만, 비결정론적 출력(출력 드리프트)은 감사 가능성과 신뢰성을 저해합니다. 우리는 규제된 금융 작업에서 다섯 가지 모델 아키텍처(7B-120B 매개변수) 간의 드리프트를 정량화하여 뚜렷한 역관계를 밝혀냈습니다: 작은 모델(Granite-3-8B, Qwen2.5-7B)은 T=0.0에서 100% 출력 일관성을 달성하는 반면, GPT-OSS-120B는 구성에 관계없이 단 12.5%의 일관성(95% 신뢰구간: 3.5-36.0%)만을 보입니다(p<0.0001, Fisher의 정확 검정). 이 발견은 더 큰 모델이 생산 배포에 있어 보편적으로 우수하다는 기존의 가정을 도전합니다. 우리의 기여는 다음과 같습니다: (i) 탐욕적 디코딩(T=0.0), 고정 시드 및 SEC 10-K 구조 인식 검색 순서를 결합한 금융 조정 결정론적 테스트 하니스; (ii) 금융 조정된 중요성 기준(±5%) 및 SEC 인용 검증을 사용한 RAG, JSON 및 SQL 출력에 대한 작업별 불변성 검사; (iii) 위험 적절한 배포 결정을 가능하게 하는 3단계 모델 분류 시스템; (iv) 이중 제공자 검증을 갖춘 감사 준비 완료 인증 시스템. 우리는 세 가지 규제된 금융 작업에서 다섯 가지 모델(Qwen2.5-7B via Ollama, Granite-3-8B via IBM watsonx.ai, Llama-3.3-70B, Mistral-Medium-2505, GPT-OSS-120B)을 평가했습니다. 480회 실행(n=16 조건당)에서 구조화된 작업(SQL)은 T=0.2에서도 안정성을 유지하는 반면, RAG 작업은 드리프트(25-75%)를 보이며 작업 의존적인 민감성을 드러냅니다. 제공자 간 검증은 로컬 및 클라우드 배포 간의 결정론적 행동 전이를 확인합니다. 우리는 우리의 프레임워크를 금융 안정성 위원회(FSB), 국제 결제 은행(BIS), 상품 선물 거래 위원회(CFTC) 요구 사항에 매핑하여 규정 준수를 위한 AI 배포의 실질적인 경로를 보여줍니다.
요약
금융 기관들이 대규모 언어 모델(LLMs)을 활용하여 조정, 규제 보고 및 고객 커뮤니케이션을 수행하는 과정에서 비결정적 출력(출력 드리프트)은 신뢰성과 감사 가능성을 저해하는 주요 요인으로 작용하고 있다. 본 연구는 이러한 문제를 해결하기 위해 다섯 가지 모델 아키텍처(7B-120B 매개변수)에서의 출력 일관성을 정량적으로 분석하고, 모델 간 드리프트를 비교하여 새로운 통찰을 제공한다. 특히, 작은 모델인 Granite-3-8B와 Qwen2.5-7B는 T=0.0에서 100%의 출력 일관성을 보인 반면, GPT-OSS-120B는 오히려 12.5%의 일관성만을 나타내어, 더 큰 모델이 항상 우수하다는 기존의 가정을 도전하는 결과를 도출하였다. 본 연구의 주요 기여는 네 가지로 요약될 수 있다. 첫째, 금융 조정 결정론적 테스트 하니스를 개발하여 탐욕적 디코딩, 고정 시드, SEC 10-K 구조 인식 검색 순서를 결합함으로써 출력 일관성을 극대화하였다. 둘째, RAG, JSON, SQL 출력에 대한 작업별 불변성 검사를 수행하며, 금융 조정 물질성 기준(±5%)과 SEC 인용 검증을 통해 결과의 신뢰성을 높였다. 셋째, 위험 적합 배포 결정을 지원하는 3단계 모델 분류 시스템을 도입하여 각 모델의 특성과 위험도를 평가할 수 있는 체계를 마련하였다. 넷째, 이중 제공자 검증을 포함한 감사 준비 완료 인증 시스템을 통해 모델의 신뢰성을 높이는 방법을 제시하였다. 연구 결과, 구조화된 작업(SQL)은 T=0.2에서도 안정성을 유지하는 반면, RAG 작업은 드리프트(25-75%)를 보이며 작업 의존적 민감성을 드러냈다. 이러한 발견은 금융 작업에서의 모델 선택에 중요한 시사점을 제공하며, 로컬 및 클라우드 배포 간의 결정론적 행동 이전을 확인함으로써 다양한 환경에서의 모델 신뢰성을 높일 수 있는 방법을 제시한다. 본 연구는 금융 안정성 위원회(FSB), 국제 결제 은행(BIS), 상품선물거래위원회(CFTC) 요구 사항에 부합하는 준수 준비 완료 AI 배포를 위한 실용적인 경로를 제시하며, 향후 연구에서는 다양한 금융 작업에 대한 추가적인 실험과 모델 개선을 통해 이 문제를 더욱 심층적으로 탐구할 예정이다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.