금융 분야 비전-언어 모델(VLM)의 탈옥(jailbreak) 취약성을 해결하기 위해 금융 관련 쿼리와 이미지 기반 위협을 포함한 한영 이중 언어 데이터셋인 FENCE를 소개한다. FENCE로 학습된 탐지기는 99%의 내분포 정확도를 달성하며 외부 벤치마크에서도 강건한 성능을 입증했다.
우리는 현실적인 조건에서 영어 실적 발표(earnings call)에 대한 자동 음성 인식(ASR) 평가를 위한 금융 도메인 벤치마크 Earnings25를 소개한다. Earnings25는 두 가지 상호 보완적인 테스트 세트로 구성된다: (i) testset-full—2025년 4분기 S&P 500 기업의 전체 영어 실적 발표 498시간, (ii) testset-segmented—2025년 영어권 미국 실적 발표에서 샘플링한 290개 세그먼트로 구성된 46시간 규모의 산업 균형 세트. 이 벤치마크는 정렬된 전사(transcript)와 구조화된 메타데이터(화자 역할, 산업 라벨, 통화 구조 등)를 제공하여, 집계 단어 오류율(WER)을 넘어 화자 및 산업 인식 평가를 가능하게 한다. 표준화된 채점을 사용하여 Whisper와 Parakeet-TDT에 대한 재현 가능한 베이스라인을 보고한다.
금융 AI 에이전트는 동일한 결정을 반복하면서도, 그 결정에 이르기 위해 사용한 도구, 순서, 또는 기록된 인자와 결과를 바꿀 수 있다. 결과만 평가하는 방식은 재현과 변경 통제에 중요한 경우에도 이러한 변동을 놓친다. DFAH-Bench는 결정론-충실성 보증 하네스(Determinism-Faithfulness Assurance Harness, DFAH)를 구현하며, 여기서 충실성(faithfulness)은 답의 정확성이 아니라 재현 시 관측 가능한 실행의 충실도를 의미한다. 이 프로토콜은 비교 가능하고 충분히 관측된 재현을 적격 기준에 따라 선별하고, 동일한 적격 그룹에 대해 결정 일치도(DAR)와 도구 경로 일치도(TAR)를 측정한다. 관측된 도구 사용이 있는 구성에서 719개의 합성 규정 준수 및 금융 DataOps 그룹에 걸친 4,157개의 후향적 에피소드를 분석하고, 190개 그룹에 걸친 570개의 적격 에피소드로 구성된 인자 인식(argument-aware) 전향적 확장도 함께 분석한다. 해당 확장에서 결정은 94.2–95.1% 일치하는 반면, 정확한 도구명 경로는 66.9–69.4%만 일치하여 25.8–27.3%p의 격차가 발생한다. 인자 및 결과 궤적 일치도는 45.0–51.5%까지 떨어진다. 만장일치 결정 그룹에서도 작업 가중치 하에서 경로는 66.7–68.9%에서 달라진다. DFAH-Bench는 안정적인 결정 뒤에 있는 실행을 재현, 조사, 변경 검토를 위해 가시화한다.
기존 안전성 벤치마크는 일반적인 적대적 시나리오를 대상으로 하지만 금융 특화 위험을 놓치고 있습니다. 금융 대규모 언어 모델(LLM)은 규제 준수 위반, 사기 조장, 시스템적 신뢰 침식 등의 문제에 직면하며, 이는 표적화된 평가가 필요합니다. 우리는 금융 전문가와 함께 개발된 금융 LLM 안전성 평가를 위한 전문가 주도 레드팀 테스팅 프레임워크인 FinRED를 소개합니다. FinRED는 규제 회피부터 복잡한 사기에 이르는 위협에 전 세계 표준(예: FATF 및 EU DORA)을 매핑하는 새로운 2단계 분류 체계를 사용하며, 전문가 정의 스키마를 통해 실제 금융 문서를 문맥이 풍부한 레드팀 테스팅 행동 프롬프트(seeds)로 변환하는 확장 가능한 파이프라인과 통합되어 있습니다. 엄격한 전문가 검증은 의미 있는 LLM 안전성 평가를 위한 시드의 타당성과 현실성을 확인합니다. 또한 면책 조항 확인을 넘어서는 전문가 검증된 금융 특화 루브릭을 제공하며, 이는 정적이고 획일적인 루브릭보다 인간 전문가와 더 밀접하게 정렬되며 중요한 미탐(false negative)을 28개에서 12개로 줄입니다. 국제적으로 채택된 위험 관리 및 정보 보안 표준(예: ISO/IEC 27001)과 정렬된 FinRED는 실제 금융 서비스에서 생성형 AI 보안 평가를 위해 한국 금융보안원(FSI) 규제 샌드박스에 배포되었습니다. 이중 용도(dual-use) 위험을 완화하기 위해 데이터셋, 생성 파이프라인, 프롬프트 템플릿 및 평가 프레임워크는 자격 있는 연구자를 위해 https://github.com/selectstar-ai/FinRED-paper 및 https://huggingface.co/datasets/datumo/FinRED에서 게이트(gated)되어 제공됩니다.