투자 리서치용 AI 에이전트의 신뢰성 있는 평가: 성능과 타당성을 평가하는 프레임워크
Reliable Evaluation of AI Agents for Investment Research: A Framework for Performance and Validity Assessment
한국어 초록
외부 정보원과 계산 도구를 사용해 재무 분석 및 조사 보고서를 작성하는 AI 에이전트를 평가하는 문제를 다룬다. 에이전트의 최종 산출물 품질이 실행 과정의 품질을 항상 반영하지는 않으며, 평가 결과의 신뢰성은 평가 절차의 타당성에도 좌우된다. 또한 투자 리서치 과제마다 수치 정확도, 정보 검색, 재무 분석, 뒷받침하는 증거에 관한 요구사항이 크게 달라 한 가지 기준 집합으로 성능을 평가하기 어렵다. 결과물 품질과 실행 품질을 구분하고, 과제별 기준, 결정론적 검증기, 독립적인 대규모 언어 모델 심사기로 이 차이를 반영하는 분야 특화 평가 프레임워크를 제안한다. 평가 입력, 참조 정보, 뒷받침하는 증거, 채점 결과의 무결성을 검사하는 평가 타당성 검증 장치도 도입한다. 확인된 결함과 큰 채점 차이는 전문가 검토로 해결한다. 수치 결과에 따르면 제안 프레임워크는 평가 차원별 에이전트 성능 차이를 구별하는 동시에 평가 과정의 잠재적 신뢰성 문제를 찾아낼 수 있다. 관련 구현과 평가 자료는 GitHub에 공개할 예정이다.
원문 초록
We consider the problem of evaluating AI agents undertaking investment-research tasks, where agents interact with external information sources and computational tools to produce financial analyses and research reports. An important challenge is that the quality of an agent's final output does not necessarily reflect the quality of its execution process, while the reliability of the resulting assessment also depends on the validity of the evaluation procedure. Furthermore, investment-research tasks differ considerably in their requirements for numerical accuracy, information retrieval, financial analysis and supporting evidence, making it difficult to assess agent performance using a uniform set of criteria. We propose a domain-oriented evaluation framework that distinguishes outcome quality from execution quality and accommodates these differences through task-specific criteria, deterministic validators and independent large language model judges. We also introduce an evaluation-validity mechanism that examines the integrity of evaluation inputs, reference information, supporting evidence and grading outputs, with expert review used to resolve identified deficiencies and significant grading disagreements. Numerical results show that the proposed framework can distinguish differences in agent performance across evaluation dimensions, while identifying potential reliability issues in the evaluation process. The associated implementation and evaluation materials will be made available on GitHub.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22338v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.