프롬프트 속의 애널리스트: LLM 금융 분석에서의 역할, 검색, 메모리 편향
The Analyst in the Prompt: Role, Retrieval, and Memory Biases in LLM Financial Analysis
한국어 초록
대규모 언어 모델(LLM)은 응답을 개인화하기 위해 메모리, 프로필, 역할 프롬프트와 같은 사용자 컨텍스트를 점점 더 많이 활용한다. 이러한 개인화는 근거 기반 판단에 영향을 미칠 수 있다. 즉, 동일한 근거라도 사용자 컨텍스트가 다르면 서로 다른 결론으로 이어질 수 있다. 금융은 의사결정이 길고 복잡한 문서의 해석에 좌우되는 경우가 많아, 이 문제를 연구하기에 위험도가 높은 환경이다. 우리는 12개의 LLM에 걸쳐 3,575건의 SEC 공시 문서를 사용해 이를 검증한다. 근거 선택의 효과와 해석의 효과를 분리하기 위해, 페르소나 조건 검색, 중립 검색, 메모리 프레임 컨텍스트를 비교한다. 그 결과, 사용자 컨텍스트 스필오버(spillover)의 대부분은 서로 다른 근거를 검색하기 때문이 아니라, 모델이 동일한 근거를 역할에 따라 다르게 해석하기 때문에 발생함을 확인했다. 이어서 두 가지 간단한 완화 전략을 검증한다. 하나는 동일한 투자자 성향을 어시스턴트 역할이 아닌 사용자 프로필로 표현하는 것이고, 다른 하나는 근거 기반 출력과 개인화된 출력을 분리하는 것이다. 두 전략 모두 스필오버를 줄이지만 완전히 제거하지는 못하며, 그 효과는 모델에 따라 크게 달라진다.
원문 초록
Large Language Models (LLMs) increasingly use user context such as memory, profiles, and role prompts to personalize their responses. This personalization can affect evidence-based judgment: the same evidence may lead to different conclusions under different user contexts. Finance provides a high-stakes setting to study this problem because decisions often depend on interpreting long and complex documents. We test this using 3,575 SEC filings across twelve LLMs. We compare persona-conditioned retrieval, neutral retrieval, and memory-framed context to separate the effect of evidence selection from the effect of interpretation. We find that most user-context spillover comes from how models interpret the same evidence under different roles, rather than from retrieving different evidence. We then test two simple mitigation strategies: expressing the same investor mindset as a user profile instead of an assistant role, and separating evidence-based and personalized outputs. Both reduce spillover, but neither removes it completely, and their effectiveness varies substantially across models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03218v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.