웹 조사 에이전트는 사용자의 우선순위를 어떻게 해석하는가?
How Web Research Agents Interpret User Priorities
한국어 초록
웹 조사 에이전트는 온라인에서 정보를 수집하고 출처를 인용한 보고서를 작성한다. 금융 분석도 그중 하나다. 사용자는 우선순위를 제시해 조사의 방향을 정할 수 있지만, 우선순위만으로는 대안을 평가할 기준이 정해지지 않아 에이전트가 선택해야 할 수 있다. OpenAI와 Anthropic 모델을 각각 기반으로 한 두 에이전트가 주어진 우선순위를 어떻게 해석하는지 조사했다. 36회의 실행에서 에이전트는 Microsoft와 Alphabet의 사업을 비교했다. 프롬프트는 성장 또는 회복탄력성을 특별히 고려하라고 하거나 우선순위를 지정하지 않았다. 보고서, 검색 쿼리, 반환된 출처, 실제 인용한 출처를 분석했다. 우선순위를 지정한 보고서 24개 중 21개가 그 항목을 중점적으로 다뤘으나 판단 기준은 달랐다. 성장을 우선시할 때 두 회사의 순위를 매긴 OpenAI 보고서는 위험이나 예측 가능성을 고려해 Microsoft를 선호했다. Anthropic 보고서는 성장 속도를 기준으로 삼아 Alphabet을 선호했다. 회복탄력성을 우선시할 때는 보고서마다 일부 기준이 달랐으며, 대부분 Microsoft의 회복탄력성이 더 높다고 판단했다. 시험한 검색 및 출처 관련 평가지표 중 조건별 차이를 감지할 수 있었던 것은 Anthropic 에이전트의 검색 문구뿐이었다. 이 결과는 평가에서 보고서의 초점과 정확도 외에도 판단에 사용한 기준을 살펴볼 필요가 있음을 시사한다. 인터페이스에서 사용자가 그 기준을 확인하고 조정할 수 있게 할 수 있다.
원문 초록
Web research agents gather information online and write cited reports, including financial analysis. Users can state a priority to guide this research, but a priority may not say how to judge the options, leaving the agent to choose the criteria. We examine how two such agents, built on OpenAI and Anthropic models, interpret a stated priority. In 36 runs, the agents compared Microsoft and Alphabet as businesses. Prompts asked for special attention to growth or resilience, or gave no priority. We analyzed reports, searches, returned sources and cited sources. Of the 24 reports given a priority, 21 focused on it, but their criteria varied. Under the growth priority, OpenAI reports that ranked the companies accounted for risk or predictability and favored Microsoft, while the Anthropic ones judged growth by its pace and favored Alphabet. Under the resilience priority, reports used partly different criteria, and most named Microsoft as the more resilient company. Of the search and source measures tested, only the Anthropic agent's search wording differed detectably by condition. These findings suggest evaluations should examine the criteria behind a report's judgements, not only its focus or accuracy. Interfaces could let users see and adjust those criteria.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22989v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.