정보 도출 에이전트를 위한 개방형 정보 탐색 연구
On Open-Ended Information Seeking for Information Elicitation Agents
한국어 초록
정보 도출(information elicitation)은 상호작용이 잠재적으로 가치 있는 다양한 방향으로 전개될 수 있는 개방형 정보 탐색 문제로, 정보 도출자(elicitor)는 새로운 정보가 드러남에 따라 어떤 정보를 추구해야 할지 지속적으로 결정해야 합니다. 에이전트 기반 정보 도출에서는 이러한 결정을 파운데이션 모델에 위임할 수 있으나, 모델 선택이 결과적인 정보 탐색 행동을 어떻게 형성하는지는 아직 충분히 연구되지 않았습니다. 본 연구에서는 정보 가치에 대한 판단이 대규모 언어 모델(LLM) 전반에서 어떻게 달라지며, 이러한 차이가 순차적 정보 탐색을 어떻게 형성하는지 살펴봅니다. 먼저 여러 모델 군과 매개변수(parameter) 규모에 걸친 11개 LLM을 대상으로, 공유된 정보 세트와 도출 목표를 사용하여 이러한 판단을 조사합니다. 그런 다음 서로 다른 모델들이 동일한 정보 공간을 접하고 동일한 선택 규칙을 사용하도록 하는 통제된 정보 도출 시뮬레이션을 개발하여, 질문 생성 및 응답자 행동과 이러한 판단을 분리합니다. 이 설정을 사용하여 정보 도출 과정 전반에서 모델 고유의 정보 탐색 선호도로부터 나타나는 폭-깊이(breadth-depth) 행동 특성을 규명합니다. 나아가 상호작용 이력이 유망한 정보의 평가와 후속 선택을 어떻게 변화시키는지 살펴봅니다. 정보 도출자에게 주어지는 기회, 정보 탐색 선호도를 조작화하는 데 사용된 응답 라벨, 상호작용 이력의 유무, 중복성이 평가에 명시적으로 관련되는지 여부에 대한 민감도 분석 및 절제 연구(ablation)를 통해 이러한 발견의 견고성과 한계를 검증합니다. 프로젝트 코드, 데이터, 궤적 파일은 https://github.com/infosenselab/open-elicitation 에서 확인할 수 있습니다.
원문 초록
Information elicitation is an open-ended information-seeking problem in which an interaction can unfold in many potentially valuable directions, requiring an elicitor to continually determine which information to pursue as new information emerges. In agentic elicitation, these decisions may be delegated to a foundation model, yet how model choice shapes the resulting information-seeking behavior remains understudied. We study how judgments about information value vary across LLMs and how these differences shape sequential information seeking. We first examine these judgments across 11 LLMs spanning multiple model families and parameter scales, using a shared set of information and elicitation objectives. We then develop a controlled elicitation simulation in which different models encounter the same information space and use the same selection rule, isolating these judgments from question generation and respondent behavior. Using this setting, we characterize the breadth-depth behavior that emerges from model-specific information-seeking preferences over the course of elicitation. We further examine how interaction history changes the evaluation and subsequent selection of prospective information. We test the robustness and boundaries of these findings through sensitivity analyses and ablations over the opportunities available to the elicitor, the response labels used to operationalize information-seeking preferences, the presence of interaction history, and whether redundancy is explicitly relevant to the assessment. The project code, data, and trajectory files are available at https://github.com/infosenselab/open-elicitation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.