편집 추천: LLM은 사용자의 수정 요청을 미리 예상할 수 있는가? 어떤 경우에 가능한가?
Edit Recommendation: Can LLMs Anticipate Edit Requests from Users, and When?
한국어 초록
대규모 언어 모델(LLM) 에이전트가 결과물을 만든 뒤 사용자는 결과물의 수정을 요청하는 경우가 많다. 본 연구는 LLM이 사용자가 요청을 보내기 전에 어떤 수정을 요구할지 예상할 수 있는지 살핀다. 요청을 미리 예측할 수 있으면 사용자가 검토하고 피드백하는 데 드는 노력을 줄일 수 있다. 이 과제를 편집 추천으로 정식화하고, WildChat-4.8M의 실제 대화 기록을 바탕으로 이 과제에서의 LLM 성능을 평가하는 EditRecBench를 구축했다. 벤치마크와 실패 분석을 통해 실제 환경에서는 본질적으로 예측하기 어려운 사례가 있음을 확인했다. 이를 해결하기 위해 의사결정 모델 기반 게이팅을 도입해, 예측이 맞을 가능성이 낮은 사례는 사용자에게 제시하기 전에 걸러 냈다. 학습한 모델은 기존 의사결정 모델의 성능을 앞섰으며, 특정 게이팅 임계값에서 사용자에게 제시한 제안의 pass@5를 12~25포인트 높였다. 코드는 https://github.com/ntt-dkiku/llm-edit-recommendation 에서 제공한다.
원문 초록
After a large language model (LLM) agent generates an artifact, users often send edit requests for it. This paper studies whether an LLM can anticipate these requests before they are sent. Such anticipation is useful in practice because it reduces the effort of user review and feedback. We formalize this task as edit recommendation and build EditRecBench, a benchmark for evaluating the performance of LLMs on this task, from real-world conversation logs in WildChat-4.8M. Through benchmarking and failure analysis, we identify a practical challenge that some cases are inherently difficult to predict in real-world settings. To address this, we introduce decision model-based gating to filter out cases where predictions are unlikely to be correct before they are presented to the user. Our trained model outperforms existing decision models and raises pass@5 among shown suggestions by 12--25 points at a gating threshold. Our code is available at https://github.com/ntt-dkiku/llm-edit-recommendation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Blog: https://ntt-dkiku.github.io/llm-edit-recommendation, Code: https://github.com/ntt-dkiku/llm-edit-recommendation