SWE-WhatIf: 기록된 세션으로 코딩 에이전트의 실제 사용자 모사하기
SWE-WhatIf: Simulating Real Users of Coding Agents from Recorded Session
한국어 초록
사용자와 코딩 에이전트 사이의 기록된 세션은 에이전트가 실제 과제를 완료하고 사용자와 상호작용하는 방식을 평가하는 데 쓸 수 있다. 그러나 새 에이전트가 다른 경로를 택하면 기록된 사용자 답변이 맞지 않을 수 있어, 세션을 그대로 재생할 수는 없다. 본 연구는 사용자의 의도와 이를 충족하는 기준, 의도가 생기는 조건을 모델링해 새 에이전트와 기록된 세션을 재현하는 SWE-WhatIf를 제안한다. 사용자 시뮬레이터는 이 모델을 사용해 원본 기록에 근거하면서도 처음 보는 에이전트 응답에 맞춰 답변을 생성한다. 실제 세션 89개에서 SWE-WhatIf는 실제 사용자의 답변과 가장 비슷한 답을 생성했으며, 세션을 다시 작성한 경우에는 가장 강한 기준선과 비슷한 성능을 보였다. 적응 능력을 시험하기 위해 기록된 세션에서 사용자가 만류한 행동을 피하거나 반복하도록 지시한 에이전트로 세션을 재현했다. SWE-WhatIf는 그런 행동을 피하는 쪽의 승률이 가장 높았고(66.3%), 우연 수준보다 유의하게 높았다. 코딩 에이전트로 사용한 LLM 5개에 순위를 매기는 데도 활용했다. 가장 높은 순위의 모델은 사용자가 의도를 어떻게 표현하고 발전시키는지에 따라 달랐다. 사용자 16명이 참여한 연구에서 자기 세션을 재현하자 14명의 순위 평가가 바뀌었으며, 결과는 향후 에이전트 사용에도 참고가 됐다.
원문 초록
Recorded sessions between users and coding agents offer a way to evaluate how agents complete real-world tasks and interact with users. However, these sessions cannot simply be replayed with new agents, because recorded user replies may no longer apply when an agent takes a different trajectory. We introduce SWE-WhatIf, which replays recorded sessions with new agents by modeling the user's intents, the criteria for satisfying them, and the conditions under which they arise. Using this model, a user simulator generates replies that adapt to unseen agent turns while remaining grounded in the recording. Across 89 real-world sessions, SWE-WhatIf generated the replies most similar to those of real users and matched the strongest baseline when sessions were rewritten. To test adaptation, we replay sessions with agents instructed to avoid or repeat actions that the recorded user pushed back on. SWE-WhatIf produced the highest win rate for avoiding these actions (66.3%), significantly above chance. We further demonstrate its utility by ranking five LLMs as coding agents, where the highest-ranked model depended on how users specified and developed their intents, and a study with 16 users, where replaying their own sessions changed 14 participants' rankings and informed their future agent use.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.