arXiv:2610.17895v4 cs.LG

Interaction-as-a-Judge: 상호작용 기반 평가

Interaction-as-a-Judge

Wayne Chi, I-Hung Hsu, Li Chen, Wei-Lin Chiang, Ion Stoica, Anastasios Nikolas Angelopoulos, Ameet Talwalkar, Chris Donahue, Cho-Jui Hsieh

제출 2026-10-13

한국어 초록

코딩 에이전트는 웹사이트, 데스크톱 애플리케이션, 게임과 같은 정교한 대화형 애플리케이션을 생성하는 작업을 맡는다. 사람은 이러한 애플리케이션을 직접 상호작용하며 평가하지만, 현재의 자동화된 LLM 평가는 주로 코드 분석과 단위 테스트에 초점을 맞춘다. 이러한 불일치로 인해 LLM 심사자는 사람 사용자에게는 즉각적으로 드러나는 실패를 놓칠 수 있다. 본 연구는 컴퓨터 사용 에이전트(CUA)가 애플리케이션과 직접 상호작용하며 평가하는 패러다임인 Interaction-as-a-Judge를 연구한다. 우리는 Interaction-as-a-Judge가 대화형 애플리케이션의 평가와 생성을 모두 개선할 수 있음을 보인다. 이를 위해 서로 보완적인 두 가지 데이터셋을 수집하여 공개한다. 하나는 사람의 선호와 해당 에이전트 트레이스가 포함된 $6,858$쌍의 애플리케이션이고, 다른 하나는 사람이 검증한 요구사항 레이블이 포함된 $222$개의 애플리케이션이다. 기존의 비상호작용 방식과 비교하여, Interaction-as-a-Judge는 사람의 선호 예측($65.6\% \to 69.1\%$)과 요구사항 검증($77.0\% \to 81.6\%$) 측면에서 평가를 개선함을 확인했다. 또한 확장에 따른 이점도 관찰했는데, 선호 정렬과 요구사항 검증 모두에서 더 높은 품질의 상호작용이 성능을 향상시켰다. 마지막으로 추론 시점과 학습 시점의 실험을 통해 Interaction-as-a-Judge가 생성된 산출물의 품질 또한 개선할 수 있음을 보인다. 추론 시점에서 Interaction-as-a-Judge는 다섯 번의 시도 내에 깨진 요구사항의 $75.5\%$를 수정했으며, 이는 코드 기반 자기 피드백의 $55.4\%$와 대비된다. 학습 시점에서는 Interaction-as-a-Judge를 보상 신호로 사용하여, 코드 기반 보상 신호와 비교해 기본 모델 대비 승률을 $6.7$pp 향상시키는 동시에 생성된 코드 길이를 $35.7\%$, 빌드 실패율을 $7.2$pp 감소시켰다.

원문 초록

Coding agents are tasked with producing sophisticated interactive applications such as websites, desktop applications, and games. While humans assess these applications interactively, current automated LLM evaluations primarily focus on code analysis and unit tests. This mismatch can cause LLM judges to miss failures that are immediately apparent to human users. We study Interaction-as-a-Judge, an evaluation paradigm where computer-use agents (CUAs) directly interact with an application. We demonstrate that Interaction-as-a-Judge can improve both evaluation and generation of interactive applications. To this end, we collect and release two complementary datasets: $6,858$ pairs of applications with human preferences and corresponding agent traces, and $222$ applications with human-verified requirement labels. Relative to standard non-interactive approaches, we find that Interaction-as-a-Judge improves evaluation in terms of predicting human preferences ($65.6\% \to 69.1\%$) and requirement verification ($77.0\% \to 81.6\%$). We also observe scaling benefits: across both preference alignment and requirement verification, higher-quality interactions improve performance. Finally, through both inference- and training-time experiments, we demonstrate that Interaction-as-a-Judge can also improve the quality of generated artifacts. At inference time, Interaction-as-a-Judge repairs $75.5\%$ of broken requirements within five attempts, compared to $55.4\%$ for code-only self-feedback. At training time, using Interaction-as-a-Judge as a reward signal improves win-rate over the base model by $6.7$pp while reducing both generated code length by $35.7\%$ and build failure rates by $7.2$pp compared to a code-only reward signal.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.17895v4제출 시각 미확인
  2. arXiv:2610.17895v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.