배포 후 사용자 피드백은 생성형 AI 시스템과 기능을 모니터링하고 개선하기 위한 비용 효율적이며 확장 가능하고 대표성 있는 수단이 될 수 있습니다. 효과적으로 구현될 경우, 이러한 피드백 제공은 생성형 AI(GenAI) 시스템에 대한 사용자의 참여도와 신뢰를 높일 수 있습니다. 정부 규제와 업계 가이드라인은 배포 후 사용자 참여를 요구하고 있지만, 소비자가 사용하기 쉽고 제품 팀에는 실행 가능한 인사이트를 제공하는 메커니즘을 설계하는 데 대한 지침은 거의 없습니다. 본 연구는 학계 연구진과 eBay 간의 협업을 통해 다단계 연구를 수행했습니다. 현재 업계 접근법에 대한 벤치마크 평가를 통해 발견 용이성(discoverability) 부족, 불명확한 용어, 사용자 가치에 대한 무관심 등의 공통적인 문제를 확인했습니다. 이러한 발견을 바탕으로 모범 사례 권고안을 개발하고 프로토타입 피드백 수집 도구를 설계 및 테스트했습니다. 이 도구는 사용자에게 효율적이고 유연하며 긍정적인 피드백 제공 경험을 선사하고, 제품 팀에는 성능과 잠재적 문제에 대한 풍부한 데이터를 활용 가능한 형태로 제공하는 것을 목표로 합니다.
전문 웹 개발자의 코드가 테스트에 실패했을 때, 개발자는 단순히 스택 트레이스(stack trace)를 다시 읽는 데 그치지 않습니다. 브라우저에서 애플리케이션을 열고, 버튼을 클릭하고, 계산된 스타일(computed styles)을 검사하며, 진단 명령어를 실행하여 무엇이 잘못되었는지 파악합니다. 기존 코딩 에이전트(agent)용 피드백 메커니즘은 스크린샷, LLM-as-a-judge 점수 산정, 또는 자연어 수정에 의존하지만, 개발자가 하듯이 실제 실행 중인 애플리케이션과 상호작용하는 경우는 거의 없습니다. 본 논문에서는 실행 중인 애플리케이션을 대상으로 진단 스크립트를 생성 및 실행하여 코딩 모델의 재시도를 안내하는 구조화된 관찰 결과를 생성함으로써 실제 개발자의 행동을 모방하는 가상 사용자 시스템인 WatchPoint를 소개합니다. 단일 파일 수정만을 대상으로 하거나 실행 불가능한 지표로 평가했던 이전 접근법과 달리, 본 연구는 결정론적 엔드투엔드(end-to-end) 테스트로 검증된 순차적 의존 관계를 갖는 1,000개의 작업으로 구성된 50개의 다중 파일 웹 프로젝트 벤치마크인 Web-Bench에서 작동합니다. WatchPoint는 진단한 작업의 57.6%를 복구하며, 통제된 사용자 연구를 통해 시뮬레이션의 현실성을 확인했습니다. 즉, 인간 테스터가 이와 유사한 복구율(54.5%)을 달성하여 자동화된 진단 스크립트가 순차적 웹 개발 작업에서 대화형 인간 테스트를 대체할 수 있다는 증거를 제공합니다. 나아가 가상 사용자 피드백이 유용한 경우와 이를 보류해야 하는 경우를 결정짓는 역량 격차 패턴을 규명합니다.
경쟁이 치열한 소프트웨어 시장에서 사용자 경험(UX) 평가는 소프트웨어 품질을 보장하고 제품의 장기적인 성공을 도모하는 데 필수적입니다. 이러한 UX 평가는 일반적으로 표준화된 설문지에서 얻은 정량적 지표와 개방형 질문을 통해 수집된 정성적 피드백을 결합합니다. 개방형 피드백은 개선을 위한 귀중한 통찰을 제공하고 정량적 결과를 설명하는 데 도움이 되지만, 대량의 사용자 댓글을 분석하는 것은 어렵고 시간이 많이 소요됩니다. 본 논문에서는 대규모 사용자 댓글을 효율적으로 처리하고 해석하기 위해 주요 소프트웨어 기업의 장기적인 UX 측정 프로젝트에서 개발된 기법들을 제시합니다. 수집된 댓글에 대한 상위 수준의 개요를 제공하기 위해, 우리는 각 댓글에 의미 있고 미리 정의된 주제 라벨을 할당하는 지도 기계 학습 접근 방식을 채택합니다. 또한, 생성형 AI(GenAI)를 활용하여 사용자 피드백의 간결하고 유익한 요약을 생성함으로써, 조직 내부와 특히 경영진에게 연구 결과를 효과적으로 전달하는 방법을 보여줍니다. 마지막으로, 사용자 댓글에 표현된 감정이 전반적인 제품 만족도의 지표가 될 수 있는지 조사합니다. 우리의 결과는 감성 분석(sentiment analysis)만으로는 사용자 만족도를 신뢰할 수 있게 반영하지 못함을 보여줍니다. 대신, 제품에 대한 사용자의 인식을 측정하기 위해서는 설문조사에서 제품 만족도를 명시적으로 평가해야 합니다.
비정형·노이즈가 많은 사용자 상호작용 로그에서 유용한 피드백을 구분하기 어렵고 오프-정책 최적화 문제가 있다는 한계를 해결하기 위해, UNO(User log-driveN Optimization)는 로그를 반정형 규칙과 선호 쌍으로 증류하고 쿼리·피드백 기반 클러스터링과 인지적 격차 평가로 1차적·성찰적 경험 모듈을 구성해 LLM 시스템을 개선한다. MemoryBench 등에서 RAG 및 메모리 기반 베이스라인을 크게 능가하는 최첨단 수준의 효과성과 효율성을 보였다.
MemToolAgent는 환경 및 사용자 피드백을 기반으로 과거 경험을 구조화된 메모리로 저장하고 동적으로 검색하여 LLM 에이전트의 도구 사용 능력을 향상시키는 프레임워크다. 이 방법은 LLM 파인튜닝 없이도 WorkBench, NESTFUL, PEToolBench 벤치마크에서 각각 29%, 80%, 17%의 상대적 성능 향상을 달성했다.