더 깊이 생각해도 선택은 나아지지 않는다: 대규모 언어 모델 쇼핑 에이전트의 추론 노력은 확신을 높이지만 정확도는 높이지 않는다
Thinking Harder Doesn't Lead to Better Choices: Reasoning Effort Increases the Confidence but Not the Correctness of LLM Shopping Agents
한국어 초록
대규모 언어 모델은 이미지와 텍스트가 포함된 상품 정보를 처리하고 소비자를 대신해 구매를 추천하는 자율 쇼핑 에이전트로 점차 쓰이고 있다. 더 많은 추론 능력을 갖춘 모델이 더 나은 구매 결정을 내린다고 생각하기 쉽다. 이를 시험하기 위해 두 가지를 묻는다. 모델이 더 깊이 생각하면 더 나은 상품을 선택하는가? 모델이 보고한 신뢰도로 그 선택이 틀릴 가능성을 알 수 있는가? WebShop, Amazon의 SQID, Wayfair의 WANDS를 바탕으로 만든 세 가지 상품 선택 벤치마크에서 최신 모델 10개를 평가했다. 세 벤치마크 모두에서 추론 노력을 늘려도 결정 품질이 통계적으로 유의하게 높아지지 않았다. 반면 모델이 보고한 신뢰도는 유의하게 높아졌다. 추론을 더 할수록 답이 맞을 가능성보다 확신이 커진 셈이다. 또한 모델이 보고한 신뢰도 백분율이 실제 정답률과 얼마나 일치하는지 측정했다. 대부분의 모델은 모든 추론 노력 수준에서 일관되게 잘 보정된 상태를 유지하지 못했다. 여러 모델이 오류를 공유하는 경향도 강했다. 한 모델이 어떤 과제에서 틀리면 여러 다른 모델도 같은 과제에서 틀리는 경향이 있었다. 여러 모델이 모두 틀린 과제에서는 그중 상당수가 같은 잘못된 상품을 골랐다.
원문 초록
Large language models (LLMs) are increasingly deployed as autonomous shopping agents that process multimodal product listings (consisting of visual and text data) and recommend purchases on behalf of consumers. Naturally, one might assume that models with more thinking power would make higher-quality purchasing decisions. To test this belief, we ask two questions about such agents: does asking a model to think harder make it choose better products, and does the confidence it reports tell us the likelihood it may be wrong? We benchmark ten frontier models on three product-choice benchmarks built from WebShop, Amazon's SQID and Wayfair's WANDS platforms to see if LLMs with more thinking power actually make better-quality product purchase decisions. Across all three benchmarks, we found that increasing the thinking effort does not increase decision quality in a statistically meaningful way. The same change in thinking effort raises stated confidence at a statistically significant level, so extra thinking buys confidence rather than correctness. We also measure the calibration of these models (how well their reported confidence percentage matches their true correctness percentage) in these tasks and show that most models are not well-calibrated at every effort level. We also find that errors are strongly shared: when one model errs in a task, several others tend to err on that same task. Furthermore, on tasks where several models all err, a large number of them pick the same wrong product.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22033v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.