PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00163v1cs.HC

AI가 재단실을 떠날 때: 대규모 언어 모델(LLM) 조언자가 복잡한 문제 해결에 남기는 영향 측정

When the AI Leaves the Tailorshop: Measuring What an LLM Advisor Leaves Behind in Complex Problem Solving

복잡한 문제 해결은 효과적으로 행동하는 것과 시스템의 작동 방식을 이해하는 것에 달려 있습니다. AI의 조언은 이러한 결과들을 불균등하게 지원할 수 있습니다. 사전 등록된 두 건의 실험에서 대규모 언어 모델(LLM) 조언자의 지원을 받거나 받지 않은 상태로 시뮬레이션 의류 공장을 관리하는 참가자들을 비교했습니다. 연구 전반에서 AI 지원을 받은 참가자들은 더 적은 노력으로 더 높은 자신감과 이해도를 보고했습니다. 첫 번째 연구(N=200)에서 AI 지원은 기업 가치를 높였으나 예측 정확도에서는 감지 가능한 차이를 만들어내지 못했습니다. 지원이 중단된 후, 이전에 지원을 받았던 참가자들은 이전 선택을 반복하는 것을 기준으로 점수를 매겼을 때는 통제군보다 우수한 성과를 보였으나 기본 설정을 기준으로 했을 때는 그렇지 않았습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 지원 없는 상태에서의 성과가 더 우수할 것으로 예측되었습니다. 두 번째 연구(N=198)에서 AI 지원을 받은 참가자들은 파산 빈도가 낮았으며 사전 등록된 분석에서 약간의 지식 우위를 보였는데, 이는 주로 지급 능력을 유지한 것과 관련이 있었습니다. AI 지원 그룹 내에서는 추천을 더 자주 수정할수록 더 높은 지식을 보일 것으로 예측되었습니다. 응용 인간-AI 상호작용(HAI) 평가는 AI 지원을 통해 달성한 성과뿐만 아니라 사용자의 이해도와 독립적인 역량도 함께 평가해야 합니다.