PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06788v1cs.CL

5살 아이에게 설명하듯이 또는 내가 선택한 대로: 언어 모델 응답의 대화형 잠재력 평가

Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

과학적 정보 탐색 과제에서의 대규모 언어 모델(LLM) 평가는 실제 사용자를 대상으로 한 라이브 또는 멀티턴(multi-turn) 평가를 수행하는 등 점차 사용자 중심으로 변화하고 있습니다. 이러한 평가들은 여전히 단일하고 정적인 채팅 인터페이스를 가정하지만, 모델이 새로운 인터페이스에 통합됨에 따라 평가는 인터페이스 특정 기준을 통합하도록 전환되어야 합니다. 우리는 인간 중심 설계 문헌의 직접 조작 인터페이스(direct manipulation interfaces)에서 영감을 받아, 해석 가능한 언어 축(언어 복잡도)을 따라 달라지는 하나의 쿼리에 대한 여러 응답을 생성하는 모델의 능력을 테스트하는 16명의 참가자를 대상으로 한 형성 연구에 기반한 새로운 평가 프레임워크를 제안합니다. 우리는 98개의 과학적 쿼리에 대해 서로 다른 수준의 언어 복잡도로 5개의 응답을 생성하여 GPT-5.1, GPT-5 mini, Claude Sonnet 4.5 + Thinking, DeepSeek-V3.1을 평가했습니다. 모델이 응답 간에 복잡도를 변화시키기는 하지만, 대부분의 변화는 여전히 일관성이 없으며, 가장 성능이 좋은 모델(Claude Sonnet 4.5)조차도 신뢰할 수 있는 복잡도 측정치를 올바른 방향으로 변화시키는 비율은 46%에 불과했습니다. 우리의 연구 결과는 샘플 크기를 늘리고 대체 복잡도 수준을 사용해도 성립합니다.