신뢰성은 대규모 언어 모델의 사용자별 속성이다
Reliability is a user-specific property of large language models
한국어 초록
공개 벤치마크는 대규모 언어 모델(LLM)의 역량 비교를 뒷받침하지만, 사용자는 동일한 상위 순위 모델을 서로 다르게 경험할 수 있다. 우리는 전통적인 소프트웨어 신뢰성에 착안하여, LLM 서비스의 신뢰성은 지정된 사용자와 사용 조건에 대해 평가되어야 한다고 주장한다. 이를 위해서는 역량 점수 이상의 것이 필요하며, 평가 증거가 향후 운영 중 실패에 관한 주장을 뒷받침해야 한다. 우리는 결함을 발견하기 위한 테스트와 신뢰성을 평가하기 위한 테스트를 구분하고, 이러한 주장의 배후에 있는 열 가지 모델링 고려 사항을 제시한다. 우리는 주장 명세, 동적 운영 프로파일, 등급화된 결과와 잡음이 있는 판단, 국소 확률적 강건성, 상호작용 의존성, 그리고 통계적 추론과 재평가를 연결하는 여섯 가지 작업 흐름의 연구 로드맵을 제안한다. 국소 확률적 강건성은 서로 다른 구체적 입력을 동일한 과제로 취급할 때 가려지는 행동 변이를 다룬다. 발표된 연구 결과와 예시적인 고객 지원 사례가 이 로드맵의 동기가 되며, 통합 검증은 여전히 미해결 연구 과제로 남아 있다. 신뢰성 주장은 별도의 안전 및 보안 논증을 보완하지만 대체하지는 않는다. 따라서 역량 점수는 누구의 요구사항이 어떤 조건에서 어떤 불확실성과 함께 충족되는지를 명시하는 버전 관리된 운영 주장으로 보완되어야 한다.
원문 초록
Public benchmarks support comparisons of large language model (LLM) capabilities, yet users can experience the same highly ranked model differently. Drawing on traditional software reliability, we argue that the reliability of an LLM service should be assessed for specified users and conditions of use. This requires more than a capability score: evaluation evidence must support a claim about failure during future operation. We distinguish testing to discover faults from testing to assess reliability and identify ten modelling considerations behind such claims. We propose a six-workstream research roadmap linking claim specification, dynamic operational profiles, graded outcomes and noisy judgements, local probabilistic robustness, interaction dependence, and statistical inference with reassessment. Local probabilistic robustness addresses the behavioural variation hidden when different concrete inputs are treated as the same task. Published findings and an illustrative customer-support example motivate the roadmap; its integrated validation remains an open research task. Reliability claims complement, but do not replace, separate safety and security arguments. Capability scores should therefore be complemented by versioned operational claims that state whose requirements are covered, under which conditions, and with what uncertainty.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23732v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.