arXiv:2608.21601v2 cs.AI

K-Bench: 실제 과학 연구 에이전트 요청에 대한 모델 성능 측정

K-Bench: measuring model performance on real scientific agent requests

Aubrey M. Brueckner, Darshil Patel, Yuhuan He, Timothy Kassis

제출 2026-08-21

한국어 초록

과학 인공지능을 위한 벤치마크는 대부분 채점이 가능하도록 작성됩니다. 객관식 질문, 참조 솔루션이 포함된 큐레이션된 에이전트 과제, 또는 생성 구조가 알려진 시뮬레이터 등이 이에 해당합니다. 하지만 실제 과학 연구에서의 요청은 이와 다르게 주어집니다. 명세가 불완전하고(underspecified), 첨부 파일이 포함되며, 정답(ground truth)이 존재하지 않습니다. 본 논문에서는 K-Dense Web의 실제 사용자 트래픽에서 표본 추출한 첫 턴(first-turn) 요청을 기반으로 구축되고, 동일한 샌드박스 환경에서 9개의 프론티어 모델이 엔드투엔드로 실행하여 1,602회의 완료된 에이전트 실행을 생성한 평가 체계인 K-Bench 01을 보고합니다. 3명의 블라인드 언어 모델 심사위원이 8개 차원의 루브릭을 기준으로 모든 실행을 평가했습니다. 해당 분야의 과학자가 경미한 수정만 거쳐 수용할 수준의 작업으로 정의된 8점 기준선(8-anchor) 루브릭에서, 세 심사위원 모두로부터 해당 기준선을 통과한 모델은 없었습니다. gpt-5.6-sol이 가장 높은 통합 평균(8.04)을 기록했으나 95% 신뢰구간([7.80, 8.23])이 기준선에 걸쳐 있으며, 세 심사위원 중 두 명은 claude-opus-5를 대신 1위로 평가했습니다. 이에 따라 본 연구는 시스템 간 순위를 재현 가능한 척도로, 절대적 점수 수준을 평가 도구의 속성으로 보고하며, 최고 순위는 아직 미결 상태인 것으로 보고합니다. 해당 없음 항목을 제외하고 각 평가의 8개 차원 점수와 종합 총점을 포함한 전체 39,934건의 채점 판정 중 47.6%가 8점 기준선에 미치지 못했습니다. 루브릭 전반에 걸친 난이도는 균일하지 않았습니다. 동일한 분모 조건에서 9개 모델 모두 일관되게 과학적 정확도(평균 6.22)가 커뮤니케이션(평균 7.33)보다 낮게 나타났습니다. 가장 두드러진 단일 실패 태그는 과장된 주장(overclaiming)으로, 전체 평가의 31.4%에서 나타났습니다. 우리는 과학 연구 에이전트에 있어 유의미한 정보는 단순한 리더보드 순위가 아니라 무엇이 전달되었는지, 무엇이 주장되었는지, 그리고 어떤 산출물(artifacts)이 생성되었는지에 대한 결합 분포라고 주장합니다.

원문 초록

Benchmarks for scientific artificial intelligence are mostly written to be scored: multiple-choice questions, curated agent tasks with reference solutions, or simulators with a known generative structure. Real scientific requests arrive differently. They are underspecified, they carry attachments, and they lack ground truth. We report K-Bench 01, an evaluation built from first-turn requests sampled from live user traffic on K-Dense Web and run end to end by nine frontier models in identical sandboxes, yielding 1,602 completed agent runs. Three blinded language-model judges scored every run against an eight-dimension rubric. On a rubric whose 8-anchor is defined as work a domain scientist would accept with minor edits, no model clears the line under all three judges. gpt-5.6-sol has the highest pooled mean, 8.04, but its 95% interval [7.80, 8.23] spans the threshold, and two of the three judges rank claude-opus-5 first instead. We therefore report the ordering of systems as the reproducible quantity, the absolute level as an attribute of the instrument, and the top of the table as unresolved. Across all 39,934 scored judgments -- the eight dimension scores plus a holistic overall for each assessment, excluding not-applicable cells -- 47.6% fall below the 8-point threshold. Difficulty is not uniform across the rubric: scientific accuracy averages 6.22 against 7.33 for communication, on identical denominators and in the same direction within every one of the nine models. The single leading failure tag is overclaiming, on 31.4% of assessments. We argue that the informative quantity for scientific agents is not a leaderboard position but the joint distribution of what was delivered, what was claimed, and what artifacts were produced.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.21601v2제출 시각 미확인
  2. arXiv:2608.21601v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.