arXiv:2606.06546v1 cs.LG

Elmes*: 롱테일 교육 시나리오에서 대규모 언어 모델을 위한 세밀한 평가 루브릭 자동 구축

Elmes*: Automated Construction of Fine-Grained Evaluation Rubrics for Large Language Models in Long-Tail Educational Scenarios

Tao Liu, Ye Lu, Ruohua Zhang, Siyu Song, Wentao Liu, Aimin Zhou, Hao Hao

제출 2026-06-04

한국어 초록

교육을 위한 대규모 언어 모델(LLM) 평가는 모델이 무엇을 알고 있는지만이 아니라 어떻게 가르치는지를 측정해야 한다. 기존 벤치마크는 도메인 일반적 정확성에 초점을 맞추거나, 롱테일(long-tail) 교육 시나리오로 확장하기 어려운 수동 설계 루브릭에 의존한다. 우리는 세밀한 시나리오별 루브릭을 구축·정제·적용하기 위한 엔드투엔드 프레임워크인 Elmes*를 제안한다. Elmes*는 교사-학생-판정자 상호작용을 위한 선언적 다중 에이전트 엔진과, 전문가가 정의한 교육적 차원으로부터 평가 기준과 테스트 데이터를 공동 최적화하는 자기 진화 모듈인 SceneGen을 결합한다. Elmes*를 사용해 11개 과목, 3개 학년대, 10가지 과제 유형에 걸친 330개 시나리오를 포함하고 1,000개 이상의 2차 지표를 갖춘 Edu-330을 구축한다. Edu-330과 전문가가 작성한 4개의 골드 스탠다드 시나리오에서의 실험은 교육 역량이 다차원적임을 보여준다: 최상위 LLM은 주로 창의성과 가치 통합에서 차이를 보이고, 지식이 강한 모델은 소크라테스식 스캐폴딩(Socratic scaffolding)에서 실패할 수 있으며, 교육 특화 InnoSpark가 인간 평가 평균 점수에서 최고 성적을 달성한다. LLM 판정자(judge)는 훨씬 낮은 점수 분산으로 인간과 비교 가능한 순위를 유지하지만, 자기 선호(self-preference)와 같은 판정자별 편향을 나타낸다. 절제 실험(ablation)은 전문가 점수 기반 퓨샷(few-shot) 앵커링이 인간-LLM 정렬(alignment)을 개선함을 보여주며, 추론 강제와 탐욕 디코딩(greedy decoding)은 모델에 따라 달라진다. 따라서 Elmes*는 교육학적으로 근거 있는 LLM 평가를 위한 확장 가능한 진단 인프라를 제공한다.

원문 초록

Evaluating large language models (LLMs) for education requires measuring how models teach, not only what they know. Existing benchmarks emphasize domain-general correctness or depend on manually designed rubrics that scale poorly to long-tail pedagogical scenarios. We introduce Elmes*, an end-to-end framework for constructing, refining, and applying fine-grained scenario-specific rubrics. Elmes* combines a declarative multi-agent engine for teacher--student--judge interactions with SceneGen, a self-evolving module that co-optimizes evaluation criteria and test data from expert-defined pedagogical dimensions. Using Elmes*, we build Edu-330, covering 330 scenarios across 11 subjects, 3 grade bands, and 10 task types, with over 1{,}000 second-level indicators. Experiments on Edu-330 and four expert-authored gold-standard scenarios show that educational capability is multidimensional: top-tier LLMs differ mainly in creativity and values integration, knowledge-strong models may fail at Socratic scaffolding, and the education-specialized InnoSpark achieves the best human-evaluated average score. LLM judges preserve human-comparable rankings with much lower scoring variance, but exhibit judge-specific biases such as self-preference. Ablations show that expert-scored few-shot anchoring improves human--LLM alignment, while reasoning enforcement and greedy decoding are model-dependent. Elmes* thus provides scalable diagnostic infrastructure for pedagogically grounded LLM evaluation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06546v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13375v1cs.CL공통 태그 Benchmarking, Large Language Model, llm evaluation

구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선

From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics

루브릭은 개방형 작업에서 언어 모델을 평가(evaluation)하고 최적화(optimization)하는 데 널리 사용되어 왔습니다. 그러나 기존 연구는 루브릭 디자인을 효과적으로 만드는 요인에 대한 이해가 제한적인 채, 더 나은 루브릭을 생성하는 데 주로 초점을 맞추고 있습니다. 본 연구에서는 기준 조직화, 기준 조작화, 점수 집계 전반에 걸쳐 루브릭 디자인에 대한 체계적인 메커니즘 분석을 수행합니다. 분석 결과, 구조적 조직화는 보다 포괄적인 기준 구축을 가능하게 하지만, 의미론적 구체화만으로는 효과적인 기준 수준 판단을 보장하지 못하며, 정교한 점수 집계는 제한적인 추가 이득만을 제공함을 보여줍니다. 이러한 발견에 기반하여, 적응형 트리 구축과 의미 우선 반응 보정 개선을 결합한 ARTS-Hybrid(Adaptive Rubric Tree Search with Hybrid refinement)를 제안합니다. 여러 벤치마크(benchmark)에 걸친 실험을 통해 ARTS-Hybrid가 엔드투엔드 평가 성능과 내재적 루브릭 품질을 모두 향상함을 입증합니다. 추가 실험에서는 ARTS-Hybrid로 생성된 루브릭이 평가를 넘어 모델 최적화에도 유효한 신호를 제공함을 시사합니다.

arXiv:2610.10622v1cs.GR공통 태그 Benchmarking, Large Language Model, llm evaluation

WorldBench: Three.js 복셀 월드 생성에서의 대규모 언어 모델(LLM) 평가

WorldBench: Evaluating LLMs on Three.js Voxel World Generation

대규모 언어 모델(LLM)은 이제 완전하고 상호작용 가능한 3D 월드를 코드로 작성할 수 있지만, 이러한 월드를 자동으로 채점하는 것은 신뢰하기 어렵습니다. 기존의 평가자들은 출력물에 대해 단일 관점만 취합니다. 즉, 비전-언어(vision-language) 모델이 렌더링된 몇 개의 스냅샷을 점수 매기거나, 언어 모델이 소스 코드를 읽는 방식입니다. 5개의 프론티어 모델이 작성한 월드를 대상으로 분석한 결과, 두 관점은 요구된 항목의 32%에서 의견이 일치하지 않았으며(대부분 어떤 프레임에도 표시되지 않는 코드 때문임), 고정된 시점은 크기가 작은 근접 콘텐츠를 놓친다는 점을 발견했습니다. 본 논문에서는 LLM이 생성한 개방형 Three.js 월드를 위한 벤치마크이자 평가자인 WorldBench를 제시합니다. 10개의 바이옴, 물리 엔진, 낮/밤 및 계절 주기를 갖춘 떠 있는 복셀 섬을 설명하는 단 하나의 프롬프트로부터, 평가자는 실행 중인 월드를 탐색하여 시계를 제어하고, 주위를 공전하며, 네비게이터 에이전트를 파견해 각 바이옴을 화면에 담고, 보이는 내용에 대해 코드를 읽어 들입니다. 두 채널 중 어느 것도 단독으로는 신뢰하지 않습니다. 코드 인용은 소스에 실제로 포함된 텍스트인 경우에만 인정되며, 시각적 주장은 해당 속성이 측정 가능한 경우 측정된 픽셀을 기준으로 교차 검증됩니다. 의도적으로 기능을 제거하는 변이 테스트(mutation test) 결과, 코드 전용 평가는 코드가 파일에 남아 있다는 이유로 제거된 5개 기능 중 4개에 만점을 부여하는 것으로 나타났습니다. 저희 평가자는 제거된 기능에 부여되던 점수를 3분의 1가량 삭감하며(7.11점 중 5.44점에서 3.55점), 여전히 인정되는 부분은 대부분 존재하지만 전혀 실행되지 않는 코드 때문입니다. 저희는 5개의 프론티어 모델(Claude Fable 5.1, GPT-6 Astra, Kimi K3, Grok 4.7, Gemini 3.1 Pro)을 평가합니다. 코드, 프롬프트, 테스트 및 평가자 설정은 https://github.com/KrishBakshi/worldbench 에서 확인할 수 있습니다.

arXiv:2610.11069v1cs.CL공통 태그 Benchmarking, Large Language Model, llm evaluation

임상의의 언어 모델 활용 방식과 모델 평가 방식 간의 괴리

Clinician use of language models diverges from how the models are evaluated

대규모 언어 모델(LLM) 어시스턴트가 여러 의료 시스템 전반에서 임상의들에게 배포되고 있으며, 이러한 모델의 준비도에 대한 판단은 대부분 시험 문제나 선별된 사례에서 도출된 벤치마크 점수에 크게 의존하고 있습니다. 벤치마크는 그 평가 항목이 실제 사용 환경과 유사한 수준에서만 배포 시의 성능을 예측할 수 있지만, 벤치마크가 이들 시스템이 실제로 처리하는 업무를 얼마나 잘 반영하는지는 거의 측정된 바 없습니다. 본 연구에서는 8개월간의 배포 과정 동안 35개 전문 분야의 의사, 상급 실무 제공자, 간호사 등 6,342명이 기관용 어시스턴트에 전송한 127,833개의 쿼리를 분석합니다. 임상 질의 및 LLM 평가 분류 체계에 기반하고 임상의의 검증을 거친 프레임워크인 RCQ-Map을 통해 각 쿼리를 특성화하여 태스크, 의도, 답변 가능성, 누락된 정보, 잠재적 위해성을 기록합니다. 문서화 및 행정 업무(36.2%)와 지식 검색(28.9%)이 전체 사용의 3분의 2 가까이를 차지한 반면, 진단은 3.7%에 불과했으며, 쿼리의 3분의 1 이상은 제시된 형태 그대로는 적절한 답변이 불가능했습니다. 주요 평가 스위트와 프론티어 모델 보고서에서 추출하여 Clinical AI Benchmark Atlas로 구성한 58개의 공개 벤치마크에 RCQ-Map을 적용한 결과, 중간값 기준 벤치마크에는 문서화 요청이 전혀 포함되어 있지 않았으며, 실제 사용의 태스크 구성과 일치하는 비율은 태스크 카테고리 전반에 균등하게 분산되었을 때보다도 낮은 31%에 그쳤습니다. 임상 진료 환경을 반영하도록 설계된 스위트에 포함된 벤치마크들도 개별적으로 볼 때 프론티어 모델 보고서에 사용된 벤치마크보다 실제 사용에 더 가깝지 않았습니다. 따라서 벤치마크 점수는 임상 AI가 실제로 부여받는 대부분의 업무에서 어떻게 동작하는지에 대해 거의 알려주지 못하며, 평가는 실제 임상적 활용에 부합하도록 이루어져야 합니다.

arXiv:2610.03020v1cs.AI공통 태그 Question Answering, Benchmarking, Large Language Model

DyadMem: 에이전트와 사용자의 상호작용 방식을 평가하는 장기 기억 벤치마크

DyadMem: A Long-Term Memory Benchmark of How Agents Work with Users

장기 에이전트(agent)는 사용자에 대한 사실뿐만 아니라 공유된 히스토리가 발전함에 따라 특정 에이전트가 해당 사용자와 어떻게 상호작용해야 하는지도 기억해야 합니다. 기존 벤치마크는 주로 사용자의 사실 및 선호도나 여러 사용자 간에 재사용 가능한 경험만을 감독하여, 이러한 관계 특정적 에이전트 메모리를 암묵적인 상태로 남겨두었습니다. 또한, 대부분의 이전 연구는 긴 상호작용 기록에 대한 최종 답변 질의응답(QA)만으로 모델을 측정하므로 평가가 여전히 불완전하고 신뢰하기 어렵습니다. 이를 위해 본 논문에서는 새롭게 정의한 사용자 조건부 관계형 에이전트 메모리(URAM)와 함께 DyadMem을 소개합니다. DyadMem은 동일한 다중 세션 궤적을 따라 사용자 측 메모리와 URAM을 공동으로 주석 처리하여 6가지 메모리 범주를 구성합니다. 요약하자면, 본 벤치마크는 3,065개의 에피소드, 50,961개의 세션, 61,210개의 QA 인스턴스를 포함하며, 광범위한 세션 수준의 수집(Capture) 및 업데이트(Update) 골드 주석, 쿼리 수준의 리콜(Recall) 지원, 그리고 골드 메모리(Gold-Memory)와 전체 파이프라인(Full-Pipeline)이라는 두 가지 QA 설정을 제공합니다. 16개의 공개 가중치(weight) 모델과 4개의 독점 모델 전반에서 골드 메모리 QA는 일관되게 강력한 성능을 보였으나, 전체 파이프라인 QA는 급격히 하락했습니다. 이러한 격차는 본 연구의 세분화된 평가 설계를 명확히 뒷받침합니다. 또한, 여러 정량적 결과는 프론티어 대규모 언어 모델(LLM)에서도 낮은 수집 재현율(recall), 불완전한 검색(Recall), 안전하지 않은 삭제 문제가 발생함을 추가로 보여줍니다. 나아가 엄격한 실험을 수행하여 URAM의 효과를 검증했으며 20개 모델 모두에서 긍정적인 효과를 관찰했습니다. 요약하자면, DyadMem은 해당 분야의 발전을 위해 광범위한 주석 작업을 거친 이중 도메인, 전체 파이프라인 메모리 벤치마크입니다.

arXiv:2610.03639v1cs.AI공통 태그 Question Answering, Benchmarking, Large Language Model

대규모 언어 모델은 콜롬비아 법률을 알고 있는가? 콜롬비아 법률 체계를 위한 신뢰성 벤치마크

Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System

대규모 언어 모델(LLM)은 법률 실무, 교육, 연구를 지원하는 데 점점 더 많이 활용되고 있지만, 미국 이외의 국가 법률 체계에서 이들의 신뢰성은 대부분 문서화되지 않은 상태로 남아 있습니다. 본 연구에서는 콜롬비아 법률 체계에 대한 LLM 신뢰성을 평가하기 위한 전문가 검증 벤치마크를 소개합니다. 이 벤치마크는 다단계 전문가 검토를 거친 인간 참여형(human-in-the-loop) 파이프라인을 통해 구축되었으며, 10개 법률 분야와 3가지 질문 형식(폐쇄형 객관식, 반개방형, 개방형 IRAC)에 걸친 1,042개 문항으로 구성됩니다. 우리는 형식에 적합한 지표를 사용하여 15개의 최신 상용 및 공개 가중치(open-weight) 모델을 평가합니다. 폐쇄형 질문의 정확도는 0.905(Gemini 3.1 Pro)부터 0.577까지 큰 폭의 차이를 보였으나, 자유 서술형 법률 답변의 경우 모든 모델에서 사실적 정확성이 0.45(0-1 척도 기준)를 넘지 못했습니다. 우리는 답변 관련성과 정확성 사이의 괴리(Spearman rho = -0.46)를 발견했습니다. 즉, 모델들은 질문에 부합하게 그럴듯하게 응답하면서도 실제로는 틀리는 경우가 잦았으며, 이는 특히 비전문가 사용자에게 우려되는 패턴입니다. 폐쇄형 질문 정확도와 자유 서술형 정확도는 순위 상관관계가 매우 높아(rho = 0.94), 비용이 적게 드는 객관식 스크리닝으로 모델 순위를 예측할 수는 있지만 절대적인 신뢰성은 과대평가되는 것으로 나타났습니다. 루브릭 기반의 독립적인 LLM 판정관과 블라인드 인간 전문가 점수 산정 모두 자유 서술형 순위를 재현했습니다(rho >= 0.88). 판정관 분석 결과, 모델이 인용한 법규범 중 약 절반만이 정확했으며 나머지는 부정확하거나 존재하지 않는 것으로 추가 확인되었습니다. 신뢰성은 법률 분야에 따라 체계적으로 차이를 보였으며 질문 복잡도에 따라 역U자형(inverted-U) 추세를 따랐습니다. 본 연구 결과는 현재의 LLM이 콜롬비아 법률 업무에 활용되려면 전문가의 감독이 필요하며, 권위 있는 출처에 답변을 그라운딩(grounding)하는 것이 신뢰성을 높이기 위한 유망한 방안임을 보여줍니다. 재현 가능한 평가를 지원하기 위해 벤치마크 구축 파이프라인을 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.