대규모 언어 모델(LLM)은 생의학 질의응답부터 재료 정보학에 이르기까지 구조화된 지식을 바탕으로 추론하는 과학 AI 응용 분야의 기반으로 점차 자리 잡고 있습니다. 그러나 이들의 논리적 추론은 종종 기대에 미치지 못하여, 해당 분야에서 용납될 수 없는 사실적 부정확성을 초래합니다. 신뢰할 수 있는 평가는 여전히 어려운 과제입니다. 수작업 데이터셋 구축은 확장이 어렵고, LLM 기반 생성은 측정하고자 하는 바로 그 결함을 내재시킬 위험이 있습니다. 고품질 벤치마크는 정답과 오답으로 레이블링된 예시 모두를 명시적인 배경지식에 그라운딩(grounding)해야 하며, 표준 추론기(reasoner)를 통해 정식으로 검증할 수 있어야 합니다. 본 연구에서는 충분히 공리화된 OWL 2 온톨로지로부터 온톨로지 기반 다지선다형 질문(MCQ) 벤치마크를 자동 생성하며, 설계상 정답이 온톨로지에 그라운딩되는 파이프라인을 제안합니다. 오답 선택지(distractor)는 클래스 정의 공리의 우변 클래스 표현식을 변형하여 생성되며, 이들의 오류 여부는 함의 검사를 통해 OWL 추론기로 정식 검증됩니다. 저자들은 세 가지 온톨로지, 즉 Pizza(소규모, 학술용), PMDco(복합형, 재료과학), DOID(대규모, 생의학)에서 파이프라인을 평가하여 각각 112개, 2,491개, 15,216개의 MCQ를 생성했습니다. 오답 선택지는 클래스 불만족성부터 약화된 함의에 이르기까지 4가지 의미적 범주를 포괄하여 특정 추론 실패에 대한 진단적 평가를 가능하게 합니다. 문항들은 자연어 품질 표준을 충족합니다. 5점 만점에 평균 4.02, 4.36, 3.36점의 LLM 판별 점수로 유창성을 확인하였으며, 정답과 오답 선택지 간 0.8 이상의 유사도는 표면적 형태만으로는 오답을 배제할 수 없음을 보여줍니다. 제로샷(zero-shot)으로 평가된 6개 LLM은 41.1~76.8%의 정확도를 기록하여 무작위 추측 기준선인 25%를 크게 웃돌았으며, 이는 본 벤치마크가 도전적이고 변별력이 있음을 나타냅니다. 본 연구는 과학 AI에서 논리적 추론을 평가하기 위한 보다 신뢰할 수 있는 벤치마크로 나아가는 한 걸음입니다.
대규모 언어 모델(LLM) 기반의 임상 어시스턴트가 전자의무기록(EHR) 시스템에 점차 통합되면서, 임상의가 환자 기록에서 정보를 검색하고 종합하는 방식을 변화시키고 있습니다. 이러한 시스템의 안전성과 유용성은 엄격한 평가에 달려 있지만, 기존 벤치마크는 수작업으로 큐레이션되어 업데이트 비용이 많이 들고 기술 발전에 따라 빠르게 구식화됩니다. 본 논문에서는 종단적 EHR 임상 기록으로부터 질의응답 쌍을 자동으로 생성하는 확장 가능한 프레임워크를 제시합니다. 19명의 임상의가 벤치마크 생성기를 검증하여 지속적으로 유지 관리할 수 있는 평가 데이터셋인 BRIE(Benchmark for Retrieving Information in EHRs)를 구축했습니다. 9개의 LLM과 5개의 추론(inference) 전략에 걸친 평가 결과, 최신 시스템들은 특히 여러 문서와 진료 기록 전반에 걸친 종합이 필요한 질문에서 임상적으로 중요한 정보를 빈번하게 누락하는 것으로 나타났습니다. 생성기 자체가 검증되었기 때문에, BRIE는 정적 벤치마크가 지원할 수 없는 평가를 가능하게 합니다. 여기에는 강건한 성능 평가를 위해 임상의의 추론 변동성을 반영하는 다중 답변 생성과, 데이터 유출(leakage)을 방지하기 위한 벤치마크 콘텐츠의 지속적인 갱신이 포함됩니다. 본 연구 결과는 확장 가능한 벤치마크 생성을 통해 빠르게 진화하는 의료 환경에 배포되는 임상 LLM에 대한 엄격하고 최신화된 평가가 가능함을 입증합니다.
Reasoning about relational structures remains a significant challenge for neural models, particularly when they must systematically apply learned knowledge to problem instances that are harder than those seen in training. Progress is hampered by the difficulty of evaluating such generalization, since a priori, it is rarely clear what makes an instance hard. We study how this issue can be addressed by using large language models (LLMs) to automate benchmark generation, learning to produce increasingly challenging instances in an end-to-end manner. Concretely, given a world parametrized by Datalog rules, and an Edge Transformer as the reasoning evaluator, we use LLM-driven evolutionary search (based on FunSearch) and autonomous agentic search to discover sampling functions that yield hard problem instances. We also show that the Edge Transformer can be improved using this data such that it generalizes well to further data perturbations. Finally, we show that the same machinery can be applied to novel worlds proposed by LLMs, opening the door to autonomous research on neural relational reasoning.