arXiv:2610.00700v1 cs.AI

R-GroundBench: 마쿠시 분자 편집에서의 R-그룹 그라운딩 진단 벤치마크

R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing

Xin Wang, Zichuan Ying, Xinna Lin, Junqi Zhang, Hanyi Xiong, Tianyu Gao, Hairong Zhang, Qixiang Hua, Botian Shi, Zhenhailong Wang, Kaicheng Yu

제출 2026-09-30

한국어 초록

과학적 발견을 위한 AI의 최근 발전은 분자에 대한 이해와 설계를 가능하게 하지만, 불완전한 화학적 표현에 대한 추론은 여전히 명확하지 않습니다. 가변적인 R-그룹 플레이스홀더(\textit{R\textsubscript{1}}, \textit{R\textsubscript{2}}, \textit{X} 등)를 통해 분자 계열을 부호화하는 마쿠시(Markush) 구조는 제약 특허에 널리 퍼져 있으며 분자, 텍스트 및 화학 정보 전반에 걸친 그라운딩(grounding)을 필요로 합니다. 그러나 기존의 분자-언어 벤치마크는 완전히 명시된 분자에만 초점을 맞추고 있어, R-그룹 그라운딩은 대체로 평가되지 않은 채로 남아 있습니다. 본 연구에서는 실제 특허 마쿠시 구조로 구축된 진단 벤치마크인 R-GroundBench를 도입하며, 이는 제어된 난이도 및 모달리티 분할을 갖춘 객관식(VQA) 트랙과 개방형 생성(Generation) 트랙을 특징으로 합니다. 실험 결과는 인식과 분자 그라운딩 사이에 상당한 격차가 있음을 보여줍니다. 모델들이 Easy VQA에서는 90\% 이상의 정확도를 달성하는 반면, 지름길(shortcut)이 제어된 Hard VQA에서는 성능이 56--66\%로 떨어집니다. 화학 도메인 VLM 또한 도메인 특화 사전학습에도 불구하고 Hard VQA에서 25.7--46.2\%만을 달성하여 신뢰할 수 없는 수준에 머물러 있습니다. 게다가 생성 정확 일치(Exact Match)는 대부분의 모델에서 20\% 미만으로 유지되며, 시각적 입력이 요구될 때는 8\% 미만으로 떨어집니다. 이러한 결과는 현재의 AI 시스템이 마쿠시 편집을 위한 신뢰할 수 있는 그라운딩 및 실행 능력이 부족함을 드러내며, AI 기반 과학적 발견의 주요 과제들을 부각합니다.

원문 초록

Recent advances in AI for scientific discovery enable molecular understandingand design, yet reasoning over incomplete chemical representations remainsunclear.Markush structures, which encode molecular families through variable R-groupplaceholders (\textit{R\textsubscript{1}}, \textit{R\textsubscript{2}}, \textit{X}, etc.), are ubiquitous in pharmaceutical patents and requiregrounding across molecular, textual, and chemical information.However, existing molecule-language benchmarks focus on fully specifiedmolecules, leaving R-group grounding largely unevaluated.We introduce R-GroundBench:, a diagnostic benchmark built from real patent Markushstructures, featuring a Multiple-Choice (VQA) track with controlled difficultyand modality splits, and an open-ended Generation track.Our results reveal a substantial gap between recognition andmolecular grounding.While models achieve over 90\% accuracy on Easy VQA, performance drops to56--66\% on Hard VQA when shortcuts are controlled.Chemical-domain VLMs also remain unreliable, achieving only 25.7--46.2\% on HardVQA despite domain-specific pretraining.Moreover, Generation Exact Match remains below 20\% for most models and below8\% when visual input is required.These findings reveal that current AI systems lack reliable grounding andexecution for Markush editing, highlighting challenges for AI-drivenscientific discovery.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00700v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.32123v2cs.AI공통 태그 Benchmarking, Diagnostic

READ-Bench: 시계열 진단을 위한 과거 사례 검색 벤치마크

READ-Bench: Benchmarking Historical Instance Retrieval for Time-Series Diagnosis

시계열 진단 시스템은 관련 과거 사례를 검색하는 방식에 거의 의존하지 않으며, 이를 활용하더라도 검색 성능은 다운스트림 예측을 통해서만 간접적으로 평가됩니다. 본 연구에서는 다변량 시계열을 중심으로 12개의 진단 데이터셋에 걸쳐 과거 사례 검색을 평가하는 벤치마크인 READ-Bench를 소개합니다. READ-Bench는 신호의 형태 대신 공유된 고장 또는 이벤트 유형을 기준으로 관련성을 정의하므로, 동일한 고장이라도 시각적으로 다른 파형은 관련 사례로 간주되는 반면, 서로 다른 고장의 유사하게 보이는 파형은 관련 사례로 간주되지 않습니다. 검색을 기본 검색기(base retriever)와 리랭커(reranker)의 결합으로 구성하여, 유의성 검정과 함께 지도 수준, 데이터 오염(pollution), 코퍼스 규모를 다양화하는 단일 프로토콜 하에서 고전적 거리 지표, 기호 기반 검색기, 자기지도학습 및 파운데이션 모델 임베더와 이들의 융합, 그리고 라벨 인지형 및 언어 모델 리랭커를 평가합니다. 공통의 채널 독립적 인터페이스에서 사전학습된 표현은 검색 단계 단독으로는 강력한 고전적 및 기호 기반 베이스라인 대비 통계적으로 유의미한 이점을 보이지 않았습니다. 결정적인 요인은 리랭킹 단계에서 해결된 사례에 대한 소량의 지도 학습, 즉 임베딩 공간에서 소수의 이웃 라벨을 전파하는 가우시안 프로세스(Gaussian-process) 리랭커의 활용이었으며, 이는 더 정교한 표현이나 언어 모델 추론보다 훨씬 더 큰 도움이 되었고 데이터 오염 및 전체 코퍼스 규모에서도 유효했습니다. 이러한 결과를 바탕으로, 본 연구는 상호 순위 융합(reciprocal-rank fusion)을 통해 정상 잔차 점수 기반 임베더와 동적 시간 워핑(dynamic time warping) 방식을 결합한 후 가우시안 프로세스 리랭커로 재순위화하여, 12개 데이터셋 전체에서 자체 검색 단계 대비 NDCG@10을 향상시켰으며(리랭킹으로 +0.11 향상), 가장 강력한 단일 기본 검색기 대비 +0.16의 향상을 달성했습니다.

arXiv:2610.02599v1cs.AI공통 태그 Benchmarking, Drug Discovery

TasteBench: 분자에서 지속 가능한 식품까지, 감각 예측을 위한 멀티모달 벤치마크

TasteBench: Multimodal Benchmark for Sensory Prediction, from Molecules to Sustainable Foods

지속 가능한 단백질 발굴에는 신약 및 소재 발굴을 가속화하는 분자 도킹이나 밀도 범함수 이론과 유사한 빠른 계산 대리 모델(proxy)이 부재합니다. 새로운 식품이 동물성 대상 식품과 비슷한 맛을 내는지 평가하려면 비용이 많이 드는 인간 관능 평가 패널이 필요하여 설계-구축-테스트 루프의 병목 현상을 초래합니다. 본 논문에서는 두 가지 과제로 구성된 감각 예측용 멀티모달 벤치마크이자 프라이버시 보존형 경진대회인 TasteBench를 소개합니다. 두 과제는 24개 제품 카테고리의 215개 식물성 식품에 대한 2만 1천 건 이상의 인간 평가를 기반으로 구축되어 카테고리 내 935개 순위 쌍을 생성하는 식품 수준 랭킹 과제와, 1만 5천 개 향미 분자를 다루는 보조적 분자 수준 맛 분류(classification) 과제입니다. 모델(model) 성능의 엄밀한 해석을 위해 본 연구에서는 정답 레이블(ground truth)의 특성을 규명했습니다. 패널 간 평가자 간 일치도는 낮았으며(Krippendorff's $α= .077$), 패널 집계 랭킹의 반분 신뢰도 상한선은 .825로 나타나 이 벤치마크에서 머신러닝 시스템을 평가해야 하는 범위를 설정했습니다. 네 가지 입력 모달리티에 걸쳐 베이스라인을 평가한 결과, 패널이 평가한 동일한 쌍에서 최고 성능 모델은 .661의 쌍별 정확도를 기록하여 개별 패널의 중앙값(.650)과 경쟁력 있는 성능을 보였고, 모든 카테고리 내 쌍에 대해서는 .683을 달성했습니다. TasteBench는 지속 가능한 단백질 발굴을 위한 계산 스크리닝의 발전을 측정할 수 있는 평가 인프라와 베이스라인을 제공합니다.

arXiv:2609.34024v2cs.AI공통 태그 Benchmarking, Diagnostic

의학 분야에서의 Jev: 벤치마크 평가

Jev in Medicine: A Benchmark Evaluation

Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.

arXiv:2610.00126v1cs.CR공통 태그 Benchmarking, Diagnostic

검증자가 정답을 유출할 수 있다: 폐루프 에이전트 디버깅에서 최적화에 앞선 진단 가능성

A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging

에이전트(agent) 개발자들은 시뮬레이터 기반 검증자(verifier)를 통해 프롬프트, 도구, 정책 및 진단 알고리즘을 비교하는 방식을 점점 더 많이 활용하고 있습니다. 그러나 검증자는 솔버(solver) 비교를 무의미하게 만들 수도 있습니다. 즉, 검증자의 프로브(probe)나 술어(predicate)가 타깃의 식별 정보를 인코딩하고 있다면, 정확한 옵티마이저(optimizer)는 어떠한 실질적인 모호성도 해결하지 못한 채 효과적인 것처럼 보일 수 있습니다. 본 연구에서는 폐루프(closed-loop) 의사결정 에이전트를 위한 집계 트레이스 디버거에서 발생하는 이러한 실패 사례를 보고합니다. 정확한 최소 적중 집합(Minimum Hitting Set, MHS)과 전파 인식 탐욕 알고리즘(propagation-aware greedy method)은 12개 개발 사례 모두에서 동일한 지지 집합(support)을 반환했으며, 9/12 사례에서 동일한 주입 결함(planted fault) 복구를 달성했습니다. 후속 감사 결과, 정확한 앵커(exact-anchor) 술어가 9/9 사례에서 주입된 쌍을 생성한 것으로 확인되었습니다. 해당 앵커들을 제거한 후 전체 주입 쌍 복구율은 8/9였습니다. 그럼에도 불구하고 하드 프로브 싱글톤(hard-probe singleton) 쌍은 9/9 사례에서 주입된 쌍과 일치했으며, 전파 후 비어 있지 않은 잔여 충돌군(residual conflict family)이 유지된 사례는 전무했습니다(0/9). 옵티마이저는 올바르게 작동했으나, 검증자가 이미 정답을 노출하고 있었던 것입니다. 이에 본 논문에서는 솔버 우선 평가 방식을 지지 집합 기반 게이팅(support-gated) 검증 규약으로 대체합니다. 먼저 클린 참조 맵(clean reference map)을 통해 반복적인 컴포넌트 노출을 입증해야 하며, 그다음 일치된 참조/현재 게이트를 통해 비교 가능한 런타임 증거를 확립해야 하고, 그 이후에만 독립적으로 보정된 신호 규칙이 탐지 결과를 반환할 수 있습니다. 1,440개의 사례와 21,600개의 파티션 행으로 구성된 사전 등록된 홀드아웃(heldout) 평가에서, 55/72 체제-컴포넌트(regime-component) 단위가 참조 게이트를 통과했고, 54/55가 런타임 게이트를 통과했으며, 표현된 컴포넌트의 안정적 위허용(stable false admission)은 단측 정확 95% 상한선 0.1391과 함께 0/20을 기록했습니다. 승인된 단위 내에서는 영향을 받은 정상 트래픽이 공칭 결함 셀 비율(nominal fault-cell fraction)보다 탐지를 더 잘 예측했습니다. 본 연구의 핵심적인 구조적 교훈은 컴포넌트 선택기를 최적화하기 전에 증거의 적격성과 비공개성(non-revelation)을 먼저 검증해야 한다는 점입니다. 그렇지 않으면 더 강력한 솔버가 단지 더 강력한 검증자 아티팩트(artifact)를 인증하는 것에 불과할 수 있습니다.

arXiv:2610.00314v1cs.AI공통 태그 Benchmarking, Drug Discovery

예측 기여도: 과학적 설명이 실험 예측에 더하는 가치 측정

Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts

연구 에이전트(agent)는 계획된 실험을 설명합니다. 본 연구에서는 중재, 예측 모델, 결과를 공유하면서 설명(description), 매칭된 설명(matched explanation), 기증자 맥락(donor context)을 달리하는 쌍체 예측을 통해 예측 기여도(predictive credit)를 측정합니다. 다섯 가지 검증을 통해 공약(commitment), 전달(delivery), 예측 이득(predictive gain), 정렬(alignment), 기지 신호 수용(known-signal uptake)을 추적합니다. 통제된 학습 환경의 336개 전향적 상태, 12개 Tox21 엔드포인트, 24개 OpenML 태스크 전반에 걸쳐 v5의 동결된 기여도 판정은 결정적이지 않았습니다. 사전 등록된 Tox21의 ROC AUC 구간 점수 유해성 테스트는 충족되지 않았으며($D-M=-.0026$, 95% 신뢰구간 [$-.0174$, .0104]), OpenML의 결합 형성, 점 동등성 및 반복성 규칙 역시 충족되지 않았습니다. 설명 대비 매칭된 점 정확도(point-accuracy) 향상은 확인되지 않은 상태로 남았으며, Tox21/OpenML 시드-기증자 구간은 0을 포함했습니다. 요청된 DeepSeek V4 Pro 환경에서 매칭 카드와 기증자 카드는 2차 Tox21 드리프트를 각각 64.5%와 59.1% 감소시켰습니다. DeepSeek V4 Flash 재현에서는 매칭 점 MAE가 .01823에서 .02020으로 증가했으며 매칭-기증자 구간 점수 동등성을 달성하지 못했습니다. OpenML 풀 카드 할당은 공칭 80% 구간을 21% 넓혔고, 커버리지는 설명의 51.4% 대비 49.3%였으며 144개 카드 중 66개에 내용이 포함되었습니다. Direct-text Flash는 감지 가능한 매칭 점 정확도 이득 없이 144개 노트를 모두 전달했습니다. 연구자가 직접 작성한 메커니즘 양성 대조군은 설명 대비 점 MAE를 2.60%포인트 낮췄습니다. 본 프로토콜은 연구 에이전트 벤치마크 및 과학적 예측에 대한 예측 기여도를 측정하며, 테스트된 기증자 해상도에서 자연어 설명의 기여도는 확인되지 않은 상태로 남았습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.