ShallowBench: 얕은 포켓 표적에 대한 생성형 약물 설계 모델 벤치마킹
ShallowBench: Benchmarking Generative Drug Design Models on Shallow-Pocket Targets
한국어 초록
생성형 AI 모델은 구조 기반 약물 설계(structure-based drug design)에서 획기적인 성공을 거두었지만, 주로 깊은 결합 포켓(binding pocket)에 의존하며, 역사적으로 '약물 표적화 불가능(undruggable)'한 암 표적(oncology targets)인 KRAS와 MYC와 같이 다루기 힘든 약물 결합 가능성이 낮은 표적에 대해서는 유효한 리간드(ligand)를 샘플링하는 데 어려움을 겪고 있습니다. 이러한 격차를 해결하기 위해, 우리는 CrossDocked2020에서 추출된 5,780개의 얕은 포켓 표적으로 구성된 엄격하게 선별된 벤치마크인 ShallowBench를 소개합니다. 알파 형상(Alpha Shape) 'lid' 부피와 기저 단백질 원자 복셀(voxel) 부피의 차이를 계산하여, 결합에 필요한 충분한 표면적을 확보하면서도 낮은 오목성(concavity)을 가진 표적을 성공적으로 분리해 냈습니다. 다양한 최첨단 생성형 모델을 평가한 결과, 이러한 오목성이 낮은 인터페이스에서 예측된 결합 친화도(binding affinity)가 더 낮게 나타났습니다. 따라서 ShallowBench는 생성형 생물학 모델을 위한 엄격한 벤치마크를 제공하며, 이러한 도전적인 표적을 탐색할 수 있는 새로운 아키텍처 혁신이나 손실 함수(loss function)의 필요성을 강조합니다.
원문 초록
While generative AI models have demonstrated remarkable success in structure-based drug design, they predominantly rely on deep binding pockets and struggle to sample effective ligands for challenging low-pocketability targets, such as the historically "undruggable" oncology targets KRAS and MYC. To address this gap, we introduce ShallowBench, a strictly curated benchmark of 5,780 shallow-pocket targets extracted from CrossDocked2020. By computing the difference between an Alpha Shape "lid" volume and the underlying protein atom voxel volume, we successfully isolated targets with low concavity while ensuring sufficient surface area for binding. Evaluating various state-of-the-art generative models reveals weaker predicted binding affinity on these low-concavity interfaces. ShallowBench therefore provides a rigorous benchmark for generative biology models and highlights the necessity of new architectural innovations or loss functions capable of navigating these challenging targets.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06717v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TasteBench: 분자에서 지속 가능한 식품까지, 감각 예측을 위한 멀티모달 벤치마크
TasteBench: Multimodal Benchmark for Sensory Prediction, from Molecules to Sustainable Foods
지속 가능한 단백질 발굴에는 신약 및 소재 발굴을 가속화하는 분자 도킹이나 밀도 범함수 이론과 유사한 빠른 계산 대리 모델(proxy)이 부재합니다. 새로운 식품이 동물성 대상 식품과 비슷한 맛을 내는지 평가하려면 비용이 많이 드는 인간 관능 평가 패널이 필요하여 설계-구축-테스트 루프의 병목 현상을 초래합니다. 본 논문에서는 두 가지 과제로 구성된 감각 예측용 멀티모달 벤치마크이자 프라이버시 보존형 경진대회인 TasteBench를 소개합니다. 두 과제는 24개 제품 카테고리의 215개 식물성 식품에 대한 2만 1천 건 이상의 인간 평가를 기반으로 구축되어 카테고리 내 935개 순위 쌍을 생성하는 식품 수준 랭킹 과제와, 1만 5천 개 향미 분자를 다루는 보조적 분자 수준 맛 분류(classification) 과제입니다. 모델(model) 성능의 엄밀한 해석을 위해 본 연구에서는 정답 레이블(ground truth)의 특성을 규명했습니다. 패널 간 평가자 간 일치도는 낮았으며(Krippendorff's $α= .077$), 패널 집계 랭킹의 반분 신뢰도 상한선은 .825로 나타나 이 벤치마크에서 머신러닝 시스템을 평가해야 하는 범위를 설정했습니다. 네 가지 입력 모달리티에 걸쳐 베이스라인을 평가한 결과, 패널이 평가한 동일한 쌍에서 최고 성능 모델은 .661의 쌍별 정확도를 기록하여 개별 패널의 중앙값(.650)과 경쟁력 있는 성능을 보였고, 모든 카테고리 내 쌍에 대해서는 .683을 달성했습니다. TasteBench는 지속 가능한 단백질 발굴을 위한 계산 스크리닝의 발전을 측정할 수 있는 평가 인프라와 베이스라인을 제공합니다.
예측 기여도: 과학적 설명이 실험 예측에 더하는 가치 측정
Predictive Credit: Measuring What Scientific Explanations Add to Experimental Forecasts
연구 에이전트(agent)는 계획된 실험을 설명합니다. 본 연구에서는 중재, 예측 모델, 결과를 공유하면서 설명(description), 매칭된 설명(matched explanation), 기증자 맥락(donor context)을 달리하는 쌍체 예측을 통해 예측 기여도(predictive credit)를 측정합니다. 다섯 가지 검증을 통해 공약(commitment), 전달(delivery), 예측 이득(predictive gain), 정렬(alignment), 기지 신호 수용(known-signal uptake)을 추적합니다. 통제된 학습 환경의 336개 전향적 상태, 12개 Tox21 엔드포인트, 24개 OpenML 태스크 전반에 걸쳐 v5의 동결된 기여도 판정은 결정적이지 않았습니다. 사전 등록된 Tox21의 ROC AUC 구간 점수 유해성 테스트는 충족되지 않았으며($D-M=-.0026$, 95% 신뢰구간 [$-.0174$, .0104]), OpenML의 결합 형성, 점 동등성 및 반복성 규칙 역시 충족되지 않았습니다. 설명 대비 매칭된 점 정확도(point-accuracy) 향상은 확인되지 않은 상태로 남았으며, Tox21/OpenML 시드-기증자 구간은 0을 포함했습니다. 요청된 DeepSeek V4 Pro 환경에서 매칭 카드와 기증자 카드는 2차 Tox21 드리프트를 각각 64.5%와 59.1% 감소시켰습니다. DeepSeek V4 Flash 재현에서는 매칭 점 MAE가 .01823에서 .02020으로 증가했으며 매칭-기증자 구간 점수 동등성을 달성하지 못했습니다. OpenML 풀 카드 할당은 공칭 80% 구간을 21% 넓혔고, 커버리지는 설명의 51.4% 대비 49.3%였으며 144개 카드 중 66개에 내용이 포함되었습니다. Direct-text Flash는 감지 가능한 매칭 점 정확도 이득 없이 144개 노트를 모두 전달했습니다. 연구자가 직접 작성한 메커니즘 양성 대조군은 설명 대비 점 MAE를 2.60%포인트 낮췄습니다. 본 프로토콜은 연구 에이전트 벤치마크 및 과학적 예측에 대한 예측 기여도를 측정하며, 테스트된 기증자 해상도에서 자연어 설명의 기여도는 확인되지 않은 상태로 남았습니다.
R-GroundBench: 마쿠시 분자 편집에서의 R-그룹 그라운딩 진단 벤치마크
R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing
과학적 발견을 위한 AI의 최근 발전은 분자에 대한 이해와 설계를 가능하게 하지만, 불완전한 화학적 표현에 대한 추론은 여전히 명확하지 않습니다. 가변적인 R-그룹 플레이스홀더(\textit{R\textsubscript{1}}, \textit{R\textsubscript{2}}, \textit{X} 등)를 통해 분자 계열을 부호화하는 마쿠시(Markush) 구조는 제약 특허에 널리 퍼져 있으며 분자, 텍스트 및 화학 정보 전반에 걸친 그라운딩(grounding)을 필요로 합니다. 그러나 기존의 분자-언어 벤치마크는 완전히 명시된 분자에만 초점을 맞추고 있어, R-그룹 그라운딩은 대체로 평가되지 않은 채로 남아 있습니다. 본 연구에서는 실제 특허 마쿠시 구조로 구축된 진단 벤치마크인 R-GroundBench를 도입하며, 이는 제어된 난이도 및 모달리티 분할을 갖춘 객관식(VQA) 트랙과 개방형 생성(Generation) 트랙을 특징으로 합니다. 실험 결과는 인식과 분자 그라운딩 사이에 상당한 격차가 있음을 보여줍니다. 모델들이 Easy VQA에서는 90\% 이상의 정확도를 달성하는 반면, 지름길(shortcut)이 제어된 Hard VQA에서는 성능이 56--66\%로 떨어집니다. 화학 도메인 VLM 또한 도메인 특화 사전학습에도 불구하고 Hard VQA에서 25.7--46.2\%만을 달성하여 신뢰할 수 없는 수준에 머물러 있습니다. 게다가 생성 정확 일치(Exact Match)는 대부분의 모델에서 20\% 미만으로 유지되며, 시각적 입력이 요구될 때는 8\% 미만으로 떨어집니다. 이러한 결과는 현재의 AI 시스템이 마쿠시 편집을 위한 신뢰할 수 있는 그라운딩 및 실행 능력이 부족함을 드러내며, AI 기반 과학적 발견의 주요 과제들을 부각합니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.