arXiv:2607.06224v1 cs.LG

Canopy: A Heterograph Foundation Model for Metabolic Engineering

Jake Bowden, Laurence Legon, Satnam Surae

제출 2026-07-07

원문 초록

Designing microbial strains that produce high-value chemicals at commercially viable titers remains a central challenge in metabolic engineering. Existing computational approaches either rely on stoichiometric constraint-based models that cannot learn from experimental data, or apply tabular machine learning to hand-crafted features that discard the relational structure of biological knowledge. We present Canopy, a heterogeneous graph foundation model that integrates ten public and proprietary data sources into a unified knowledge graph (KG) of 6.9M nodes across 13 types and 34 edge types, covering genes, proteins, metabolites, reactions, pathways, strains, and fermentation experiments. Node features are encoded through domain-specific foundation models (ESM-2 for protein sequences, MoLFormer for chemical SMILES, and PubMedBERT for biomedical text), yielding a multi-modal representation within a single graph. We pretrain a Heterogeneous Graph Transformer (HGT) augmented with SignNet positional encodings, Jumping Knowledge aggregation, and virtual nodes using four self-supervised objectives (link prediction, masked node modelling, distance prediction, and contrastive experiment clustering), balanced via learned homoscedastic uncertainty weighting. On the downstream task of fermentation titer prediction, frozen Canopy embeddings achieve $R^{2} = 0.41$ with a lightweight probe, outperforming tabular baselines (best $R^{2} = 0.24$) and homogeneous GNN variants.

요약

대사공학에서 고부가가치 화학물질을 생산하는 미생물 균주 설계를 위해, 유전자·단백질·대사물질·발효 실험 등 13가지 노드 유형과 34가지 엣지 유형으로 구성된 690만 노드 규모의 지식 그래프(Knowledge Graph)에 ESM-2, MoLFormer, PubMedBERT를 결합한 이종 그래프 파운데이션 모델(Heterogeneous Graph Foundation Model) Canopy를 제안한다. 발효 역가(titer) 예측 태스크에서 Canopy 임베딩은 R²=0.41을 달성하여 테이블형 기계학습 베이스라인(최고 R²=0.24)과 동종 GNN 변형 모델을 모두 능가했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.06224v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.10197v2cs.AI공통 태그 Knowledge Graphs, Link Prediction, Graph Neural Network

GRATE: 게이트 회전 어텐션을 통한 귀납적 지식 그래프 파운데이션 모델의 시간적 확장

GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention

Ultra, Trix와 같은 지식 그래프 파운데이션 모델은 관계 그래프 표현을 학습함으로써 미지의 개체 및 관계로 강력한 귀납적 전이를 달성한다. 이러한 전이 가능성을 시간적 지식 그래프(TKG)로 확장하는 것은 여전히 어려운 과제이다. 기존의 시간적 모델은 파라미터가 데이터셋 고유의 개체, 관계, 또는 타임스탬프에 고정되어 있어 어휘가 서로 다른 TKG로의 전이를 위해 설계되지 않았다. 우리는 학습 가능한 파라미터를 추가하지 않으면서 시간을 인코딩하는 개체 측 메시지 함수인 GRATE(Gated Rotary Attention for Temporal Encoding)를 제안한다. GRATE는 각 엣지 메시지를 쿼리와의 시간 간격에 따라 회전시켜 상대적 시간 차이를 인코딩하고, 쿼리 조건부 게이트를 적용하여 시간적으로 관련된 신호를 선택한다. GRATE는 구조적 전이 가능성을 유지하면서 NBFNet 방식의 지식 그래프 파운데이션 모델에 통합된다. 기존 TKG 벤치마크는 학습/테스트 어휘를 공유하는 환경에서만 평가하므로 데이터셋 간 시간적 전이를 직접 테스트하기 어렵다. 이를 위해 우리는 보간(interpolation)과 외삽(extrapolation) 모두를 아우르며 개체, 관계, 타임스탬프가 분리된 귀납적 전이 벤치마크 스위트인 GDELTIndT와 WIKIIndT를 구축하였다. 이 벤치마크들과 홀드아웃 예측 데이터셋 전반에 걸쳐, 단일 공동 사전학습 GRATE 체크포인트는 대부분의 설정에서 정적 베이스 모델을 능가한다.

arXiv:2607.22781v1cs.LG공통 태그 Knowledge Graphs, Link Prediction, Graph Neural Network

소프트맥스가 버리는 것: 증거 누적을 위한 질량 인식 어텐션

What Softmax Throws Away: Mass-Aware Attention for Evidence Accumulation

높은 태스크 성능은 모델이 내부 표현에서 예측과 관련된 구조적 정보를 유지하는지 여부를 보여주지 않는다. 예를 들어, 시간 그래프 모델은 높은 future-link AUC를 달성할 수 있지만, 동일한 표현에서 기본 그래프 통계를 복원하는 것은 여전히 어렵다. 우리는 이러한 격차의 한 원인을 표준 어텐션에서 사용하는 가중 평균에서 찾는다. 증거 패턴이 반복되면 분자와 분모가 같은 속도로 증가하므로, 누적된 증거의 양이 다른 입력들이 동일한 집계값을 만들 수 있다. 우리는 표준 L1 정규화를 Lp 계열로 일반화하는 Mass-Aware Attention(MAA)을 제안한다. 반복 상황에서 MAA는 분자와 분모가 서로 다른 속도로 스케일되게 하여, 표현 크기에 기여하는 입력의 유효 개수를 표현 크기에 유지한다. MAA는 추가적인 지도, 파라미터, 은닉 차원, 또는 명시적 개수 특징을 추가하지 않으며, p=1에서 표준 어텐션을 복원한다. 4개의 연속 시간 동적 그래프 모델과 3개의 데이터셋에 걸쳐, MAA는 12개의 모델-데이터셋 셀 중 11개에서 future-link AUC를 개선한다. 동일한 은닉 표현에서의 선형 복원은 평균 4.49% 증가하며, family-wise correction 후 preferential-attachment 복원은 12개 셀 모두에서 개선된다. 또한 marked temporal point process(MTPP), temporal knowledge graph(TKG), 검색-증강 생성(RAG), 시공간 point process(STPP)에서도 일관된 증거를 관찰한다. 정보 접근성과 태스크 유용성은 여전히 구별된다. MTPP에서 NLL은 개선되지만, TKG에서는 랭킹이 대체로 유지되고, RAG의 추가 정보는 진단 헤드를 개선하지 않으며, STPP에서는 하류 LayerNorm이 신호를 지울 수 있다. 이 결과들은 MAA를 표준 어텐션에서 반복 불변성(repetition invariance)을 제어함으로써 예측기 대면 표현의 정보성을 개선하는 일반적인 정규화 원리로 자리매김한다.

arXiv:2607.21949v1cs.LG공통 태그 Knowledge Graphs, Link Prediction, Graph Neural Network

MA-DAR: 지속적 시간적 지식 그래프 추론을 위한 다양체 정렬 동적 적응형 라우팅

MA-DAR: Manifold-Aligned Dynamic Adaptive Routing for Continual Temporal Knowledge Graph Reasoning

지속적 시간적 지식 그래프(TKG) 추론은 새로 등장하는 사실을 지속적으로 통합하면서 이전에 습득한 지식을 보존하는 것을 목표로 한다. 재생(replay) 기반 지속 학습(continual learning)은 과거 표현을 재방문함으로써 유망한 성능을 달성해 왔다. 그러나 기존 방법들은 주로 무엇을 재생할지에 초점을 맞추며, 재생된 표현을 현재 표현과 어떻게 통합해야 하는지는 대체로 간과한다. 이러한 직접 통합은 종종 두 가지 중요한 형태의 표현 충돌, 즉 노름 지배(norm domination)와 의미적 흐림(semantic blurring)을 야기하여 결국 지속적 추론 성능을 저하시킨다. 이러한 과제를 해결하기 위해, 우리는 재생 표현 융합을 위한 경량 플러그 앤 플레이(plug-and-play) 프레임워크인 MA-DAR(Manifold-Aligned Dynamic Adaptive Routing)를 제안한다. MA-DAR는 먼저 재생된 표현과 현재 표현을 공유 다양체(shared manifold) 위에 정렬하여 분포 불일치를 완화한다. 그다음 동적 게이팅(gating) 메커니즘을 사용해 차원별 융합 가중치를 학습하고, 융합된 표현에 대한 재생 표현과 현재 표현의 기여도를 적응적으로 결정한다. 또한, 극화(polarization) 정규화(regularizer)는 모호한 게이팅 결정을 억제함으로써 보다 단호한 라우팅 동작을 유도하여, 더 안정적이고 효과적인 지식 통합을 이룬다. 4개의 공개 지속적 TKG 벤치마크에 대한 광범위한 실험 결과, MA-DAR는 다양한 재생 설정에서도 효과를 유지하면서 대표적인 TKG 인코더의 성능을 일관되게 향상시킴을 보여준다. 포괄적인 ablation 연구와 시각화 분석은 표현 충돌을 완화하고 지속적 추론을 개선하는 데 있어 다양체 정렬과 동적 적응형 라우팅의 효과를 추가로 검증한다.

arXiv:2607.14149v1cs.AI공통 태그 Knowledge Graphs, Link Prediction, Graph Neural Network

지식 그래프 그라운딩을 통한 소형 언어 모델 추론 능력 향상

Enhancing Small Language Models Reasoning through Knowledge Graph Grounding

대규모 언어 모델(LLM)은 제로샷(zero-shot) 추론에서 벤치마크를 세웠지만, 배포 비용이 과도하고 환경 부담도 큽니다. 소형 언어 모델(SLM)은 지속 가능한 대안이지만, 복잡한 다중 홉(multi-hop) 논리적 그라운딩(grounding)이 요구되는 과제에서는 오류에 취약합니다. 우리는 CLUTRR kinship 벤치마크를 사용하여 Gemma 3 (1B, 4B) 및 Llama 3.2 (3B)와 같은 SLM의 추론 능력을 향상시키기 위한 뉴로-심볼릭(neuro-symbolic) 에이전트 프레임워크를 조사합니다. 우리 접근법은 SLM을 두 가지 특화된 도구 호출을 활용하는 미니멀리스트 에이전트로 변환합니다: extract_facts는 심볼릭 triplet 추출용이고, get_hint는 Relational Graph Convolutional Network(RGCN)를 통한 전문가 추론용입니다. 우리는 정답 triplet을 사용하는 Oracle 시나리오와 자체 추출 지식에 의존하는 Realistic 시나리오라는 두 가지 구성에서 이 모델들을 평가합니다. 결과는 RGCN 파생 힌트가 스토리만 사용하는 baseline 대비 1.5~2배 성능 향상을 제공하지만, 시스템이 추출 병목(extraction bottleneck)과 순차적 연역적 취약성(sequential deductive fragility)에 의해 제약받으며, 초기 추출 오류가 다중 홉 체인 전체에서 누적된다는 것을 보여줍니다. 또한 우리는 특정 아키텍처에서 전문가 힌트가 존재함에도 불구하고 노이즈가 있는 자체 생성 사실이 성능을 저하시키는 "distraction effect"를 확인합니다. 본 연구는 저자원 에이전트 시스템에서 심볼릭 그라운딩의 과제를 규명하고, 뉴로-심볼릭 에이전트 파이프라인에서 반복적 검증을 위한 로드맵을 제시합니다.

arXiv:2607.09777v1cs.CV공통 태그 Knowledge Graphs, Link Prediction, Graph Neural Network

Time Imprint: 멀티모달 지식 그래프에서 시간 인식 표현 학습

Time Imprint: Learning Time-Aware Representations in Multi-Modal Knowledge Graphs

멀티모달 지식 그래프(Multi-Modal Knowledge Graphs, MMKGs)는 텍스트와 이미지 등 다양한 모달리티로 엔티티를 풍부하게 표현하지만, 멀티모달 특징이 매우 유사한 엔티티는 구별하기 어렵다. 엔티티의 시간 정보는 이러한 엔티티를 disambiguate하는 추가 모달리티로 활용될 수 있으나, 두 가지 주요 과제로 인해 기존 접근법들은 시간을 텍스트·이미지와 동등한 별도의 모달리티로 다루는 경우가 드물다: (1) 희소한 시간적 의미론(sparse temporal semantics)은 더 풍부한 모달리티와의 정렬을 방해하며, (2) 다중 타임스탬프는 표현 학습(representation learning)에 노이즈를 유발하거나 견고성을 저하시킨다. 이러한 과제를 해결하기 위해 우리는 Time Imprint를 제안한다. 이는 시간을 엔티티 수준의 모달리티로 취급하고, 세 가지 관점의 대조 목적함수(three-view contrastive objective)를 통해 시간적·텍스트적·시각적 표현을 공동으로 정렬하는 프레임워크이다. 또한 다중 타임스탬프의 모호성을 완화하기 위해, Time Imprint는 컴팩트한 타임스탬프 부분집합 선택 설계 공간을 탐구하고, 선택된 타임스탬프를 어텐션 풀링으로 집계하여 시간적 특수성과 견고성의 균형을 갖춘 판별적 시간 임베딩을 생성한다. 세 가지 MMKG 벤치마크에서의 실험 결과, Time Imprint는 링크 예측(link prediction)에서 최첨단 성능을 달성하며, 전체적으로 Hits@1을 최대 6.07% 향상시키고, 상위 1% 모호성 샘플 부분집합에서는 최대 58%의 성능 향상을 보인다. 또한 다양한 융합 전략과 타임스탬프 가용성·품질에 대한 민감도를 분석하여, 모달리티로서의 시간이 언제, 왜 가장 유익한지를 규명하며, 학습 오버헤드는 소폭만 증가시킨다. 코드는 https://anonymous.4open.science/r/Time-Imprint 에서 공개한다.

arXiv:2609.27863v1cs.AI공통 태그 Knowledge Graphs, Link Prediction

지식 베이스 완성을 위한 충실성 기준의 위계

A hierarchy of faithfulness criteria for knowledge base completion

지식 그래프 완성은 관찰된 트리플을 무작위로 손상시킨 트리플보다 높게 순위 매기는 방식으로 평가되며, 이는 관찰되지 않은 모든 사실을 거짓으로 취급한다. 완성 대상이 단순 그래프가 아니라 기술 논리(description logic) 지식 베이스일 때, 개방 세계 가정(open world assumption)과 연역적 폐쇄(deductive closure) 때문에 이 방식은 부적절하다. 지식 베이스에 상대적으로 후보 공리는 함의(entailed)되거나, 모순(contradictory)이거나, 미정(undetermined)이며, 논리적으로 불가능한 공리와 그럴듯한 새로운 공리를 구분하지 못하는 모델은 단순히 정확도가 낮은 것이 아니라 의미론적으로 올바르지 않다. 우리는 지식 베이스 완성 모델이 논리적으로 충실(logically faithful)하다는 것이 무엇을 의미하는지, 그리고 현재 임베딩 모델이 그런지를 묻는다. 판별(discrimination), 논리적 허용 가능성(logical admissibility), 단조 논리적 충실성(monotonic logical faithfulness), 확률적 논리적 충실성(probabilistic logical faithfulness)이라는 네 가지 점점 더 엄격한 기준의 위계를 정의하고, 이들이 함의의 엄격한 연쇄를 이룸을 증명한다. 가장 엄격한 기준을 상대 모델 개수 $P(\alpha\mid\mathcal{O}) = \#(\mathcal{O}\cup\{\alpha\})/\#(\mathcal{O})$에 기반시키며, 이는 양 끝점에서 삼분법(trichotomy)을 복원하고 그 사이에서 미정 공리들의 순위를 매긴다. 추론기(reasoner)로 생성한 함의·모순·미정 테스트 집합을 사용하여 $\mathcal{EL}$ 온톨로지에서 지식 그래프 및 논리-기하 임베딩 모델을 평가한 결과, 순위 정확도가 논리적 충실성을 함의하지 않으며 평가된 모델 중 어느 것도 위계 전반에 걸쳐 충실하지 않음을 확인한다. 코드는 https://github.com/bio-ontology-research-group/kbc 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.