arXiv:2607.05846v1 cs.LG

AbICL: In-Context Learning for Antigen-Specific Antibody Affinity Ranking

Zhiyuan Chen, Jing Hu, Junzhe Wang, Yueyang Huang, Xinyi Yang, Zhaoyang Wang, Feng Zhu

제출 2026-07-07

원문 초록

Accurate ranking of antibody candidates according to their binding affinity is essential for therapeutic antibody discovery. However, existing methods treat affinity comparisons independently and ignore the contextual information encoded in other labeled comparisons, limiting their ability to capture antigen-specific binding landscapes. For many target antigens, a small number of experimentally characterized affinity comparisons are often available. An important question is whether the model can exploit these existing comparisons to infer antigen-specific ranking patterns that facilitate subsequent affinity ranking. This form of learning from labeled demonstrations closely resembles the paradigm of In-Context Learning, motivating us to revisit antibody affinity ranking from an ICL perspective. To this end, we propose AbICL, an ICL framework for antigen-specific antibody affinity ranking. AbICL combines a pretrained structural encoder with a context ranking head and is trained with an episodic meta-training strategy that enables the model to leverage support demonstrations for test-time adaptation without gradient updates. Experiments on the AbRank benchmark demonstrate that AbICL consistently outperforms existing ranking baselines across almost all data splits and evaluation benchmarks. Further analysis shows that the value of contextual demonstrations depends on how well they match the target inference task, and becomes increasingly pronounced under distribution shift and fine-grained affinity discrimination. These findings highlight the potential of ICL as an effective paradigm for antigen-specific antibody affinity ranking, particularly in challenging settings where a single global ranking function is insufficient.

요약

항체-항원 결합 친화도(affinity) 랭킹이 항원마다 다른 특성을 가짐에도 기존 방법들이 비교 쌍을 독립적으로 처리해 문맥 정보를 활용하지 못하는 한계를 해결하기 위해, AbICL은 사전학습된 구조 인코더와 context ranking head를 결합하고 에피소드 메타학습(episodic meta-training) 전략으로 훈련하여 그래디언트 업데이트 없이 테스트 시 support 데모를 활용하는 문맥 내 학습(ICL) 프레임워크를 제안한다. AbRank 벤치마크 실험에서 AbICL은 기존 랭킹 기준선 대비 전반적으로 우수한 성능을 보였으며, 분포 변화(distribution shift) 상황과 세밀한 친화도 구분이 필요한 경우에 문맥 데모의 효과가 더욱 두드러짐을 확인하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05846v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13411v1cs.LG공통 태그 Meta-Learning, In-Context Learning

시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.

arXiv:2610.13690v1cs.LG공통 태그 Meta-Learning, In-Context Learning

확산 모델을 위한 트랜스포머 기반 문맥 내 스코어 연산자 학습

Transformer-based In-Context Score Operator Learning for Diffusion Models

확산 모델(Diffusion model)은 일반적으로 단일 목표 분포나 학습(training) 중에 고정된 조건부 변수로 색인화된 분포 계열의 생성 동역학을 학습합니다. 이는 소수의 예제만으로 이전에 보지 못한 새로운 분포에 적응하는 능력을 제한합니다. 본 연구에서는 각 목표 분포를 메타 분포에서 추출된 태스크로 취급하고 추론(inference) 시점에 경험적 문맥 집합(context set)으로 지정하는, 확산 모델을 위한 문맥 내 솔루션 연산자 학습(in-context solution operator learning) 프레임워크를 소개합니다. 제안하는 방법은 문맥 샘플, 노이즈가 추가된 쿼리 포인트, 확산 시간을 태스크 종속적인 스코어로 매핑하는 문맥 내 스코어 연산자를 학습하여, 재학습이나 매개변수(parameter) 업데이트 없이도 보지 못한 태스크에서 역확산 샘플링을 가능하게 합니다. 핵심 관찰 사항은 태스크 종속적 스코어가 가우시안 커널(Gaussian kernel) 조건부 평균 표현을 허용한다는 점입니다. 이의 경험적 Nadaraya--Watson 근사는 우리가 구성한 트랜스포머(transformer) 클래스의 모델을 통해 정확하게 표현될 수 있으며, 이는 제안된 쿼리 종속적 어텐션(attention) 아키텍처에 대한 원리적 토대를 제공합니다. 이 연산자는 여러 태스크 분포에 걸친 분할 상환 노이즈 제거 스코어 매칭(amortized denoising score matching)을 통해 학습됩니다. 또한 문맥 크기, 학습 태스크 수 및 태스크 내 샘플 수, 모델 복잡도, 고유 차원 및 주변 차원의 영향을 정량화하는 일반화 오차 경계를 확립합니다. 수치적으로는 Navier-Stokes, ERA5 기후 데이터, QuickDraw 스케치, Food-101을 포함한 다양한 과학 및 시각 데이터셋에서 본 방법을 평가합니다. 실험 결과는 제안된 방법이 비교적 단순한 태스크 계열에서는 우수한 성능을 보이는 반면, 태스크 복잡도가 증가함에 따라 성능이 저하됨을 보여줌으로써 확산 모델을 위한 문맥 내 학습(ICL)의 가능성과 한계를 모두 보여줍니다.

arXiv:2610.10832v1cs.LG공통 태그 Meta-Learning, In-Context Learning

MotherTree: 합성 데이터에 대한 메타러닝으로 의사결정나무 학습 개선하기

MotherTree: Meta-learning on synthetic data improves decision tree training

기존의 의사결정나무(decision tree) 알고리즘은 학습 데이터와 독립적으로 감사(audit)하고 전달하고 배포할 수 있는 효과적이고 투명한 모델을 만들어내지만, 새로운 태스크마다 처음부터 다시 학습해야 한다. 반면 표형(tabular) 파운데이션 모델들은 합성 사전 분포(synthetic prior distribution)로부터의 메타러닝이 특히 소규모 샘플 환경에서 이전에 보지 못한 태스크에 대한 강력한 인컨텍스트 예측을 가능하게 함을 보여준다. 그러나 이 접근법은 단독으로 검사할 수 있는 독립형 모델을 만들어내지 못한다. 우리는 의사결정나무 유도(induction)를 메타러닝하는 표형 트랜스포머(transformer)인 MotherTree를 소개한다. 새로운 태스크에 대한 학습 집합이 주어지면, MotherTree는 단 한 번의 순전파(forward pass)로 고전적으로 학습된 나무와 형태상 동등한, 하드(hard)하고 축에 정렬된(axis-aligned) 의사결정나무를 출력한다. MotherTree는 참조 나무를 감독(supervision) 신호로 요구하지 않고 확률적 경사하강법(stochastic gradient descent)을 사용하여 합성 사전 분포에 대해 사전학습된다. 샘플 크기를 통제한 확립된 벤치마크에서, 이 접근법은 재귀적 분할(recursive partitioning), 그래디언트 기반 나무 학습, 전역적으로 최적인 나무, 표형 파운데이션 모델로부터의 증류(distillation) 등 일반적인 알고리즘들로부터 나온 동일 크기의 나무들과 경쟁력이 있다. 특히 MotherTree는 처음부터 하는 그래디언트 기반 학습을 일관되게 개선하며, 강력한 초기화기(initializer) 역할을 한다: 생성된 나무에 대한 태스크별 튜닝은 모든 벤치마크와 샘플 크기에서 이에 대응하는 처음부터 학습하는 학습기(learner)보다 뛰어난 성능을 보인다. 이러한 결과는 메타러닝이 독립형의 작은 의사결정나무 분류기를 학습하는 데 효과적인 귀납적 편향(inductive bias)을 제공할 수 있음을 보여준다.

arXiv:2610.03160v1q-bio.QM공통 태그 Meta-Learning, Drug Discovery

바이러스 과를 아우르는 무표지 인간 B 세포 레퍼토리로부터 광범위 중화 항체 발굴을 위한 멀티모달 추론

Multimodal reasoning for broadly neutralizing antibody discovery from label-free human B cell repertoires across virus families

인간의 자연 면역 레퍼토리로부터 광범위 중화 항체(broadly neutralizing antibody, bnAb)를 발굴하는 것은 bnAb의 극단적인 희소성, 병원체 전반에 걸친 세포 기원에 대한 불완전한 이해, 그리고 출현하는 바이러스 위협에 걸쳐 일반화되지 못하는 기존 전산 도구의 한계로 인해 면역학 분야의 근본적인 난제로 남아 있습니다. 본 연구에서는 이러한 장벽을 극복하기 위해 멀티모달 추론(multimodal reasoning)을 지속적 메타학습(continual meta-learning) 및 습식 실험(wet-lab) 피드백과 통합한 폐루프(closed-loop) AI 시스템인 ImmuneAgent를 제시합니다. 백신 접종자 또는 감염자 코호트의 자연 BCR 레퍼토리를 스크리닝하는 데 적용했을 때, 본 시스템은 동일한 클로닝 예산에서 평가된 최신 시퀀스 기반 중화 예측 모델이나 동시 폴딩(cofolding) 모델을 크게 능가하며 약 55%의 중화 항체 발굴률(클로닝된 110개 후보 중 60개)과 약 11%의 bnAb 수율(110개 중 12개)을 달성했습니다. ImmuneAgent가 발굴한 5개의 항체는 치명적인 인플루엔자 공격 접종에 대해 임상 단계 치료제인 MEDI8852와 대등하게 100%의 생체 내(in vivo) 보호 효과를 나타냈습니다. 또한 본 시스템은 bnAb 활성의 세포 및 구조적 결정 요인을 복원하여 FCRL5+CD27+ 비정형 기억 B 세포를 보존된 bnAb 저장소로, 소수성 계면 농축을 교차 바이러스 구조 시그니처로 규명했습니다. 이는 미접촉 항원으로 일반화되어 항원 특이적 선별 없이도 인간 메타뉴모바이러스(hMPV) 교차 중화 항체 및 인간 유두종바이러스(HPV) 중화 항체를 발굴하는 성과로 이어졌습니다. 이러한 결과는 ImmuneAgent가 출현하는 바이러스 위협에 대응하여 신속하게 치료용 항체를 발굴할 수 있는 일반화 가능한 프레임워크임을 입증합니다.

arXiv:2609.27679v1cs.LG공통 태그 Meta-Learning, In-Context Learning

정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제

What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates

모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.

arXiv:2607.19360v1cs.AI공통 태그 Meta-Learning, In-Context Learning

언어 모델에서의 리프트 표현 가설

Lifted Representation Hypothesis in Language Models

대규모 언어 모델(LLM)은 종종 개별 관측을 더 일반적인 규칙형 구조로 매핑하여 질의에 답한다. 그러나 이러한 구조가 어떻게 저장·선택·수정되는지는 여전히 불분명하다. 이 과정을 연구하기 위해, 우리는 리프트 표현 가설(lifted representation hypothesis)을 제안한다: LLM은 고립된 인스턴스 수준 사실이 아니라 공유 잠재 구조를 통해 메모리를 갱신한다. 이 관점은 리프팅(lifting)을 인스턴스 간 대칭성의 효율적 활용으로, 샤터링(shattering)을 거친 리프트 구조를 더 구체적인 하위 유형으로 정제하는 것으로 본다. 우리는 문맥 내 학습(ICL), LoRA, 전체 미세조정에 걸친 통제된 예외 학습 실험을 통해 LLM의 리프팅과 샤터링을 평가한다. 중첩된 규칙과 예외로 지배되는 데이터에서는 LLM이 샤터링 실패에 취약한 반면, 리프팅은 종종 조기에 발생한다는 것을 발견한다. 이 결과는 LLM에서 데이터와 규칙 구조 간 관계를 연구할 필요성을 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.