SoftGene: 해석 가능한 유전자 세트 주석을 위한 단백질 언어 모델 강화 소프트 프롬프팅
SoftGene: Protein Language Model-Enhanced Soft Prompting for Interpretable Gene Set Annotation
한국어 초록
유전자 세트 분석(gene set analysis)은 기능 유전체학(functional genomics)의 초석이지만, 여전히 노동 집약적이며 수작업 큐레이션 및 전문가의 생물학적 해석에 크게 의존하고 있습니다. 대규모 언어 모델(LLM)이 유전체 추론 및 주석을 위한 강력한 도구로 부상했으나, 기존 접근 방식의 대부분은 기호적 유전자 이름에 의존하며 도메인 특화 생물학적 구조, 특히 분자 활성, 상호작용 및 다운스트림 유전자 기능을 지배하는 단백질 서열 정보를 포착하지 못합니다. 본 연구에서는 유전자 세트의 계층적 구조를 활용하는 LLM 기반 유전자 세트 주석을 위한 새로운 프레임워크인 SoftGene을 제안합니다. 첫째, 단백질 언어 모델(protein language model)인 ESM을 기반으로 구축된 계층적 어텐션(hierarchical attention) 기반 인코더를 사용하여 단백질 수준의 아미노산 서열 정보로 각 유전자 세트를 표현합니다. 둘째, 유전자 세트 임베딩(embedding)에서 파생된 소프트 프롬프트(soft prompt)와 LLM이 생성한 보조 컨텍스트를 포함하는 하드 프롬프트(hard prompt)를 결합하는 하이브리드 프롬프팅 기법을 구성하고, 그 결과로 생성된 프롬프트를 주석 생성을 위해 로컬 LLM에 입력합니다. Gene Ontology(GO)와 Molecular Signatures Database(MSigDB)라는 두 가지 벤치마크 데이터셋에서 프레임워크를 평가합니다. 실험 결과는 단백질 서열 표현을 텍스트 컨텍스트와 통합함으로써 전반적인 유전자 세트 주석 성능이 향상됨을 보여주며, 도메인별 분석을 통해 단백질 임베딩의 기여도가 생물학적 도메인에 따라 달라진다는 점을 밝혀냅니다.
원문 초록
Gene set analysis is a cornerstone of functional genomics, yet it remains labor-intensive and heavily dependent on manual curation and expert biological interpretation. While Large Language Models (LLMs) have emerged as powerful tools for genomic reasoning and annotation, most existing approaches rely on symbolic gene names and fail to capture domain-specific biological structure, particularly protein sequence information that governs molecular activity, interactions, and downstream gene function. In this work, we propose SoftGene, a novel framework for LLM-based gene set annotation that leverages the hierarchical structure of gene sets. First, we use a hierarchical attention-based encoder built on ESM, a protein language model, to represent each gene set using protein-level amino acid sequence information. Second, we construct a hybrid prompting scheme that combines soft prompts derived from gene set embeddings with hard prompts containing auxiliary context generated by an LLM, and feed the resulting prompt into a local LLM for annotation. We evaluate our framework on two benchmark datasets: Gene Ontology (GO) and the Molecular Signatures Database (MSigDB). Our results show that integrating protein-sequence representations with textual context improves gene set annotation overall, while per-domain analyses reveal that the contribution of protein embeddings varies across biological domains.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MoPrO-SD: 입장 탐지를 위한 모듈형 프롬프트 최적화
MoPrO-SD: Modular Prompt Optimization for Stance Detection
입장 탐지(stance detection)는 암묵적인 의견, 반어법, 맥락 의존적인 입장 표현으로 인해 대규모 언어 모델(LLM)에 여전히 어려운 과제로 남아 있습니다. 자동 프롬프트 최적화는 모델 가중치를 업데이트하지 않고도 미세조정의 대안을 제공하지만, 기존의 구조화된 접근 방식들은 입장 레이블의 의미론과 클래스별 모호성에 맞추어 특별히 설계되지 않았습니다. 본 연구에서는 프롬프트를 기능적 의미 모듈로 분해하고 LLM 기반 피드백을 사용하여 순차적으로 정제하는 입장 특화 프롬프트 최적화 프레임워크인 MoPrO-SD를 소개합니다. 저자들은 입장 레이블 정제를 위해 클래스 조건부 오류를 활용하는 세 가지 정제 전략인 지시문 전용 최적화(I), 추론을 포함한 지시문(I+R), 예시별 추론을 포함한 지시문(I+R+E)을 연구합니다. 또한 백신 입장 탐지를 위해 사람이 직접 주석을 단 새로운 벤치마크인 VaccineStance를 소개합니다. 4개 데이터셋과 5개 공개 가중치 LLM에 걸친 실험 결과, MoPrO-SD는 많은 환경에서 사람이 작성한 기본(Base) 프롬프트보다 성능을 향상시키는 것으로 나타났습니다. SemEval-2016에서 클래스 조건부 피드백은 5개 백본 중 4개에서 풀링된(pooled) 피드백보다 더 높은 평균 Macro-F1을 달성했습니다. 추론 기반 전략인 I+R과 I+R+E는 모두 강력한 성능을 달성했으며, 모델 및 데이터셋에 따라 상대적인 효과는 달랐으나 최근의 프롬프트 최적화 기법들과 비교하여 경쟁력을 유지했습니다. MoPrO-SD 코드와 VaccineStance 데이터셋은 GitHub에서 이용할 수 있습니다.
프롬프트 옵티마이저는 제한된 예산을 어떻게 사용해야 하는가? 노이즈 적응형 평가를 적용한 BudgetAPO
How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation
자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 대규모 언어 모델(LLM)의 가중치를 업데이트하지 않고 적응시키기 위해 널리 사용되어 왔으며 유망한 결과를 보여주었습니다. 그러나 GEPA 및 OPRO와 같은 기존 방식은 대상 모델에 대해 수백에서 수천 번의 호출을 가정하므로, 유료 및 속도 제한이 있는 API 환경에서는 현실적인 수준을 훨씬 뛰어넘습니다. 제한된 예산 하에서 기존 방식은 두 가지 방식으로 실패합니다. 다단계 파이프라인은 예산을 모두 소진하여 시드 프롬프트를 변경 없이 그대로 반환할 수 있으며, 단일 단계 방식은 각 태스크의 노이즈와 무관하게 고정된 크기의 미니배치에서 후보를 비교합니다. 이에 대한 해결책으로, 본 연구에서는 제한된 예산 환경을 위한 단일 단계 옵티마이저인 BudgetAPO를 제안합니다. BudgetAPO는 (1) 짧은 탐색(probe)으로 측정된 각 태스크의 노이즈에 맞춰 평가 슬라이스 크기를 조정하는 노이즈 적응형 규칙, (2) 모든 수락/거절 결정을 대응 비교(paired comparison)로 변환하는 고정 슬라이스, (3) 추론 전략과 출력 형식을 함께 다시 작성하는 성찰적(reflective) 연산자를 포함합니다. 7개 벤치마크와 5개 대상 모델에 걸친 광범위한 실험 결과는 BudgetAPO가 모든 대상 모델에서 1위를 차지하고 홈 보정(Holm-corrected) 대응 검정 하에서 모든 기준선(baseline)을 능가함을 보여줍니다. 또한 250회 호출 시 시드를 그대로 반환하는 비율이 GEPA의 86%에 비해 13%에 불과했습니다. GPT-OSS-20B에서는 GEPA가 본 방법의 100회 호출 점수와 일치하기 위해 5배 더 많은 호출을 필요로 합니다.
Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.
전자상거래 검색에서 페이지 수준 레이아웃 결정을 위한 언어 모델
Language Models for Page-Level Layout Decisions in E-commerce Search
전자상거래(E-commerce) 검색 페이지는 수백만 명의 온라인 쇼핑객에게 중요한 접점입니다. 전통적인 검색 엔진은 순위가 매겨진 검색 결과 목록을 반환하는 반면, 최신 전자상거래 검색 페이지는 특정 위치에 대안적 상품 그룹을 노출하는 보조 스택(secondary stack)과 같은 추천 시스템 모듈을 점차 더 많이 통합하고 있습니다. 적절하게 도입될 경우 보조 스택은 사용자 참여도를 향상시킬 수 있지만, 최적화되지 않은 배치는 탐색 흐름을 방해하고 주요 검색 결과를 저하시킬 수 있습니다. 인터리빙(interleaving)과 같은 평가 기법이 잘 정립되어 있는 전통적인 검색 랭킹과 달리, 특정 위치와 시점에 보조 스택을 삽입하는 것과 같은 페이지 수준의 레이아웃 변경을 평가하는 것은 비용이 많이 드는 온라인 A/B 테스팅 없이는 여전히 어려운 과제입니다. 이를 해결하기 위해, 본 연구에서는 특정 위치에 보조 스택을 포함하는 것과 같은 주어진 레이아웃 결정이 사용자에게 유익한지 여부를 평가하기 위한 오프라인 방법을 연구합니다. 저자들은 직접적인 프롬프트(prompt) 기반 방식, 프롬프트에서 유도된 특징(feature) 방식, 표현(representation) 기반 방식을 비교하여 확장 가능한 평가자로서 언어 모델을 조사합니다. 실험 결과, 사용자 참여도를 예측하는 데 있어 표현 기반 접근 방식이 프롬프트 기반 평가보다 일관되게 우수한 성능을 보였으며, 이는 해당 방식이 전자상거래 검색에서 오프라인 레이아웃 평가를 위한 신뢰할 수 있는 기반을 제공함을 시사합니다.
Latent-MOPD: 잠재 다중 교사 온-정책 증류
Latent-MOPD: Latent Multi-Teacher On-Policy Distillation
온-정책 증류(OPD)는 학생 모델이 직접 생성한 응답을 바탕으로 학생 모델을 학습시킵니다. 기존의 대규모 언어 모델(LLM) 다중 교사 OPD는 전문가 모델들이 예측한 내용을 출력 분포를 통해 전이합니다. 본 논문에서는 우리가 아는 한 LLM을 위한 최초의 표현 수준(representation-level) 다중 교사 OPD 방법인 Latent-MOPD를 소개합니다. 이 방법은 추가적인 교사 학습 없이, 기존 전문가 모델들의 예측값뿐만 아니라 이를 계산하는 데 사용된 은닉 상태(hidden state)까지 함께 활용하여 전문가 모델들을 통합합니다. 여러 전문가 모델로부터의 표현 지도를 조율하기 위해, 교사-학생 관계에 따라 후반 층(late-layer) 타깃을 선택하고, 공유 투영(shared projection)을 통해 서로 다른 은닉 차원 너비를 연결하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 지도는 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 두 채널 모두 동일한 라우팅된 전문가 모델을 사용합니다. 주요 동일 계열(same-family) 설정에서 Latent-MOPD는 수학, 코드, 논리에 걸친 9개 벤치마크 전체에서 토큰 전용, 표현 전용 및 균일 평균화(uniform-averaging) 베이스라인보다 뛰어난 성능을 보였습니다. 각 교사와 동일한 매개변수 수를 가진 학생 모델은 이러한 벤치마크 대다수에서 벤치마크별 최고 성능 교사의 성능을 능가하기도 했습니다. 별도로 개발된 더 큰 이종 계열(cross-family) 교사를 사용한 설정에서도 Latent-MOPD는 모든 벤치마크에서 두 단일 채널 베이스라인을 모두 능가했습니다. 동일 계열의 모든 층 표현 전용 대조군은 도메인 순수 업데이트에서는 안정적으로 유지되었으나, 하나의 업데이트 내에서 교사 도메인이 교차될 때는 붕괴되었습니다. 본 연구 결과는 단일 학생 모델이 여러 전문가 모델의 출력 분포와 내부 표현 모두를 통해 이들의 역량을 성공적으로 통합할 수 있음을 보여줍니다.
망설임에는 기하학이 있다: 희소 활성화 조향을 위한 엔트로피 학습 쌍곡 프로브
Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
대규모 언어 모델이 수학 문제를 해결할 때 그 추론은 대체로 계층적이며, 해결 과정은 다음 토큰 엔트로피가 높은 소수의 토큰에서 분기되는 경우가 많습니다. 이러한 트리 형태의 구조는 유클리드 공간보다 왜곡이 훨씬 적게 쌍곡 공간에 임베딩됩니다. 그러나 활성화 조향(activation steering)은 해결 과정의 대부분의 토큰이 이미 문맥에 의해 결정되어 있음에도 불구하고, 모든 토큰에 하나의 고정된 유클리드 벡터를 더함으로써 사전학습된 모델의 은닉 상태를 수정하는 것이 일반적입니다. 본 논문에서는 모델 자체의 다음 토큰 엔트로피만을 레이블로 사용하는 경량 프로브를 통해 은닉 상태를 푸앵카레 볼(Poincaré ball)에 임베딩하는 쌍곡 엔트로피 조향(Hyperbolic Entropy Steering, HEST)을 제안합니다. 이 엔트로피가 임계값을 초과하는 지점에서, HEST는 프로브 판독값의 최급하강 측지선(geodesic of steepest descent)을 따라 임베딩된 상태를 이동시키고 그 변화를 다시 은닉 상태로 매핑합니다. 학습된 이상점(ideal point)의 부제만(Busemann) 판독값에 대해, 고정된 길이의 한 스텝이 모든 상태에서 동일한 양만큼 판독값을 감소시킴을 증명합니다. Qwen2.5-Math 및 Llama-3.1 계열의 인스트럭션 튜닝된 3개 모델에서 부제만 판독값을 적용한 HEST는 6개 설정 중 5개에서 MATH-500 및 GSM8K의 그리디 정확도를 최대 1.8포인트 향상시킨 반면, 모든 토큰에 추가된 대조 조향 벡터는 정확도를 떨어뜨렸습니다. 동일한 방식으로 학습된 유클리드 프로브를 사용했을 때는 Qwen2.5-Math-1.5B-Instruct에서 이러한 성능 향상이 사라졌습니다. 성능 향상은 모델이 자주 망설이는 문제에서 가장 컸으며, 나머지 문제에서의 정확도는 거의 변하지 않았습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to EMNLP 2026 Main Conference