arXiv:2306.05138

Gradient-Informed Quality Diversity for the Illumination of Discrete Spaces

Raphael Boige, Guillaume Richard, Jérémie Dona, Thomas Pierrot, Antoine Cully

제출 2023-06-08

원문 초록

Quality Diversity (QD) algorithms have been proposed to search for a large collection of both diverse and high-performing solutions instead of a single set of local optima. While early QD algorithms view the objective and descriptor functions as black-box functions, novel tools have been introduced to use gradient information to accelerate the search and improve overall performance of those algorithms over continuous input spaces. However a broad range of applications involve discrete spaces, such as drug discovery or image generation. Exploring those spaces is challenging as they are combinatorially large and gradients cannot be used in the same manner as in continuous spaces. We introduce map-elites with a Gradient-Informed Discrete Emitter (ME-GIDE), which extends QD optimisation with differentiable functions over discrete search spaces. ME-GIDE leverages the gradient information of the objective and descriptor functions with respect to its discrete inputs to propose gradient-informed updates that guide the search towards a diverse set of high quality solutions. We evaluate our method on challenging benchmarks including protein design and discrete latent space illumination and find that our method outperforms state-of-the-art QD algorithms in all benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Diversity

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.13844v1cs.LG공통 태그 Drug Discovery, Protein Design

샘플 효율적인 데 노보 나노바디 설계를 위한 스캐폴드 및 에피토프 간 추론 시점 스티어링

Inference-Time Steering Across Scaffolds and Epitopes for Sample-Efficient De Novo Nanobody Design

생성형 분자 설계는 일반적으로 과잉 생성(over-generation)과 사후 필터링에 의존합니다. 파인만-카츠(Feynman-Kac, FK) 스티어링과 같은 추론 시점(inference-time) 스티어링 기법은 궤적을 높은 보상(reward)의 후보군으로 유도하여 효율성을 개선하지만, 단일 고정 구성 내에서만 최적화를 수행합니다. 데 노보(de novo) 나노바디 설계에서는 스캐폴드(scaffold) 종류나 표적 에피토프(epitope)와 같은 조건 설정을 사전에 확정하는 것이 병목을 유발합니다. 이러한 조건에 따라 수율이 달라지기 때문에, 유망하지 않은 설정을 스티어링하는 것은 계산 자원을 낭비하게 됩니다. 본 연구에서는 생성 조건 선택을 추론 시점 자원 할당 문제로 재구성합니다. 이에 따라 두 가지 동적 예산 할당기를 제안합니다. 구성 전반에 걸쳐 스티어링과 연산 할당을 동시에 수행하는 통합 글로벌 순차 몬테카를로(Global SMC) 정식화와, 배치 연속 제거(BaSE)를 적용한 분리형 접근법입니다. 실증적으로 이러한 동적 할당기는 서로 다른 치료 표적 및 생성 구성에 걸쳐 다양성을 희생하지 않으면서도 GPU 시간당 설계 가능한 후보군의 수율을 약 5배 향상시킵니다.

arXiv:2610.13917v1cs.LG공통 태그 Drug Discovery, Protein Design

자연어로부터 단백질 구조 설계

Designing Protein Structures from Natural Language

데노보(de novo) 단백질 설계에서 핵심적인 과제는 원하는 구조적, 기능적 특성을 가진 단백질을 생성하는 것이다. 기존 설계 모델들은 일반적으로 각 특성마다 전용 입력 표현을 필요로 하여, 지원할 수 있는 설계 목표가 제한된다. 우리는 텍스트-이미지 생성(text-to-image generation)과 유사하게, 자연어로 지정된 새롭고 더 광범위한 설계 목표를 지원하는 최초의 전원자(all-atom) 구조 생성 모델인 Prompteina를 개발한다. Prompteina를 학습시키기 위해, 우리는 전역적 및 잔기(residue) 단위의 구조적·기능적 특성을 설명하는 180만 개의 구조와 5000만 개 이상의 캡션으로 구성된 텍스트-단백질 구조 쌍 데이터셋인 Prompteina-Data를 구축한다. 우리는 사전학습된 구조 생성 모델인 Proteina-Complexa를, 텍스트 조건부 사전학습과 잔기를 해당 텍스트에 맞추는 파인튜닝을 통해 적응시킨다. Prompteina는 18개의 구조적 특성 중 15개에서 기준선(baseline)을 능가하며, 의도된 기능에 대한 설명과 더 밀접하게 일치하는 단백질을 생성한다. 바인더(binder) 설계에서는 20개 표적 중 최소 13개에서 기준선을 앞서며, 가장 강력한 기준선보다 인터페이스 신뢰도(interface confidence)를 14% 향상시킨다. 반복적인 인실리코(in silico) 피드백을 사용할 경우, 가장 어려운 표적들에서 Prompteina가 비반복적 생성 대비 얻는 성능 향상은 차선의 기준선보다 57% 더 크다. 마지막으로, 우리는 보고된 데노보 바인더가 없는 표적인 GM2A에 대해 Prompteina의 설계를 실험적으로 검증한다. 우리는 9개의 바인더를 확인했으며, 가장 강력한 바인더는 겉보기(apparent) $K_{\mathrm{D}}$ 107 nM를 나타낸다. 이러한 결과는 자연어가 단백질 구조 생성을 위한 효과적이고 강력한 조건화 인터페이스(conditioning interface)임을 입증한다.

arXiv:2610.02372v1cs.AI공통 태그 Image Generation, Diversity

텍스트-이미지 확산 모델에서 만족도-다양성 프론티어 탐색

Traversing the Satisfaction-Diversity Frontier in Text-to-Image Diffusion

텍스트-이미지 생성(Text-to-image generation)은 사용자가 동일한 프롬프트(prompt)로부터 생성된 여러 이미지를 탐색할 수 있도록 돕습니다. 생성된 이미지들이 유용하기 위해서는, 각 이미지가 학습된 보상(reward)으로 측정되는 사용자의 선호도를 반영해야 할 뿐만 아니라 다양성을 유지하기 위해 서로 시각적으로 달라야 합니다. 기존 방법들은 한계가 존재하는데, 보상과 다양성을 개별적으로 다루거나 단일 종합 점수로 결합하여 높은 다양성이 낮은 보상을 상쇄하도록 만듭니다. 본 논문에서는 생성을 만족화(satisficing) 문제로 정식화하여 이러한 한계를 해결합니다. 즉, 모든 이미지(후보군)는 보상 하한선을 만족해야 하며 이미지 배치(batch)는 다양성 기준선을 만족해야 합니다. 보상 하한선은 최악 후보의 보상과 배치 다양성 사이의 균형을 조절하며, 우리는 이 하한선을 변경함으로써 파레토 프론티어(Pareto frontier)가 정의됨을 보여줍니다. 이 프론티어를 탐색하기 위해, 별도의 학습(training)이 필요 없는 추론(inference) 시점 기법인 SatisDive를 제안합니다. SatisDive는 배치 상대적 보상 기준값을 사용하여 보상이 낮은 후보와 높은 후보를 구분하고, 기준값 미만인 후보에 대해서는 보상 향상을, 기준값 이상인 후보들 간에는 다양성을 강조합니다. Pick-a-Pic에서 동일한 DreamSim 수준일 때, SatisDive는 기본 모델로 FLUX.1-dev와 보상으로 HPSv3를 사용했을 때 FK steering 대비 최악 후보의 보상을 최대 0.43 향상시켰으며, 기본 모델로 SANA-1.6B와 보상으로 ImageReward를 사용했을 때는 최대 0.70 향상시켰습니다. 더 나아가, 겹치는 DreamSim 범위 전반에 걸쳐 SatisDive의 만족도-다양성 곡선은 각 설정에서 FK steering의 곡선을 파레토 지배(Pareto-dominate)합니다.

arXiv:2609.40030v2cs.LG공통 태그 Image Generation, Drug Discovery

펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정

Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models

사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.

arXiv:2609.27033v1cs.LG공통 태그 Image Generation, Diversity

WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습

WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps

보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.