RETROSPECT: 순차적 예측 및 화학적 변환 랭킹을 통한 역합성
RETROSPECT: RETROsynthesis via Sequential Prediction, and Chemically Transformed-ranking
한국어 초록
단일 단계 역합성(single-step retrosynthesis)은 정확한 1위 제안과 하류 선택(downstream selection)에 충분히 풍부한 후보 목록이 모두 필요합니다. 우리는 이를 제안-선택(proposal-selection) 분해로 연구합니다. 우리의 시스템인 RETROSPECT는 ChemAlign 트랜스포머(Transformer)라고 부르는 단일 트랜스포머 제안 모델(model)과, 구조적, 반응 템플릿(reaction-template), 업스트림 점수(upstream-score), 및 선택적 DFT 유도 기술자(descriptors)에 대한 LambdaMART 재정렬기(reranker)를 결합합니다. 생성기(generator)는 하이브리드 루트 정렬(root-aligned) 및 무작위 SMILES 증강(augmentation), Pre-LayerNorm, 결합 임베딩(tied embeddings), 지수 이동 평균 가중치(exponential moving average weights), 그리고 미분 가능한 원자 균형(atom-balance) 보조 손실(loss)로 학습됩니다. 5,007개의 반응으로 구성된 전체 USPTO-50K 테스트 세트(test set)에서, 생성기는 99.86%의 top-1 유효성(validity)을 가지고 55.00%의 top-1 및 86.18%의 top-10 정확도(accuracy)에 도달했습니다. 재정렬(reranking)에 사용된 병합된 후보 풀(candidate-pool) 벤치마크(benchmark)에서, 5,007개의 테스트 생성물(product)과 생성물당 약 111개의 후보를 포함하며, 구조적 특징(feature) 세트로 학습된 LambdaMART 모델(model)은 0.7171의 평균 역순위(mean reciprocal rank)로 59.4%의 top-1을 달성했습니다. 특징(feature) 소거(ablations) 실험 결과, 업스트림 제안 점수와 템플릿 빈도 통계가 대부분의 재정렬 신호를 제공하는 반면, DFT 및 반응 중심 DFT 특징은 더 작고 덜 일관된 이득을 제공함을 보여줍니다. 이러한 결과는 역합성의 모듈식 관점을 뒷받침합니다: 더 강력한 단일 모델(model) 제안과 학습된 후보 선택은 상호 보완적이며, 제안 모델은 RetroChimera (Maziarz et al., 2024)와 같은 앙상블(ensemble) 시스템을 위한 대체 가능한(drop-in) 구성 요소로 사용될 수 있습니다.
원문 초록
Single-step retrosynthesis needs both accurate first-ranked suggestions and candidate lists that are rich enough for downstream selection. We study this as a proposal-selection decomposition. Our system, RETROSPECT, combines a single Transformer proposal model, which we call the ChemAlign Transformer, with a LambdaMART reranker over structural, reaction-template, upstream-score, and optional DFT-derived descriptors. The generator is trained with hybrid root-aligned and random SMILES augmentation, Pre-LayerNorm, tied embeddings, exponential moving average weights, and a differentiable atom-balance auxiliary loss. On the full USPTO-50K test set of 5,007 reactions, the generator reaches 55.00% top-1 and 86.18% top-10 exact-match accuracy with 99.86% top-1 validity. On the merged candidate-pool benchmark used for reranking, which contains 5,007 test products and about 111 candidates per product, a LambdaMART model trained on the structural feature set reaches 59.4% top-1 with 0.7171 mean reciprocal rank. Feature ablations show that upstream proposal score and template-frequency statistics provide most of the reranking signal, while DFT and reaction-center DFT features provide smaller and less consistent gains. These results support a modular view of retrosynthesis: stronger single-model proposal and learned candidate selection are complementary, and the proposal model can serve as a drop-in component for ensemble systems such as RetroChimera (Maziarz et al., 2024)
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.07181v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
변분 이징 어텐션: 과학 분야에서는 맞춤형 어텐션이 중요하다
Variational-Ising-Attention:Tailored Attention Matters for Science
어텐션(attention)은 소프트맥스(softmax) 정규화를 통한 쿼리-키 점수 계산으로 문맥 모델링을 가능하게 합니다. 산업계의 긴 문맥(long-context) 수요에 따라 주류 연구는 희소성(sparsity)과 효율성 방향으로 수렴해 왔으나, 소프트맥스의 독립성 가정은 여전히 지속되고 있습니다. 그러나 긴 토큰(token) 제약의 부담이 적은 과학적 과제에서는 더 풍부한 구조화된 결합(coupling)이 필수적인 경우가 많으며, 이에 따라 맞춤형 어텐션이 실행 가능하면서도 더 적합할 수 있습니다. 이를 위해 본 연구에서는 상호작용하는 이징 모델(Ising model)로 소프트맥스 정규화를 보강한 변분 이징 어텐션(Variational-Ising-Attention, VIA)을 제안합니다. VIA에서는 변분 평균장 추론(variational mean-field inference)을 통해 학습 가능한 쌍별 결합(pairwise coupling)으로부터 어텐션 패턴이 창발되며, 어텐션을 개별 항목에 대한 순위 매김에서 상호작용하는 엔티티들 간의 집합적 상태(collective state)로 확장합니다. 저자들은 협동적 제약(역합성의 경우 협동적 결합 절단, 단백질 접촉 예측의 경우 잔기 간 상호작용)이 지배하는 두 가지 구조화된 예측 과제인 역합성 반응 중심 예측과 통제된 내부 절제 연구(ablation)로서의 단백질 잔기 접촉 예측에 VIA를 구현하여 적용했습니다. 모델 변형 전반에 걸친 포괄적인 실험과 기전적 분석을 통해 VIA가 표준 소프트맥스 어텐션을 크게 능가함을 입증했습니다. 더 나아가 본 연구 결과는 과학 문제의 경우 최적의 해법이 범용적 효율성이 아니라 고유한 도메인 구조에 부합하는 적절히 맞춤화된 어텐션임을 시사합니다. 본 연구는 이러한 패러다임에 대한 이론적으로 근거 있고 경험적으로 검증된 구현을 제공합니다.
ROBE: 역사 문헌에서 극단적 롱테일 이벤트를 추출하기 위한 역순 편향 전문가(Reversed-Order-Biased-Experts)
ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts
본 논문에서는 17세기와 18세기에 걸친 네덜란드 역사 코퍼스에서 50가지 이상의 이벤트 유형을 추출하는 방법을 제안합니다. 제안하는 방법은 머신러닝에서 매우 도전적인 시나리오인 '롱테일의 롱테일' 추출 문제를 해결하는 것을 목표로 합니다. 19세기 이전의 역사적 데이터는 그 자체로 대규모 언어 모델(LLM)의 사전학습에서 다루어지지 않은 틈새 도메인이며, 본 연구는 이 도메인에서 활용 가능한 학습 데이터 내에서도 극히 드물게 주석 처리된 이벤트를 추출하고자 합니다. 이를 위해 학습 데이터에 존재하는 이벤트의 하위 그룹별로 전문가 분류기를 생성하는 방식을 제안합니다. 이러한 그룹화는 학습 데이터 내의 유사한 빈도나 의미론적 관련성을 기반으로 수행됩니다. 빈도 편향에 의해 압도되는 것을 방지하기 위해, 드물게 나타나는 이벤트에 대해 학습된 전문가에 예측 시 더 높은 우선순위를 부여합니다. 롱테일을 보호하도록 특별히 맞춤 설계된 이러한 새로운 분류기 결합 방식을 ROBE(Reversed-Order-Biased-Experts)라고 부릅니다. 또한 도메인 특화 합성 데이터를 생성하는 제어된 방법도 제안합니다. ROBE의 두 가지 구현은 단순 파인튜닝된 인코더 모델 대비 각각 정밀도에서 0.16, 재현율에서 0.05 향상되어 더 우수한 성능을 보였습니다. 가장 우수한 모델은 해당 틈새 데이터셋의 롱테일 클래스 그룹에 대해 F1 점수를 0.11 향상시켰습니다.
thaulab@EEUCA 2026: 누가 누구에게 무엇을 말했는가? 게임 독성 감지를 위한 타겟팅 인식 신경-기호 파이프라인
thaulab@EEUCA 2026: Who Said What to Whom? A Targeting-Aware Neural-Symbolic Pipeline for Gaming Toxicity Detection
본 논문은 게임 채팅 독성 분류를 위한 EEUCA 2026 공유 과제(Shared Task)에 대한 우리 시스템을 설명한다. 우리는 DeBERTa-v3-base(184M)와 XLM-RoBERTa-base(278M) 두 개의 소형 트랜스포머 앙상블과, 코퍼스 기반 어휘 정규화, 클래스 조건부 unigram 점수화, 다국어 욕설 감지, 화행 이론(speech act theory)에 기반한 행위자(agentive) 타겟팅 분석을 통해 모델 간 불일치를 해소하는 언어학적으로 정보화된 중재자(Linguistically-Informed Mediator, LIM)를 결합한 3단계 파이프라인을 구현한다. LIM은 실제 게임 모더레이션에서 가장 안전성(safety)에 중요한 소수 클래스인 Hate & Harassment, Threats, Extremism을 특별히 겨냥한다. 극심한 클래스 불균형(Non-toxic 대 Extremism 비율 1,450:1)을 해결하기 위해, 제공된 학습 데이터만을 사용하는 2단계 데이터 증강 전략을 도입한다. 우리 시스템은 공식 테스트 세트에서 Macro F1 0.6441, 정확도(accuracy) 0.9062를 달성하여, 모든 팀 중 Macro F1 3위, 정확도 1위를 기록했다. 제안된 파이프라인은 도메인 이식성이 높다: 다른 게임 플랫폼에 적응하려면 게임별 엔티티 어휘집만 교체하면 된다. 코드는 https://github.com/Anmol2059/thaulab_EEUCA 에서 공개적으로 제공된다.
RetroAgent: 구조화된 메모리 탐색 기반 에이전트 역합성 계획을 위한 LLM 활용
RetroAgent: Harnessing LLMs to Search Over Structured Memory for Agentic Retrosynthesis Planning
다단계 역합성(retrosynthesis) 계획은 일련의 실현 가능한 반응을 통해 목표 분자를 상업적으로 이용 가능한 빌딩 블록(building block)으로 분해하는 것을 목표로 한다. 광대한 조합적 탐색 공간 때문에 이 과제는 전문 화학자에게도 어렵다. 기존 방법은 트리 탐색(tree search)과 오프라인 학습된 가치 네트워크(value network)를 결합하는데, 후보를 고립적으로 점수화할 뿐 완전한 다단계 경로에 대해 추론하지는 않는다. 최근 연구는 이 과제에 대규모 언어 모델(LLM)을 활용하지만, 단순한 인터페이스에 의존하여 전체 탐색 공간의 탐험을 제한한다. 우리는 구조화된 메모리를 갖춘 하네스를 통해 기호적 탐색과 신경망 추론을 연결하는 LLM 에이전트인 RetroAgent를 제안한다. 메모리와 화학 도구를 통해 에이전트는 탐색된 경로, 이용 가능한 대안, 중간체의 특성을 포함한 전체 탐색 상태를 관찰하여, 전역적 진행 상황과 도메인 지식 모두에 그라운딩(grounding)된 정보에 기반한 의사결정을 내릴 수 있다. 분포 내(in-distribution) 및 분포 외(out-of-distribution) 벤치마크(benchmark)에서의 실험은 RetroAgent가 강력한 성능과 일반화(generalization)를 달성함을 보여준다.
Calibrated selective prediction using deep ensembles for thyroid nodule ultrasound classification under dataset shift
SinAE: 교차 도메인 원자계를 위한 단일 아키텍처 플로우 매칭 오토인코더
SinAE: A Single-Architecture Flow-Matching Autoencoder for Cross-Domain Atomic Systems
소분자, 결정체, 단백질은 모두 3차원 공간의 원자로 환원되지만, 생성 파이프라인은 여전히 도메인별로 분절되어 있으며 각각 고유한 그래프, 등변(equivariant), 또는 프레임 기반 아키텍처를 사용한다. 교차 도메인 학습은 도메인별 데이터 부족을 완화할 수 있지만, 3차원 좌표 공간에서의 직접 생성은 세 도메인 모두의 이질적인 구조적 사전지식을 쉽게 다루기 어렵고, 기존 잠재 오토인코더 중 무손실이면서 세 도메인 모두에 걸쳐 아키텍처적으로 일반적인 것은 없다. 우리는 분자, 결정체, 단백질을 위한 단일 아키텍처 플로우 매칭 오토인코더인 SinAE를 제안하며, 이는 바닐라 트랜스포머 인코더와 디코더를 사용하고 등변, 그래프, 또는 도메인 특화 연산자를 포함하지 않는다. 인코더가 세밀한 기하를 포착하도록 요구하는 대신, SinAE는 재구성 부담을 반복적 플로우 매칭 디코더로 옮겨 도메인 전반에 걸쳐 거의 무손실 재구성을 달성하고, 기존 잠재 베이스라인 대비 재구성 오차를 여러 차수에 걸쳐 감소시킨다. 동일한 토큰별 잠재는 표준 Diffusion Transformer 사전 모델을 지원하며, 이는 분자, 결정체, 단백질 생성 벤치마크에서 강력한 성능을 달성한다. 분자-결정체 공동 학습은 두 도메인 모두를 뚜렷이 개선하여, 공유 원자 잠재를 통한 교차 도메인 전이의 직접적 증거를 제공한다. 코드는 https://github.com/BlueWhaleLab/SinAE 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.