국소 $n$-gram 메모리를 통한 분자 언어 모델 증강
Augmenting Molecular Language Models with Local $n$-gram Memory
한국어 초록
SMILES 문자열을 위한 트랜스포머 기반 언어 모델은 지역성 격차(locality gap) 문제에 직면합니다. 표준 문자 수준 토큰화는 화학적으로 의미 있는 모티프를 분해하여, 모델이 장거리 의존성(long-range dependencies)을 희생하는 대가로 국소 문법을 반복적으로 학습하도록 강제합니다. 표준 토크나이저를 변경하지 않고 이 문제를 해결하기 위해, 본 연구에서는 분자 언어 모델에 조건부 $n$-gram 메모리 모듈을 통합하는 MolGram을 제안합니다. MolGram은 확장 가능한 해시 조회(hash lookup)를 통해 국소 문자열 패턴을 학습된 임베딩으로 매핑하고, 이 국소적 맥락을 은닉 상태(hidden states)에 동적으로 주입합니다. 비조건부 분자 생성, 순방향 반응 예측, 단일 단계 역합성을 포함한 세 가지 작업에 대한 평가 결과, MolGram이 성능을 일관되게 향상시키는 것으로 나타났습니다. 무엇보다 중요한 점은, 분석 결과 MolGram이 파라미터 수가 3배 더 많은 베이스라인(baseline)보다 우수한 성능을 보여주었다는 것입니다. 이는 명시적 국소 패턴 메모리가 매우 효율적인 귀납적 편향(inductive bias)임을 입증합니다.
원문 초록
Transformer-based language models for SMILES strings suffer from a locality gap: standard character-level tokenization fragments chemically meaningful motifs, forcing models to repeatedly learn local syntax at the expense of long-range dependencies. To address this without disrupting standard tokenizers, we propose MolGram, which integrates a conditional $n$-gram memory module into molecular language models. MolGram maps local string patterns to learned embeddings via scalable hash lookups and dynamically injects this regional context into hidden states. Evaluations across three tasks, including unconditional molecule generation, forward reaction prediction, and single-step retrosynthesis, show that MolGram consistently improves performance. Crucially, our analyses demonstrate that MolGram outperforms baselines with 3$\times$ more parameters, establishing explicit local pattern memory as a highly efficient inductive bias.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12113v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가
Latent Taxonomies: How Property Induction Develops in Language Model Pre-training
로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.
ELF-REG: 연속형 디퓨전 언어 모델을 추론 작업으로 확장하기
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.
사실을 학습하는 것과 이를 인출하는 방법을 학습하는 것은 다르다
Learning a Fact Is Not Learning How to Retrieve It
"X의 수도는 Y이다"로 학습된 모델은 "X의 수도는" 뒤에 "Y"를 생성할 수 있지만, "X의 수도:" 뒤에서는 실패할 수 있습니다. 본 연구에서는 동일한 사실을 이끌어내는 이러한 서로 다른 방식들을 요청 형태(request forms)라고 부릅니다. 사실 학습과 사실 인출을 분리하기 위해, 두 개의 모델을 2단계에 걸쳐 학습(training)합니다. 1단계(요청 형태 학습)에서 한 모델은 각 사실을 5가지 형태로 보고, 다른 모델은 동일한 사실들을 진술문 형태로만 봅니다. 2단계(목표 사실 학습)에서는 두 모델 모두 새로운 사실들에 대해 모두 진술문 형태로 동일한 학습을 받습니다. 이후 두 모델 모두 진술문으로부터 새로운 사실을 거의 동등하게 잘 인출하지만, 다른 요청 형태에서는 현저한 차이를 보입니다. 따라서 모델(model)은 사실을 학습하기 전에 요청 형태를 통해 인출하는 방법을 학습할 수 있습니다. 이러한 차이를 이해하기 위해 정답 직전의 은닉 상태(hidden state)를 살펴보며, 이를 문맥 상태(context state)라고 부릅니다. 동일한 사실에 대해 서로 다른 두 가지 요청 형태가 주어졌을 때, 1단계에서 5가지 형태로 학습된 모델은 진술문으로만 학습된 모델보다 더 유사한 문맥 상태를 생성합니다. 인출 시점에 이 상태를 변경하면 이미 학습된 사실의 인출을 가능하게 하거나 방지할 수 있으며, 동일한 효과가 수도나 통화와 같은 사실 및 사실 관계 전반에 걸쳐 전이됩니다. 학습 중 문맥 상태의 역할을 검증하기 위해 목표 사실 학습 중에만 문맥 상태를 변경했습니다. 이러한 개입은 테스트 시점의 개입 없이도 이후의 인출 결과를 변화시킵니다. 종합하면, 이러한 결과들은 향후의 인출이 초기 요청 형태 경험과 사실 학습 중의 문맥 상태에 의존한다는 점을 보여줍니다.
대수 깊이 순환 언어 모델링
Log-Depth Recurrent Language Modeling
Transformer를 이용한 언어 모델링은 고정된 계산 깊이와 입력 토큰 수에 대한 이차 시간 복잡도에도 불구하고 널리 쓰이게 되었다. 반면 순환 모델은 선형 깊이를 제공하지만 병렬 실행은 불가능하다. 본 연구에서는 균형 트리(balanced-tree) 재귀 연산자를 시퀀스 인코딩에서 자기회귀(autoregressive) 예측으로 확장하여, 모든 접두 문맥 표현을 대수 깊이와 선형 실행 시간으로 계산할 수 있게 한다. 실험을 통해 이 모델 클래스에 대한 초기 특성 분석을 제공하며, 견고한 길이 외삽(length extrapolation)과 ALiBi 기반 Transformer에 근접한 성능을 보여, 언어 모델링을 위한 대안 아키텍처로서의 잠재력을 부각한다.
UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.
Unsupervised Representation Learning of Player Behavioral Data with Confidence Guided Masking
토론
이 논문과 연결된 포럼 글이 아직 없습니다.