적응의 시점: 보존 능력을 유지하는 도메인 특화 부합을 위한 조건부 메모리 어댑터
When to Adapt: Conditional Memory Adapters for Retention-Preserving Domain Specialization
한국어 초록
특화된 도메인에 배포되는 대규모 언어 모델(LLM)은 일반적인 성능을 희생하지 않으면서 도메인 내(in-domain) 성능을 향상시켜야 합니다. 기존의 매개변수 효율적 미세조정(PEFT) 방법들은 일반적으로 항시 활성화(always on)되어 있어, 학습된 섭동이 모든 입력에 적용되므로 도메인 외(OOD) 성능을 저하시킬 수 있습니다. 본 논문에서는 사전학습 시점의 조건부 메모리를 동결된 LLM을 위한 사후(post-hoc) 어댑터로 용도 변경하는 프레임워크인 Engram Adapter를 제안합니다. 이 방법은 명시적 점유 추적(occupancy tracking)을 포함한 국소 n-그램 패턴 대상의 다중 채널 매칭을 경량 선택성 사전 분포(selectivity prior)로 사용하여 도메인 내 입력에 잔여 신호 주입(residual injection)이 발생할 가능성을 높이는 동시에, 학습된 스칼라 게이트를 통해 일관되지 않은 OOD 검색을 억제합니다. 저자들은 AG-News와 MedMCQA를 적응 작업으로 삼고, 추론, 번역, 코드 생성, 법률 추론에 걸친 OOD 벤치마크를 활용하여 Qwen3-4B 및 Qwen3-8B에서 평가를 진행했습니다. Engram Adapter는 도메인 내 정확도를 향상시키는 동시에 평균 OOD 성능을 99.4%--100.1% 수준으로 보존하며, 비교 대상인 항시 활성화 베이스라인들이 급격한 성능 저하를 보이는 것과 달리 LegalBench에서는 평균적으로 동결된 베이스 모델을 소폭 상회합니다. 메커니즘 분석 결과, OOD 활성화 값이 0이 아님에도 불구하고 게이트 및 프로젝션 감쇠를 통해 잔차가 은닉 상태 노름(hidden-state norm)의 약 0.08%로 감소하여 미미한 KL 발산과 무시할 수 있는 수준의 정확도 변화만을 유발하는 것으로 나타났습니다. 이러한 결과는 조건부 활성화가 동결된 백본 상에서 모듈화되고 보존 능력을 유지하는 도메인 특화를 달성하기 위한 유망한 경로임을 시사합니다.
원문 초록
Large language models deployed in specialized domains must improve in-domain performance without sacrificing general capabilities. Existing parameter-efficient fine-tuning methods are typically always on: their learned perturbations are applied to every input, which can degrade out-of-domain (OOD) performance. We propose Engram Adapter, a framework that repurposes pretraining-time conditional memory as a post-hoc adapter for frozen LLMs. It uses multi-channel matching over local n-gram patterns with explicit occupancy tracking as a lightweight selectivity prior, making residual injection more likely on in-domain inputs while a learned scalar gate suppresses incoherent OOD retrievals. We evaluate on Qwen3-4B and Qwen3-8B with AG-News and MedMCQA as adaptation tasks and OOD benchmarks spanning reasoning, translation, code generation, and legal reasoning. Engram Adapter improves in-domain accuracy while preserving 99.4%--100.1% of average OOD performance; on LegalBench it slightly exceeds the frozen base model on average, whereas comparable always-on baselines degrade sharply. Mechanistic analyses show that although OOD activations are non-zero, gate and projection attenuation reduce residuals to approximately 0.08% of hidden-state norm, yielding small KL drift and negligible accuracy change. These results suggest conditional activation is a promising route toward modular, retention-preserving domain specialization over frozen backbones.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.29327v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.