BPE 토크나이저가 안전성 관련 핵심 단어를 서브워드 조각으로 분리하는 구조적 취약점을 이용해, 문자 수준의 공백 삽입만으로도 Qwen, Gemma, Llama, Mistral 등 5개 모델 패밀리에서 거부 신호를 80~100% 무력화할 수 있음을 실험적으로 입증한다. 정렬(alignment) 학습 데이터 30,000개 예시에 단편화된 입력이 전혀 포함되지 않는다는 훈련 분포 격차가 근본 원인이며, DPO로는 이를 해결할 수 없고 SFT는 무해한 프롬프트에 대한 거부율까지 전반적으로 높이는 부작용을 일으킨다.
최근 기반 모델(foundation model)과 대규모 언어 모델(LLM)의 획기적인 발전은 게놈 서열 연구 및 해독에 새로운 기회를 제공하고 있다. DNABERT2와 같은 최첨단 접근 방식들은 트랜스포머 기반 아키텍처에 의존하는 반면, ConvNova와 같은 방식들은 여전히 보다 전통적인 합성곱 모델을 기반으로 한다. 그러나 이러한 방법들에 대한 체계적인 벤치마크 비교 연구는 여전히 드물다. 트랜스포머 기반 모델은 광범위하고 비용이 큰 사전학습을 필요로 하므로, 그 성능 향상이 이 부담을 정당화하는지 평가하는 것이 중요하다. 또한, DNABERT2와 같은 대규모 언어 모델(LLM)은 일반적으로 바이트 쌍 인코딩(Byte Pair Encoding, BPE) 토큰화에 의존하는데, DNA 서열 표현에 있어 그 적합성은 유전체학 커뮤니티 내에서 아직 논의 중이다. 본 연구에서는 세 가지 핵심 질문을 탐구한다: (i) 트랜스포머 기반 모델은 대규모 사전학습을 통해 미세조정 태스크에서 충분한 성능 향상을 제공하는가, (ii) 이 설정에서 사전학습의 실제 기여는 무엇인가, (iii) BPE 토큰화는 유전체학 관련 태스크의 성능에 어떤 영향을 미치는가?