PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27248v2cs.LG

사전학습된 LLM을 고충실도 연속 텍스트 오토인코더로 재활용하기

Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders

다음 토큰 예측(next-token prediction)은 매우 유창한 자기회귀적(autoregressive) 언어 모델을 가능하게 했지만, 순차적 분해(sequential factorization)를 통해 전역 구조를 간접적으로만 표현한다. 반면, 고충실도 오토인코더는 이미지 생성 분야에서 표준적인 요소로 자리 잡아 생성 모델이 연속적인 잠재 공간(latent space)에서 동작할 수 있게 해주었지만, 텍스트에는 이에 상응하는 충실한 연속 표현이 존재하지 않는다. 우리는 사전학습된 디코더 전용(decoder-only) 언어 모델의 중간 층(layer) 활성화를 고정 길이 잠재 병목(latent bottleneck)으로 노출시켜 연속 텍스트 오토인코더로 재활용하는 방법인 LLMAE를 제안한다. LLMAE는 구조화된 어텐션 마스크(attention mask)와 LoRA 적응(adaptation)을 통해 이러한 인터페이스를 구현하며, 원본 LLM의 생성적 사전 지식(generative prior)을 활용한다. 두 가지 백본(2억 7천만 파라미터의 Gemma 3와 5억 파라미터의 Qwen2.5)에서 LLMAE는 최대 1024개 토큰 길이의 시퀀스를 높은 정확도로 복원하며, 최대 97%의 문서를 원문 그대로 재현한다. 우리는 고정된(frozen) LLMAE 잠재 공간 내에서 직접 상세한 이미지 캡션을 생성하는 경량 디퓨전 모델(diffusion model)을 학습시켜 다운스트림(downstream) 활용성을 입증한다. 텍스트를 고정 길이의 연속 잠재 공간으로 매핑함으로써, 본 접근법은 원본 LLM의 유창성을 유지하면서도 다운스트림 적응을 위한 효과적인 기반을 제공한다. 코드와 모델은 https://github.com/arkanath/LLMAE 에서 확인할 수 있다.