다국어 언어 모델을 위한 교차 언어 활성화 스티어링
Cross-Lingual Activation Steering for Multilingual Language Models
대규모 언어 모델(LLM)은 강력한 다국어 능력을 보여주지만, 주요 언어와 비주요 언어 간에는 여전히 상당한 성능 격차가 존재합니다. 이전 연구에서는 이러한 격차의 원인을 다국어 표현 내 공유 뉴런과 언어 특화 뉴런 간의 불균형으로 보았습니다. 본 논문에서는 뉴런 활성화를 선택적으로 조절하는, 학습(training)이 필요 없는 추론(inference) 시점 개입 기법인 교차 언어 활성화 스티어링(CLAS, Cross-Lingual Activation Steering)을 제안합니다. 분류(classification) 및 생성 벤치마크에서 CLAS를 평가한 결과, 고자원 언어의 성능을 유지하면서 각각 평균 2.3%(정확도) 및 3.4%(F1)의 향상을 달성했습니다. 또한 효과적인 전이가 엄격한 정렬보다는 기능적 분기(functional divergence)를 통해 작동하며, 성능 향상이 언어 클러스터 분리도 증가와 상관관계가 있음을 발견했습니다. 본 연구 결과는 목표 지향적 활성화 스티어링이 모델(model) 가중치 수정 없이도 기존 모델의 잠재된 다국어 능력을 이끌어낼 수 있음을 보여줍니다.