멀티모달 파운데이션 모델의 감성 적응 이해: 창발적 기능 분업
Understanding Affective Adaptation in Multimodal Foundation Models: Emergent Functional Specialization
멀티모달 감성 파운데이션 모델의 급격한 발전에도 불구하고, 감성 처리 능력이 모델 내부 아키텍처에서 어떻게 발현되는지는 여전히 잘 알려져 있지 않다. 중요한 미해결 과제는 감성 미세조정(fine-tuning)이 모델 전반에 걸쳐 분산된 변화를 유도하는지, 아니면 연산을 기능적으로 특화된 경로로 조직화하는지 여부이다. 본 연구에서는 9가지 모델 설계, 다양한 규모, 태스크 및 학습(training) 패러다임에 걸친 13개 감성 모델(model) 인스턴스에 대한 광범위한 모듈 수준 분석과 함께, 대표 모델들에 대한 통제된 기능 분석을 통해 이 질문을 체계적으로 조사한다. 연구 결과, 감성 적응(affective adaptation)은 일관되면서도 비배타적인 기능적 조직화를 보이는 것으로 나타났다. 동일한 학습 가능 매개변수(parameter) 예산 하에서, 순전파 신경망(FFN)만을 적응시키는 것이 평가된 모든 설정에서 어텐션(attention) 모듈만을 적응시키는 것보다 일관되게 우수한 성능을 보였으며, 평균적으로 모든 주요 트랜스포머(Transformer) 프로젝션을 튜닝하여 얻은 성능에 거의 근접함으로써 FFN이 특히 효율적인 적응 기질임을 확인했다. 더욱 놀랍게도 gate, up, down 프로젝션이 개별적으로는 대등한 단독 적응 역량을 보임에도 불구하고, 결합 최적화를 거친 후에는 학습된 기능적 기여도가 분화되는 것으로 나타났다. 모듈 복구 및 표적 개입 실험을 통해 \texttt{gate\_proj}가 특히 두드러진 경로임을 밝혔으며, 체크포인트(checkpoint) 분석을 통해 이러한 차별화가 학습 과정 전반에 걸쳐 발전함을 확인했다. 본 논문에서는 이러한 현상을 창발적 기능 분업(emergent functional specialization)으로 정의한다. 즉, 경로 수준의 고유한 역할은 단독 적응 역량만으로는 완전히 설명되지 않으며, 결합 감성 적응을 통해 발생한다. 이러한 발견을 바탕으로 제안된 Gate-Focused Efficient Tuning(GET)은 주요 트랜스포머 프로젝션 전체를 튜닝할 때 얻는 성능의 96.2~98.0\%를 유지하면서도, 학습 가능한 매개변수를 19.3~24.5\% 수준만 사용한다.