교차 어텐션(Cross-Attention) 층을 활용한 시스템 프롬프트 앵커링
System-Prompt Anchoring with Cross-Attention Layers
교차 어텐션(cross-attention)은 선택된 정보 소스로부터 모델의 연산 과정으로 이어지는 전용 경로를 제공하지만, 해당 경로가 삽입되는 위치의 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 정보 소스가 특권적인(privileged) 시스템 프롬프트 구간일 때 이 문제를 조사합니다. 우리는 인과적 디코더(causal-decoder) 백본을 동결한 상태로 유지하면서, 시스템 프롬프트와 텍스트 사이에 교차 어텐션 층(Cross-Attention Layer, CAL) 블록을 삽입합니다. 1.5B 백본 모델에 대해 10가지 구성을 탐색한 결과, 성능은 작업에 따라 달라지며 배치 위치에 강하게 영향을 받는 것으로 나타났습니다. 대체로 후반부에 배치할수록 더 효과적이고 매개변수 효율적입니다. 8B 스케일링 연구에서는 전체적으로 가장 우수한 구성만을 학습(training)시켜 매개변수 수가 일치하는 적응(adaptation) 베이스라인들과 비교합니다. 평가된 벤치마크 전반에서 효과는 여전히 작업 의존적입니다. 즉, 교차 어텐션은 일반 작업 성능을 대체로 보존하면서도 지시사항 준수(instruction-following) 및 보안(security) 동작을 변화시킵니다. 종합적으로, 이러한 실험들은 교차 어텐션을 통해 시스템 프롬프트 정보를 주입할 때 배치 위치가 중요한 설계 변수임을 규명합니다.