다중 형식 학습을 통한 언어 모델의 형식 간 견고성 향상
Improving Cross-Format Robustness in Language Models with Multi-Format Training
대규모 언어 모델은 종종 답변 형식에 민감합니다: 한 형식에서는 올바르게 해결된 질문이 의미적으로 동등한 다른 형식에서는 실패할 수 있습니다. 이러한 격차를 연구하기 위해, 우리는 형식 간 견고성을 모델이 형식 전반에 걸쳐 동일한 근본적인 질문에 얼마나 일관되게 답변하는지로 정의합니다. 그 후 우리는 무작위 또는 타겟팅된 선택을 사용하여 학습 항목의 일부만을 여러 동등한 형식으로 확장하는 FormatMix와 전체 형식 학습을 비교합니다. GLM4와 Llama-3.1에 걸쳐, 다중 형식 지도는 과제 성능과 형식 간 견고성을 모두 일관되게 향상시키는 반면, 객관식 질문(MCQ) 전용 지도만으로는 거의 이득이 없으며 견고성을 오히려 저하시킬 수도 있습니다. 또한 우리는 학습 세트의 약 30%만을 다중 형식으로 확장해도 전체 형식 학습의 이득 대부분을 회복할 수 있음을 발견했으며, 이 효과는 우리가 연구한 모델 계열과 크기 전반에 걸쳐 나타납니다. 이러한 결과는 추가적인 지도 그 자체보다는 형식의 다양성이 견고성의 핵심 요인임을 시사합니다. 즉, 가벼운 다중 형식 증강은 기본 모델을 변경하지 않고도 LLM이 답변 형식에 덜 민감하게 만드는 실용적인 방법입니다.