주의를 기울이지 말고 심어라: 순위 학습을 통한 어텐션 사전학습 PLANT
Don't Pay Attention, PLANT It: Pretraining Attention via Learning-to-Rank
최첨단 극단적 다중 레이블 텍스트 분류 모델은 입력 텍스트의 핵심 토큰에 집중하기 위해 다중 레이블 어텐션에 의존하지만, 좋은 어텐션 가중치를 학습하는 것은 어렵다. 본 논문에서는 LLM의 출력 표현 위에서 동작하는 레이블 어텐션 모듈을 초기화하는 플러그 앤 플레이 방식의 전략인 PLANT(Pretrained and Leveraged AtteNTion)를 제안한다. PLANT는 종단 간 미세조정에 앞서, 상호 정보 이득으로 학습한 순위 학습(Learning-to-Rank) 모델을 사용하여 레이블별 어텐션을 심는 방식으로 작동한다. 이 아키텍처 비종속적 접근법은 LLM 백본(예: Mistral-7B, Llama-3.1-8B, DeepSeek-V3, Phi-3-mini)과 통합된다. PLANT는 ICD 코딩, 법률 주제 분류, 콘텐츠 추천 등의 과제에서 SOTA 방법들보다 우수한 성능을 보이며, 의료 분야 외의 통제된 비교에서도 미세조정된 LLM의 성능을 향상시킨다. 성능 향상은 희귀 레이블에서 가장 크지만, 학습이 필요 없는 LLM 추출 기준선도 드물게 나타나는 레이블에서는 여전히 경쟁력을 유지한다. 절제 연구를 통해 어텐션 초기화가 이러한 성능 향상의 핵심 요인임을 확인하였다. 코드는 https://github.com/deb-official/plant 에서 공개한다.