PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11198v1cs.CL

구조적 어텐션 세금: 검색 형식이 콘텐츠와 무관하게 문맥 내 학습을 어떻게 탈취하는가

The Structural Attention Tax: How Retrieval Format Hijacks In-Context Learning Independent of Content

검색-증강 생성(RAG) 시스템에서 검색된 콘텐츠의 형식이 의미와 무관하게 어텐션 분포를 왜곡하는 '구조적 어텐션 세금' 현상을 정의하고, 어텐션을 의미적 요소와 구조적 요소로 분해하여 형식에 의한 어텐션 포획을 줄이는 완화 전략을 제안합니다.