arXiv 2603.22658
초록 정보가 없습니다.
이 이메일 도메인이 관측된 논문 2건
초록 정보가 없습니다.
Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data
대규모 언어 모델(LLM)은 매개변수 갱신 없이 새로운 분포에 적응하기 위해 문맥 내 학습(ICL)에 의존하며, 구조화된 데이터를 위한 조건부 생성기로 점점 더 많이 사용되고 있다. 우리는 분포 불일치 상황에서 구조화된 생성에 대한 ICL의 한계를 조사하고, 고카디널리티 표 형식 데이터를 통제된 테스트 사례로 사용하여, 사전학습으로부터 상속된 토큰 분포에 대한 모델의 사전분포를 ICL이 갱신하지 못하는 구조적 실패 양상을 밝혀내며 이를 범주형 사전분포 고착(categorical prior lock-in)이라 부른다. 70억 매개변수 규모의 공개 가중치 모델 두 개에 걸쳐, ICL은 추가 예시로 수치적 충실도는 개선하지만 범주형 분포에서는 급격한 상한을 보이며 희귀 클래스를 전혀 재현하지 못한다. 매개변수 효율적 미세조정(LoRA)은 이러한 한계를 극복하지만 측정 가능한 암기 위험을 유입하고, 경우에 따라 구조화된 출력 생성을 불안정화하여 적응성과 프라이버시 사이의 근본적 트레이드오프를 부각한다.