문맥 내 학습과 문맥 외 환각에 대한 메커니즘 분석
A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination
한국어 초록
대규모 언어 모델은 문맥 내 학습(ICL)을 통해 특정 규칙을 추론하고 따를 수 있지만, 제공된 근거에 충실하지 못하여 문맥 외(OOC) 환각이 발생하기도 한다. 기존 연구는 ICL과 OOC 환각의 기저 메커니즘을 대체로 별개의 흐름에서 조사해 왔다. 그러나 이러한 분리는 서로 상반되어 보이는 두 결과의 메커니즘적 기반을 불명확하게 만든다. 본 연구에서는 동적 문맥 내 기능적 역할이라는 통합된 관점에서 이 대조를 분석한다. 핵심 관찰은 역할 정보가 내부적으로 표현되더라도 출력을 안정적으로 제약하지는 못할 수 있다는 점이다. 우리는 역할 효과를 규명하기 위해 1차 분해를 유도하고, 그 효과가 크게 나타나려면 충분한 기여 크기와 일관된 부호 합산이라는 두 가지 필요조건이 충족되어야 함을 보인다. 인과 분석은 역할 구간의 기여가 응답 구조, 내용 선택, 사실 값과 관련된 핵심 토큰 선택에 영향을 미친다는 점을 추가로 보여 준다. 또한 역할에 부합하는 선택은 이러한 핵심 결정 지점에서 역할 구간의 충분한 지지에 의존하며, 실패한 선택은 이 지지가 부족분을 극복할 때 반전될 수 있음을 보인다. 이러한 결과는 ICL과 OOC 환각에 대한 공통의 메커니즘적 관점을 뒷받침한다. 즉 각 기능적 역할은 역할 구간의 기여가 유효하게 유지되어야 하는 출력 결정의 패턴을 규정하며, 이 구성의 차이가 상반되어 보이는 결과를 설명한다.
원문 초록
Large language models can infer and follow specific rules through in-context learning (ICL), yet may fail to remain faithful to provided evidence, giving rise to out-of-context (OOC) hallucination. Existing work has largely investigated the underlying mechanisms of ICL and OOC hallucination along separate lines. However, this separation obscures the mechanistic basis for these seemingly opposing outcomes. In this work, we study this contrast through the unified view of functional roles in dynamic context. The key observation is that role information can be internally represented without reliably constraining output. We derive a first-order decomposition to characterize the role effect, showing that its substantial influence depends on two necessary conditions, namely sufficient contribution magnitude and coherent signed aggregation. Causal analysis further shows that role span contributions affect key token choices involving response structure, content selection, and factual values. We further show that role-consistent choices depend on sufficient role span support at these key decisions, while failing choices can be reversed when this support overcomes the deficit. These findings support a common mechanistic view of ICL and OOC hallucination: each functional role defines the pattern of output decisions over which role span contributions must remain effective, and differences in this organization account for the seemingly opposing outcomes.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24000v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.