Identifying and Analyzing Task-Encoding Tokens in Large Language Models
원문 초록
In-context learning (ICL) has become an effective solution for few-shot learning in natural language processing. However, our understanding of ICL's working mechanisms is limited, specifically regarding how models learn to perform tasks from ICL demonstrations. For example, unexpectedly large changes in performance can arise from small changes in the prompt, leaving prompt design a largely empirical endeavour. In this paper, we investigate this problem by identifying and analyzing task-encoding tokens on whose representations the task performance depends. Using experiments that ablate the representations of different token types, we find that template and stopword tokens are the most prone to be task-encoding. In addition, we demonstrate experimentally that lexical meaning, repetition, and text formatting are the main distinguishing characteristics of these tokens. Our work sheds light on how large language models (LLMs) learn to perform a task from demonstrations, deepens our understanding of the varied roles different types of tokens play in LLMs, and provides insights for avoiding instability from improperly utilizing task-encoding tokens.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MORSE: 증거 보존 압축을 위한 역방향 스코어링 기반 다중 컨텍스트 순서 결정
MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression
가능도(likelihood) 기반 컨텍스트 압축은 순차적 스코어링을 통해 컨텍스트 간 중복을 고려할 수 있지만, 이로 인해 압축 결과가 컨텍스트 순서에 민감해진다. 본 논문은 동일한 컨텍스트 모음의 서로 다른 순열이 압축기를 변경하지 않아도 증거 보존 결과에서 뚜렷한 차이를 만들 수 있음을 보인다. 우리는 이러한 민감성을 정보 선점(information preemption)으로 설명한다. 즉, 부분적으로만 관련된 앞선 컨텍스트가 공유된 정보에 대한 기여도를 흡수하여, 더 강력한 증거를 담고 있는 뒤쪽 컨텍스트의 증분 점수를 억제하고 그 컨텍스트가 제거될 위험을 높인다. 통제된 쌍 교환(pair-swap) 개입 실험은 증거를 앞에 두는 순서가 뒷받침 증거의 생존율을 크게 향상시킴을 보여 이 메커니즘을 직접적으로 뒷받침한다. 이 문제를 해결하기 위해 우리는 증거 보존을 위한 압축 인지형 컨텍스트 순서 결정 방법인 MORSE를 제안한다. MORSE는 개별 컨텍스트와 압축된 후보 출력 모두에 공통의 역방향 쿼리-증거 원리를 적용하여, 전자로는 증거 우선 앵커를 구성하고 후자로는 압축 인지형 순열 선택을 안내한다. 멀티홉 QA 벤치마크, 압축 절차, 예산, 스코어링 모델 전반에서 MORSE는 정적 역순 정렬과 연산량을 맞춘 무작위 탐색보다 일관되게 증거 보존을 향상시켰으며, 이에 상응하여 다운스트림 QA 성능도 전반적으로 개선되었다. 코드는 https://github.com/tbn5pj/MORSE_code 에서 확인할 수 있다.
시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?
Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.
퓨샷 학습에서 활성화 메모리와 파라미터 메모리의 상호보완적 역할
Complementary Roles of Activation and Parametric Memory in Few-Shot Learning
테스트 시점에 대규모 언어 모델(LLM)은 과거 정보를 활성화 메모리(activation memory, 즉 KV 캐시)와 파라미터 메모리(parametric memory, 즉 갱신된 파라미터)에 인코딩할 수 있다. 일반적으로 활성화 메모리는 사실 상기(factual recall)에, 파라미터 메모리는 새로운 태스크 학습에 효과적이라고 여겨지지만, 두 메모리 간의 상호작용은 아직 명확하지 않다. 본 연구에서는 통제된 실험을 통해 퓨샷 학습에서 메모리의 역할을 체계적으로 조사한다. 그 결과, 사실을 상기하는 데에는 활성화 메모리가 더 우수한 반면, 태스크 학습에서는 파라미터 메모리가 활성화 메모리보다 일관되게 더 나은 성능을 보이지는 않음을 확인했다. 또한 실험 결과, 복합 태스크인 조건부 산술(Conditional Arithmetic)을 해결하려면 두 메모리 유형의 시너지가 필요하다. 뉴런 수준 분석을 통해, 모델이 동일한 과거 정보에 활성화 메모리로 접근할 때와 파라미터 메모리로 접근할 때 서로 다른 뉴런 집합을 활성화함을 발견했다. 두 메모리 유형을 결합하면 모델은 두 집합의 뉴런을 모두 동원하며, 이는 조건부 산술을 해결하는 데 결정적이다. 이러한 발견은 이 복합 태스크에서 어느 한 메모리 메커니즘만으로는 충분하지 않음을 시사하며, 두 메모리의 협력이 중요함을 강조한다.
라벨이 희소할 때: 진동 진단을 위한 진동형 상태 공간 모델
When Labels Are Scarce: An Oscillatory State Space Model for Vibration Diagnosis
진동 기반 기계 고장 진단은 로컬 추론을 위한 엣지 디바이스의 계산 제약을 만족하면서, 라벨이 희소한 고장 녹음으로부터 학습해야 한다. 본 연구는 DualRes를 제안한다. 이는 진동의 두 가지 상보적 스펙트럼 관점을 결합하는 소형 진동형 상태 공간 모델로, 급격한 변화와 미세한 주파수 구조를 포착한다. 시간 정렬된 관점은 선택적 진동 기억(selective oscillatory memory)으로 처리되며, 시간적 패턴을 얼마나 오래 유지할지 학습한다. 인코더는 39,528개의 파라미터를 포함한다. 여섯 개의 베어링 데이터셋과 기어박스 벤치마크, 그리고 추가 기어박스 파일럿에서 지도 학습을 평가했다. 녹음 단위 분할과 라벨링된 구간에 대한 명시적 집계는 상관된 샘플에 대한 반복 노출과 데이터 효율을 구분한다. 주요 기어박스 벤치마크에서 DualRes는 일곱 가지 라벨 예산 중 여섯에서 평가된 아홉 가지 방법 가운데 최첨단 성능을 달성했다. 클래스당 약 6초의 라벨링된 데이터로, 차순위 비교 방법 대비 macro-F1을 16.1퍼센트포인트 향상시켰다. 동일 벤치마크에서 DualRes는 동일한 하드웨어 및 런타임 조건 하 선택적 상태 공간 기준선 대비 녹음 단위 속도 1.44배 향상과 체크포인트 저장량 24.8배 감소를 달성했다. 베어링 결과는 과제에 따른 trade-off를 보여준다. 이러한 결과는 제한된 라벨 노출 하에서 진동 진단을 위한 컴팩트한 접근으로서 진동 기억을 뒷받침한다.
정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제
What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates
모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.
역정렬 퓨샷 대화 노출을 통한 대규모 추론 모델(LRM)의 정렬
Alignment of LRMs via Counter-Aligned Few-Shot Conversation Exposure
대규모 추론 모델(LRM)은 명시적인 사고의 연쇄(CoT) 추론과 넓은 컨텍스트 윈도우(context window)에 의존하여 복잡한 작업에서 강력한 성능을 달성하지만, 이러한 특징은 새로운 공격 표면(attack surface)도 유발합니다. 본 논문에서는 명시적인 CoT 추론 궤적이 포함된 역정렬(counter-aligned) 퓨샷(few-shot) 대화를 앞에 추가함으로써 LRM의 추론 과정을 체계적으로 유도할 수 있음을 보이며, 이는 유해한 질의에 대한 안전하지 않은 생성과 무해한 질의에 대한 부당한 거부로 이어집니다. 우리는 이를 유연한 대화형 인터페이스만을 통해 작동하고 모델의 파라미터 및 그래디언트에 대한 접근이 필요 없는 SRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)로 공식화합니다. 핵심 통찰은 SRCF가 표현 드리프트(representation drift)를 유발하는 적대적 일반화 문제를 악용하여 무해한 입력과 유해한 입력의 표현을 유사한 방향으로 이동시킨다는 점입니다. 이러한 관찰을 바탕으로, 정렬된 타깃을 강제하면서 역정렬 대화형 컨텍스트에 모델을 노출하는 사후 학습(post-training) 방어 기법인 ARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)를 제안합니다. ARCF는 기존 사후 학습 방법과 호환되며 유용성(utility) 저하 없이 안전성(safety)과 유용함(helpfulness)을 일관되게 향상합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.