PyTorchKR Papers

최신 논문

총 59편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29441v2cs.CR

활성화 콘 사각지대 해소: 응답 시간 프로빙과 통합 방어

Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense

Note on v2 (Nov 2026): errors found in the evaluation code mean the empirical results reported in v1 are not supported; the theoretical corollary is unaffected. Details are in the notice on page 1 and in KNOWN_ISSUES.md in the linked repository. We compare five inference-time safety paradigms (no defense, static steering, CAST, AlphaSteer, probe-gated steering) across seven instruction-tuned models (7-31B) and five attack types (GCG, AutoDAN, DeepInception, prefilling, intent laundering). We derive a corollary: any defense that gates intervention on a single layer's activation alignment with a benign reference (cone, subspace, or null-space) is blind to attacks that craft activations to lie inside that reference, whether checked at prompt time or per token. For prefilling attacks we propose response-time probing, a linear probe on the hidden state at the first generated tokens combined with a halt, and compose this halt with AlphaSteer's null-space steering. We also examine whether MMLU captures steering's utility cost and how the diversity of negative training sets affects probe false-positive rates. Code, attacks, and per-sample results are released.

arXiv:2607.21620v2cs.AI

프로필에서 스티어링 벡터로: 개인화 텍스트 생성을 위한 전역 희소 사전과 지역적 의미 보정

From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation

개인화 텍스트 생성은 모델이 과거 데이터로부터 사용자 고유의 문체를 포착해야 한다. 검색, 매개변수 효율적 미세조정, 또는 활성화 스티어링(activation steering)에 기반한 기존 접근법은 추론 및 저장 오버헤드를 유발하거나, 문체적 신호와 의미적 내용을 분리하는 데 어려움을 겪는다. 우리는 희소 사전(sparse priors)을 활용한 전역-지역 활성화 스티어링(Global-Local Activation Steering)을 통해 개인화 생성을 수행하는 학습 없는(training-free) 프레임워크인 GLASS를 제안한다. GLASS는 희소 오토인코더(sparse autoencoders)를 사용하여 과거 응답으로부터 전역 사용자 문체 사전을 추출하고, 클러스터링된 상호작용 시나리오에 대해 지역적 대조적 문체 벡터를 구성한다. 추론 시, 전역 및 지역 벡터를 서로 다른 모델 레이어에 공동으로 주입하여, 검색이나 매개변수 업데이트 없이 문맥 인식 개인화를 가능하게 한다. LaMP 및 LongLaMP에서의 실험은 GLASS가 ROUGE 지표와 LLM-as-judge 평가 전반에 걸쳐 검색-, 미세조정-, 스티어링 기반 베이스라인을 능가함을 보여준다. 추가 분석은 SAE 기반 표현이 주제 및 길이 변화에 더 강건하여, 문체 정보와 의미적 잔여(semantic residue)의 더 나은 분리를 시사함을 보여준다.

arXiv:2610.10655v1cs.LG

Nullify: 학습이 필요 없는 LLM 언러닝을 위한 영공간 활성화 스티어링

Nullify: Null-Space Activation Steering for Training-Free LLM Unlearning

대규모 언어 모델(LLM)은 사전학습 과정에서 상당한 양의 민감하거나 사적인 정보를 불가피하게 내재화하는 반면, LLM 언러닝(unlearning)은 모델 효용의 손실을 최소화하면서 개인정보 유출을 방지하기 위해 특정 지식을 선택적으로 삭제하는 것을 목표로 합니다. 그러나 기존 방법들은 망각 품질과 모델 효용 사이의 균형을 유지하는 데 어려움을 겪으며, 일반적으로 매개변수 미세조정으로 인해 상당한 계산 비용이 발생합니다. 이를 해결하기 위해 본 논문에서는 학습이 필요 없고 비파괴적인 LLM 언러닝용 활성화 스티어링(activation steering) 기법인 Nullify를 제안합니다. Nullify는 추론 중에 스티어링 벡터를 사용하여 프라이버시 관련 활성화를 기억된 답변으로부터 다른 방향으로 유도하는 동시에, 모델 효용을 유지하기 위해 유지 대상 쿼리(retained-query)의 활성화에는 실질적으로 영향을 주지 않는 영공간(null-space) 제약 조건을 만족합니다. TOFU 및 MUSE에 대한 평가 결과, Nullify는 망각 품질에서 기존 베이스라인과 대등하거나 이를 능가하는 동시에 모델 효용을 거의 손실 없이 보존하는 것으로 나타났습니다. Nullify는 가중치 업데이트를 전적으로 배제함으로써 효율적인 플러그 앤 플레이(plug-and-play) 추론 시점 개입 프레임워크로 기능합니다.

arXiv:2610.06950v2cs.LG

추론이 아닌 결정 학습: 저차원 활성화 스티어링을 통한 매개변수 효율적 결정 연산자

Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering

동결된(frozen) 언어 모델에 스킬을 주입하는 데는 현재 백만 개의 매개변수와 강화학습 파이프라인이 소요됩니다. 본 연구에서는 행동 복제(behavior cloning)로 학습되어 이 비용을 약 2단계(orders of magnitude)가량 낮추는 시스템-1(System-1) 결정 연산자인 DecSteer를 소개합니다. 기본 연산자는 33만(330K) 개의 매개변수를 사용하여 강화학습으로 학습된 133만(1.33M) 개 매개변수의 연산자와 동등하거나 그 이상의 성능을 달성하는 동시에, 정확도 손실 없이 3,685개 토큰의 숙고 과정을 6개 토큰의 결정으로 압축합니다. 기존에 발표된 가장 강력한 스킬 연산자의 1/58 수준인 2만 3천(23K) 개 매개변수를 가진 랭크-4(rank-4) 변형은 SearchQA에 충분하며, 더 높은 랭크가 여전히 도움이 되는 LiveMath에서도 충분한 수준에 근접합니다. 동일한 방식이 5가지 태스크와 3가지 백본 전반에 전이되며, 학습 후 수개월 뒤에 공개된 LiveMath 문제에서도 분포 외(out-of-distribution) 성능 향상이 유지됩니다. 이전 연구와의 성능 격차 원인은 학습 가능성(trainability)에 있으며, 이는 초기화와 아키텍처에 의해 함께 결정됩니다. 이전 연산자들의 초기화는 첫 최적화 단계에서 두 대형 인수 행렬의 그래디언트를 0으로 만드는 반면, 공유된 저차원 백본 내부에서 영점 초기화(zero-initialized)된 본 연구의 출력 투영은 즉시 그래디언트를 수신하며, 이는 그래디언트 흐름 탐침(gradient-flow probe)을 통해 직접 확인됩니다. 이러한 성능 향상은 사고의 연쇄(Chain-of-Thought) 압축에 의한 것이 아닙니다. LiveMath의 57점 중 23점은 기본 모델의 Best-of-8 샘플링을 능가하며, 로짓 렌즈(logit-lens) 탐침을 통해 연산자가 답을 조기에 작성하는 것이 아니라 모델의 기존 후반부 층 경로를 따라 답을 증폭한다는 것을 보여줍니다. 성능 이득은 13개의 기본 모델-태스크 쌍에 걸쳐 기본 모델의 개선 여지(headroom)를 따르며, 스킬들은 추론 시점에 더하고, 보간하고, 핫스왑할 수 있는 대략적인 선형 연산자로 결합됩니다.

arXiv:2605.12765v4cs.LG

게이트 활성화 방향 전환을 통한 추론 시점 머신 언러닝

Inference-Time Machine Unlearning via Gated Activation Redirection

대규모 언어 모델(LLM)은 방대한 양의 학습(training) 데이터를 암기하므로 개인정보 보호, 저작권 침해 및 안전성(safety)에 대한 우려를 낳습니다. 머신 언러닝(machine unlearning)은 타깃 망각 세트의 영향을 제거하면서도 모델 성능을 보존하여, 이상적으로는 해당 데이터 없이 처음부터 다시 학습한 모델에 근접하는 것을 목표로 합니다. 하지만 LLM을 실제 사용하는 상황에서 특정 콘텐츠를 잊도록 하는 새로운 요청이 들어올 때마다 모델의 가중치를 업데이트해야 합니다. 매개변수(parameter) 업데이트를 통한 언러닝은 비용이 많이 들고 감사가 어려우며, 양자화(quantization)로 인해 되돌려질 수 있습니다. 본 연구에서는 학습, 그래디언트(gradient) 또는 가중치 변경 없이 완전히 추론(inference) 시점에 언러닝을 적용할 수 있음을 보여줍니다. 저자들은 추론 시점에 입력 의존적인 활성화 조향(activation steering)을 통해 언러닝을 수행하는 학습 및 그래디언트가 필요 없는 방식인 게이트 활성화 방향 전환 기반 추론 시점 언러닝(GUARD-IT)을 제안합니다. GUARD-IT은 잊어야 할 콘텐츠를 작은 활성화 방향 라이브러리로 저장하며, 추론 중에는 각 쿼리를 유사도 게이트로 라우팅하여 관련 방향에 대해서만 활성화하고 이를 잔차 스트림(residual stream)의 노름 보존 회전으로 적용하는 반면, 관련 없는 쿼리는 수정되지 않은 모델을 통과하도록 합니다. 이 동일한 설계는 세 가지 모델 제품군과 0.8B부터 8B 매개변수에 이르는 9개 체크포인트 전반에 걸쳐 적용되며, 새로운 망각 요청은 한 번의 오프라인 순전파 통과(forward pass)로 처리됩니다. TOFU에서 16개의 그래디언트 기반 및 추론 시점 베이스라인과 비교하고 MUSE 및 WMDP에서 평가한 결과, GUARD-IT은 모델 붕괴 없이 망각을 달성했습니다. 특히 TOFU에서는 모델 붕괴 없이 모든 Llama 구성에서 암기를 억제하는 유일한 방법이었습니다. 즉, 모든 구성에서 유용성과 유창한 생성을 유지하고, forget01 분할에서 망각된 데이터를 본 적이 없는 모델에 모델의 출력 분포를 가장 가깝게 이동시키며, 4비트 및 8비트 양자화와 10회의 연속적인 망각 요청 속에서도 성능을 유지하고, 탈옥(jailbreak) 공격에도 견뎌냅니다.

arXiv:2603.16017v2cs.CL

대규모 언어 모델의 도덕적 추론 궤적 이해: 프로빙 기반 설명가능성을 향하여

Understanding Moral Reasoning Trajectories in Large Language Models: Toward Probing-Based Explainability

대규모 언어 모델(LLM)이 도덕적으로 민감한 의사결정에 참여하는 경우가 점점 늘어나고 있지만, 추론 단계 전반에서 윤리적 체계를 어떻게 구성하는지는 여전히 충분히 연구되지 않았습니다. 본 연구에서는 중간 추론 단계 전반에 걸친 윤리적 체계 호출 시퀀스인 '도덕적 추론 궤적(moral reasoning trajectories)'을 도입하고, 6개 모델과 3개 벤치마크에 걸쳐 그 역학을 분석합니다. 연구 결과 도덕적 추론에는 체계적인 다중 체계 숙의 과정이 수반되는 것으로 나타났습니다. 즉, 연속된 추론 단계의 55.4~57.7%에서 체계 전환이 발생하며, 체계 일관성을 유지하는 궤적은 16.4~17.8%에 불과했습니다. 불안정한 궤적은 설득 공격(persuasive attacks)에 1.29배 더 취약한 상태를 보였습니다(p=0.015). 표현 수준에서 선형 프로브(linear probe)는 체계별 인코딩을 모델별 층(Llama-3.3-70B의 경우 81개 층 중 63번 층, Qwen2.5-72B의 경우 81개 층 중 17번 층)에 국소화하여, 단계 사전(step-prior) 기준선 대비 16.8~22.2% 더 낮은 KL 발산을 달성했습니다. 생성 과정에서 적용된 활성화 스티어링(activation steering)은 체계 일관성과 정확도 간의 관계를 변화시켜, Qwen2.5-72B에서는 그 격차를 넓히고 Llama-3.3-70B에서는 이를 상쇄했으며, 프로브 공간 층 탐색(layer sweep)을 통해 달성 가능한 드리프트 감소폭을 6.7~8.9%로 제한했습니다. 나아가 본 연구는 기저의 체계 귀속이 인간 평가자에 의해 검증된(평균 코사인 유사도 = 0.859) 도덕적 표현 일관성(MRC) 지표를 제안하고, 자동화된 일관성 평가기가 이에 대해 무엇을 입증하고 입증하지 못하는지 보고합니다.

arXiv:2601.16390v2cs.CL

다국어 언어 모델을 위한 교차 언어 활성화 스티어링

Cross-Lingual Activation Steering for Multilingual Language Models

대규모 언어 모델(LLM)은 강력한 다국어 능력을 보여주지만, 주요 언어와 비주요 언어 간에는 여전히 상당한 성능 격차가 존재합니다. 이전 연구에서는 이러한 격차의 원인을 다국어 표현 내 공유 뉴런과 언어 특화 뉴런 간의 불균형으로 보았습니다. 본 논문에서는 뉴런 활성화를 선택적으로 조절하는, 학습(training)이 필요 없는 추론(inference) 시점 개입 기법인 교차 언어 활성화 스티어링(CLAS, Cross-Lingual Activation Steering)을 제안합니다. 분류(classification) 및 생성 벤치마크에서 CLAS를 평가한 결과, 고자원 언어의 성능을 유지하면서 각각 평균 2.3%(정확도) 및 3.4%(F1)의 향상을 달성했습니다. 또한 효과적인 전이가 엄격한 정렬보다는 기능적 분기(functional divergence)를 통해 작동하며, 성능 향상이 언어 클러스터 분리도 증가와 상관관계가 있음을 발견했습니다. 본 연구 결과는 목표 지향적 활성화 스티어링이 모델(model) 가중치 수정 없이도 기존 모델의 잠재된 다국어 능력을 이끌어낼 수 있음을 보여줍니다.

arXiv:2610.02391v1cs.LG

망설임에는 기하학이 있다: 희소 활성화 조향을 위한 엔트로피 학습 쌍곡 프로브

Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering

대규모 언어 모델이 수학 문제를 해결할 때 그 추론은 대체로 계층적이며, 해결 과정은 다음 토큰 엔트로피가 높은 소수의 토큰에서 분기되는 경우가 많습니다. 이러한 트리 형태의 구조는 유클리드 공간보다 왜곡이 훨씬 적게 쌍곡 공간에 임베딩됩니다. 그러나 활성화 조향(activation steering)은 해결 과정의 대부분의 토큰이 이미 문맥에 의해 결정되어 있음에도 불구하고, 모든 토큰에 하나의 고정된 유클리드 벡터를 더함으로써 사전학습된 모델의 은닉 상태를 수정하는 것이 일반적입니다. 본 논문에서는 모델 자체의 다음 토큰 엔트로피만을 레이블로 사용하는 경량 프로브를 통해 은닉 상태를 푸앵카레 볼(Poincaré ball)에 임베딩하는 쌍곡 엔트로피 조향(Hyperbolic Entropy Steering, HEST)을 제안합니다. 이 엔트로피가 임계값을 초과하는 지점에서, HEST는 프로브 판독값의 최급하강 측지선(geodesic of steepest descent)을 따라 임베딩된 상태를 이동시키고 그 변화를 다시 은닉 상태로 매핑합니다. 학습된 이상점(ideal point)의 부제만(Busemann) 판독값에 대해, 고정된 길이의 한 스텝이 모든 상태에서 동일한 양만큼 판독값을 감소시킴을 증명합니다. Qwen2.5-Math 및 Llama-3.1 계열의 인스트럭션 튜닝된 3개 모델에서 부제만 판독값을 적용한 HEST는 6개 설정 중 5개에서 MATH-500 및 GSM8K의 그리디 정확도를 최대 1.8포인트 향상시킨 반면, 모든 토큰에 추가된 대조 조향 벡터는 정확도를 떨어뜨렸습니다. 동일한 방식으로 학습된 유클리드 프로브를 사용했을 때는 Qwen2.5-Math-1.5B-Instruct에서 이러한 성능 향상이 사라졌습니다. 성능 향상은 모델이 자주 망설이는 문제에서 가장 컸으며, 나머지 문제에서의 정확도는 거의 변하지 않았습니다.

arXiv:2606.22676v2cs.AI

Skin-Deep: 대규모 언어 모델 표현의 정렬 취약성을 위한 기하학적 진단 기법

Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

안전성(safety) 벤치마크에서의 거절 반응은 모델 업데이트 후에도 해당 동작이 얼마나 안정적으로 유지될지 보여주지 못합니다. 무해한 다운스트림 미세조정(fine-tuning)도 거절 능력을 약화시킬 수 있지만, 행동 기반 평가는 일반적으로 개입이 발생한 후에야 이러한 취약성을 드러냅니다. 본 연구에서는 수정되지 않은 모델의 잔차 스트림(residual-stream) 활성화를 조사하는 기하학적 진단 기법인 SKIN-DEEP을 소개합니다. 이 기법은 정렬(alignment)된 체크포인트와 기본 체크포인트를 비교하여 안전성을 구분하는 방향을 식별하고, 절제(ablation)를 통해 이들의 행동적 관련성을 검증하며, 층별(layer-wise) 패턴을 기하학적 취약성 점수(Geometric Fragility Score, GFS)로 요약합니다. 21개의 인스트럭션 튜닝(instruction tuning) 모델 전반에서 유해한 요청과 무해한 지시문은 반복적인 저랭크(low-rank) 분리 패턴을 나타냅니다. 선택된 방향에 대한 절제는 거절 능력을 약화시키며, 효과적인 방향은 모델에 따라 다양합니다. 무해한 저랭크 미세조정 실험에서, 미세조정 전 가장 낮은 점수를 기록한 초기의 안전한 모델은 테스트된 가장 큰 규모의 무해한 예제 세트로 학습되었을 때 가장 낮은 유해 순응률을 보입니다. 이러한 발견은 표현 기하학을 향후 행동 취약성과 연결하며, 거절 테스트의 보완책으로서 활성화 기반 진단의 유용성을 뒷받침합니다. 코드는 https://github.com/js-lee-AI/skin-deep 에서 이용할 수 있습니다.

arXiv:2605.21006v4cs.AI

악마의 변호인 역할 수행: 기성 페르소나 벡터로 아첨 현상 타깃 스티어링에 필적하기

Playing Devil's Advocate: Off-the-Shelf Persona Vectors Rival Targeted Steering for Sycophancy

언어 모델은 종종 아첨(sycophancy)하는 경향을 보입니다. 즉, 사용자가 진술한 의견이 옳든 그르든 그에 동의합니다. 선행 연구에서는 아첨 페르소나 벡터로 모델을 스티어링(steering)하여 이러한 특성을 제어할 수 있음을 보여주었습니다(Chen et al., 2025). 그러나 이러한 벡터는 아첨 자체에 대한 데이터에서 추출됩니다. 본 연구에서는 아첨을 전혀 목표로 하지 않고 추출된 일반적인 역할(회의론자(Skeptic), 판사(Judge), 악마의 변호인(Devil's Advocate))에 대한 기존 벡터를 대신 재사용할 수 있는지 묻습니다. Gemma 2 27B 및 Qwen 3 32B에서, 아첨 데이터의 별도 분할에 대한 태스크별 계수 튜닝을 사용하여, 대부분 분리된 균형 잡힌 PhilPapers 벤치마크를 바탕으로 이러한 역할 벡터를 목적에 맞게 제작된 대조적 활성화 추가(Contrastive Activation Addition, CAA) 아첨 벡터와 비교합니다. 선정된 "비판적" 역할들은 아첨 로짓 감소에서 CAA 성능의 평균 약 68%(Gemma) 및 98%(Qwen)를 달성합니다. 우리가 확인한 프로브에서 동의가 줄어든다고 해서 사실적 오류가 늘어나는 것은 아닙니다. 16개의 참 및 거짓 사실 주장에 대해 회의론자 또는 판사 벡터로 스티어링된 Qwen은 16개 경우 모두에서 여전히 정답을 제시하여 스티어링되지 않은 모델 및 CAA와 일치했습니다. "순응주의자(Conformist)" 역할은 반대 효과를 안정적으로 내지 못합니다. 또한 역할 벡터는 우리가 스티어링하는 층에서 측정된 CAA 방향과 낮은 절대 코사인 유사도를 갖습니다. 즉, 이들은 기하학적으로 분리된 개입이지만, 이것만으로 이들이 서로 다른 다운스트림 메커니즘을 통해 작동함을 증명하지는 않습니다. 종합적으로 이러한 결과는 일반 페르소나 벡터가 아첨 전용 라벨 없이 추출되었더라도 대규모 언어 모델(LLM)에서 아첨을 완화하는 데 도움이 될 수 있음을 보여줍니다. 코드: https://github.com/vkmk1/Sycophancy-Steering 결과: https://github.com/kelkarI/sycophancy-clean-results

arXiv:2610.01969v1cs.CV

RASteer: 확산 모델의 개념 소거를 위한 보존 인식 활성화 스티어링

RASteer: Retain-Aware Activation Steering for Concept Erasure in Diffusion Models

개념 소거(concept erasure)는 사전학습(pre-training)된 텍스트-투-이미지 확산 모델(diffusion model)에서 다른 콘텐츠를 생성하는 능력은 보존하면서 저작권이 있는 화풍, 특정 인물/캐릭터, 안전하지 않은 콘텐츠와 같은 대상 개념을 제거하는 것을 목표로 합니다. 기존 활성화 스티어링(activation steering) 방식은 주로 대상 개념으로부터 소거 방향을 구축하고, 추론(inference) 시점에 이를 따라 모델(model) 활성화를 조정합니다. 그러나 대상 개념과 보존해야 할 개념은 종종 모델의 표현 공간에서 겹치기 때문에, 이 방향에는 보존 개념이 의존하는 공유 성분도 포함됩니다. 따라서 이 방향을 따라 직접 스티어링하면 보존 개념이 억제되어 비대상 콘텐츠의 생성이 저해될 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 학습(training)이 필요 없는 방식인 보존 인식 활성화 스티어링(RASteer)을 제안합니다. RASteer는 먼저 보존할 개념들로부터 보존 부분공간을 구축합니다. 그런 다음 보존 직교 스티어링(ROS)을 통해 소거 방향에서 이 부분공간과 정렬된 성분을 제거함으로써 스티어링이 대상 개념에 더 특화되도록 만듭니다. 공유 성분을 완전히 제거하면 소거 효과가 약화될 수 있으므로, 추가로 중첩 적응형 캘리브레이션(OAC)을 도입합니다. OAC는 각 층(layer)과 노이즈 제거 단계마다 소거 방향과 보존 부분공간 사이의 중첩도를 활용하여 각 공유 성분이 제거되는 정도를 제어함으로써, 대상 소거와 개념 보존 간의 균형을 맞춥니다. 여러 백본과 벤치마크(benchmark)에 걸쳐 안전하지 않은 콘텐츠, 인스턴스, 예술적 화풍 소거에 대해 수행한 실험 결과에 따르면, RASteer는 평가된 활성화 스티어링 및 가중치(weight) 편집 베이스라인과 대등하거나 이를 능가하는 성능을 보이며 소거와 보존 사이에서 더 우수한 균형을 달성합니다.

arXiv:2609.22850v2cs.LG

같은 결과, 다른 판독: LLM에서 스티어링 가능한 valence 방향은 무엇을 표상하는가?

Same Outcome, Different Readout: What Does a Steerable Valence Direction in LLMs Represent?

해독 가능성(decodability)과 성공적인 활성화 스티어링(activation steering)만으로는 내부 방향이 무엇을 표상하는지 밝혀지지 않는다. 이 공백은 특히 복지(welfare) 관련 해석에서 중요한데, 제안된 기능적 상태를 추출 대비(extraction contrast)와 상관된 특징과 구분해야 하기 때문이다. 우리는 미로 과제에서 좋음-나쁨 결과 방향에 대해 이 질문을 다루며, 실현된 결과와 그 결과가 알려지게 된 정보 이력(informational history)을 분리하는 통제 개입을 사용한다. 여러 LLM 체크포인트에 걸쳐, 한 explicit outcome encoding에 적합화된 방향은 다른 encoding으로 잘 전이되어, readout이 표면 형식(surface form)에 묶여 있지 않음을 보여 준다. 대조적으로, 동일한 실현 결과가 사전 공지(announced) 이력과 비공지(unannounced) 이력을 통해 도달하면 전이는 크게 약해진다. 두 이력 모두 동일한 explicit outcome을 받은 뒤에도 사건 이후 readout은 앞선 공지 여부에 강하게 조건화된 채 남는다. 짝을 맞춘 미로-RL 실행에서 RL 이후 방향은 reference-MDP 잔여 return을 예측하는 데 훨씬 더 predictive해지고, 정책은 시험 지점에서 이 방향에 더 의존하게 되나, 이러한 이력 의존성은 유지된다. 이 결과는 해당 방향에 대한 기능적·가치 관련 해석은 뒷받침하지만, 이력 불변(history-invariant) 스칼라 valence 상태와의 동일시는 뒷받침하지 않는다.

arXiv:2606.18389v2cs.CL

더 나은 합성 데이터를 원하시나요? 스티어링하세요: 저자원 언어 생성을 위한 활성화 스티어링

Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation

저자원 언어 합성 데이터 생성에서 퓨샷 프롬프팅의 추론 비용과 어휘적 앵커링 문제를 피하기 위해, 언어 정체성을 조절하는 Language Steering과 사람이 쓴 텍스트와 역번역 텍스트를 대조해 형식적 적절성을 잡는 Quality Steering 같은 활성화 스티어링(activation steering)을 제안합니다. 11개 언어에서 감정·주제 분류용 합성 데이터를 만들고 소형 분류기를 파인튜닝해 평가한 결과, 초기 레이어 스티어링이 생성 다양성을 높이면서 특히 저자원 언어에서 다운스트림 성능도 자주 개선됩니다.

arXiv:2604.17614v2cs.AI

모델-네이티브 스킬 특성화

Characterizing Model-Native Skills

스킬은 언어 모델이 무엇을 할 수 있는지, 그리고 그 행동을 어떻게 바꿀 수 있는지를 기술하는 자연스러운 단위이다. 그러나 기존 특성화는 사람이 작성한 분류체계, 텍스트 설명, 또는 수동 프로파일링 파이프라인에 의존한다—이는 모두 무엇이 중요한지에 대한 외부 가설이며, 모델의 내부 표현과 일치할 필요가 없다. 우리는 모델 행동에 개입하는 것이 목표일 때, 스킬 특성화는 모델-네이티브(model-native)이어야 한다고 주장한다: 외부 온톨로지를 통해 부과하는 것이 아니라 모델 자체의 표현에 그라운딩되어야 한다. 우리는 시퀀스 수준 활성화(sequence-level activations)로부터 컴팩트한 직교 기저(orthogonal basis)를 복원함으로써 이 관점을 구체화한다. 결과적 기저는 의미적으로 해석 가능하지만 미리 정의된 인간 온톨로지와 대응할 필요는 없으며, 대신 모델 자체가 조직화하는 행동 변화의 축을 포착한다. 우리는 추론 사후 학습(reasoning post-training)에서 이 특성화를 검증하며, 복원된 기저를 SFT 데이터 선별과 추론 시 스티어링 모두에 사용한다. 우리는 주어진 모델에 어떤 방향이 가장 유용한지 식별하기 위해 경량 프록시 개입을 개발한다. Llama3-8B와 Qwen2.5-3B 전반에 걸쳐, 그 방향을 따라 데이터를 선별하면 MATH에서 Pass@1이 최대 20%, AMC에서 41% 개선되며, 사람이 특성화한 스킬에 기반한 데이터 선별을 능가한다. 기저가 활성화 공간에 존재하므로, 동일한 방향은 추론 시 스티어링 벡터로도 작동하여 MATH에서 Pass@8을 최대 4.8% 개선한다—이는 사람이 특성화한 스킬이 지원할 수 없는 개입이다. 우리는 안전성 정렬(safety alignment)에서도 특성화를 추가로 검증하며, 텍스트 다양성보다 모델-네이티브 스킬 커버리지를 위한 적대적 학습 데이터 선별이 더 샘플 효율적인 학습을 낳는다. 이 결과는 외부에서 부과하는 대신 모델 자체 표현으로부터 스킬을 복원하는 것이 모델 행동 개입을 위한 더 효과적인 기반을 제공함을 시사한다. 코드는 오픈소스로 공개되었다.

arXiv:2609.24576v1cs.RO

VLM 기반 비전-언어 내비게이션 모델은 무엇에 의존하는가: 정책 행동의 해석과 조종

What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior

현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.

arXiv:2607.23083v1cs.CL

성별 포용적 재작성을 위한 LoRA 및 반서사 생성을 위한 활성화 조향

LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation

성별 포용적 언어 생성은 의미와 문맥적 일관성을 유지하면서 편향된 텍스트를 포용적 대안으로 변환하는 것을 목표로 한다. 본 논문은 LT-EDI 2026 공유 과제를 위한 IHLC 시스템을 제시하며, 성별 포용적 재작성과 반서사 생성을 모두 다룬다. 성별 포용적 재작성을 위해 매개변수 효율적인 Low-Rank Adaptation(LoRA) 미세조정을 사용하여 공식 점수 80.00%를 달성했다. 우리의 주요 기여는 반서사 생성을 위한 연산 효율적인 추론 시점 표현 공학(representation engineering) 접근법이다. 대조적 은닉 상태(hidden-state) 활성화로부터 주성분 분석(PCA)을 사용해 주요 조향 방향을 도출하고, 추론 중 Gemma-3-4B-it의 중간 표현에 이를 주입하여 모델 가중치를 수정하지 않고도 포용적 응답을 향한 행동 조향을 가능하게 한다. 제약 프롬프팅(constrained prompting)과 결합하면 이 접근법은 정중하고 문맥에 적절한 반서사를 생성하며, 공식 점수 78.12%를 달성한다. 또한 조향 행동에 대한 수동 분석을 제시하며, 의미 표류(semantic drift), 잔존 바이어스 누출, 층 민감도, 과도 조향(over-steering), 텍스트 퇴화(text degeneration) 등 주요 실패 모드를 식별한다. 우리의 결과는 제어 가능하고 사회적으로 정렬된 언어 생성을 위한 매개변수 업데이트의 경량 대안으로서 활성화 조향(activation steering)의 실용적 잠재력과 현재 한계를 모두 강조한다.

arXiv:2607.20803v2cs.CL

성격의 기하학: 융(Jung) 인지 기능을 이용한 활성화 스티어링

The Geometry of Personality: Activation Steering with Jungian Cognitive Functions

활성화 스티어링(activation steering)은 대규모 언어 모델(LLM)의 제어와 해석을 가능하게 하지만, 기존 연구는 주로 Big Five와 같은 정적 특성(trait) 프레임워크를 통해 성격을 모델링한다. 본 연구에서는 성격을 대신 8가지 융(Jung)의 인지 기능(Jungian Cognitive Functions)을 이용한 일련의 인지 과정으로 표현하고 제어할 수 있는지 조사한다. 이를 위해 융 평가 프로토콜과 2,100개 이상의 역할극 캐릭터 서술로 구성된 데이터셋을 포함하는 프레임워크를 제안한다. Llama-3.1-8B에 대한 활성화 스티어링 벡터 추출 및 평가 실험은 활성화 스티어링을 통해 8가지 인지 기능 모두에 대해 효과적인 단조(monotonic) 제어가 가능함을 보여준다. 제어 가능성(controllability)을 넘어, 분석 결과는 다음을 밝힌다. 1. 성격 정보는 트랜스포머의 중간 층에 집중되어 있다. 2. 스티어링 벡터는 이성적(rational) 기능과 비이성적(irrational) 기능 간의 구분과 일치하는 구조화된 기하학적 관계를 보인다. 3. 효과적인 다차원 스티어링 방향은 단일 기능 방향의 선형 결합(linear combination)으로 복원할 수 없다. 이러한 결과는 LLM 활성화 공간(activation space)에서의 성격 표현에 대한 새로운 통찰을 제공하며, 해석 가능하고(interpretable) 효과적이며(effective) 다차원적인(multi-dimensional) 성격 제어를 연구하기 위한 프레임워크를 확립한다.

arXiv:2607.20469v1cs.AI

DecodeShare: LLM 디코드 시점 결정의 공유 부분공간 추적

DecodeShare: Tracing the Shared Subspace of LLM Decode-Time Decisions

대규모 언어 모델(LLM)은 하나의 파라미터 집합으로 많은 작업을 처리하지만, KV 캐시 추론에서는 prefill 단계가 아닌 디코드 시점에 어떤 작업 일반(task-general) 구조가 사용되는지, 있다면 무엇인지 불분명하다. 우리는 DecodeShare를 제안한다. 이는 디코드 시점 은닉 상태에서 작업 간 일관되게 공유되는 저차원 부분공간을 식별하고, 디코딩 중에만 해당 부분공간을 제거하여 그 인과적 역할을 검증하는 프로토콜이다. 실험에서 발견된 공유 부분공간을 교란하면, 동일한 개입 예산 하에서 prefill에서 유도된 부분공간이나 무작위 부분공간을 교란하는 것보다 의사결정 성능이 훨씬 더 크게 저하된다. 또한 이 디코드 공유 부분공간이 활성화 스티어링(activation steering)에 실질적 함의를 갖는다는 것을 보인다. 일반적인 스티어링 방향이 작업 일반 디코드 채널과 겹칠 수 있다. 이 공유 부분공간을 투영 제거(projecting out)하면 두 구성 요소의 기능적 역할을 직접 분리할 수 있으며, 디코드 시점에서 스티어링 벡터를 평가하면 prefill 기반 프록시보다 하류 배포를 위한 더 신뢰할 수 있는 신호를 제공한다. 크기가 작음에도 불구하고, 공유 부분공간은 디코드 시점에서 고레버리지(high-leverage) 인과 채널로 작용할 수 있다. 코드는 https://github.com/Zishan-Shao/decodeshare.git 에서 이용할 수 있다.

arXiv:2607.19364v1cs.AI

대규모 언어 모델의 활성화 공간 제어를 위한 통계적 근거 기반 희소 특징 개입

Statistically Grounded Sparse-Feature Interventions for Activation-Space Control in Large Language Models

활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.

arXiv:2607.14111v1cs.CL

내성 미세조정(IFT): 소형 LLM의 내성 학습

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

소형 언어 모델이 자신의 내부 활성화(activation)에 대한 교란(perturbation)을 탐지하고 보고할 수 있는가? 우리는 활성화 조향(activation steering)의 관점에서 이 질문을 조사한다: 모델의 잔차 스트림(residual stream)에 개념 벡터(concept vector)를 주입하고, 모델이 교란에 대해 정확하게 보고할 수 있는지 측정한다. 우리는 먼저 선행 연구에서 사용된 이진 탐지 패러다임—주입된 thought를 탐지하는지에 대해 모델에게 'Yes' 또는 'No'로 답하도록 프롬프트하는 방식—이 소형 모델에서 교란 요인(confound)이 작용함을 보인다. 조향(steering)이 질문 내용과 무관하게 모델을 긍정적 응답으로 편향시키기 때문이다. 따라서 우리는 두 가지 교란 요인 없는(confound-free) 평가 패러다임을 제안한다: 문장 국소화(sentence localization)($N$개 문장 중 어떤 문장이 교란되었는지 식별, 우연 확률 $= 1/N$) 및 강도 비교(strength comparison)(두 문장 중 어느 쪽이 더 강한 주입을 받았는지 식별, 우연 확률 $= 50\%$). 두 계열(Llama-3.2 및 Gemma-4)의 6개 모델을 대상으로 평가한 결과, 2B 매개변수만큼 작은 모델도 우연 수준을 훨씬 상회하여 내성(introspect)을 안정적으로 수행하며, 내성 능력은 일반적으로 규모와 함께 증가한다. 그러나 Llama-1B는 우연 수준 이하 또는 그에 준하는 성능을 보인다. 그다음 \emph{Introspection Fine-Tuning}(IFT)을 도입한다: 모델 자체의 교란된 순전파(forward pass)로 구성된 문장 국소화 예제에 대한 지도 미세조정(supervised fine-tuning). IFT는 Llama-1B의 문장 국소화 정확도를 $9.6\%$에서 $60.6\%$로 끌어올린다($6\times$ 향상), 그 이득은 홀드아웃(hold-out) 강도 비교 과제에 제로샷(zero-shot)으로 일반화된다($30.2\% \to 52.2\%$). IFT는 3B 및 8B 모델의 내성도 향상시키며, 표준 역량 벤치마크에서는 미미한 성능 저하만 유발한다. 우리의 결과는 내성 능력이 규모만으로 고정되지 않음을 시사한다: 직접 학습할 수 있으며, 이를 통해 잠재된 자기 모니터링(self-monitoring) 능력을 개방하여 AI 투명성(transparency)과 정렬(alignment)에 함의를 갖는다. 코드는 \href{https://anonymous.4open.science/r/IFT-introspection-2092/README.md}{여기}에서 확인할 수 있다.