PyTorchKR Papers

최신 논문

총 59편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.13698v4cs.CV

어텐션은 시각적 위험을 놓친다: 멀티모달 안전성 정렬을 위한 위험 적응형 스티어링

Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment

최신 AI 모델조차도 유해 의도가 이미지에 숨겨진 멀티모달 쿼리에 취약한 경우가 많다. 안전성 정렬(alignment)을 위한 널리 쓰이는 접근은 대규모 멀티모달 안전 데이터셋으로 학습하는 것이지만, 데이터 큐레이션과 학습 비용이 종종 감당하기 어렵다. 이를 완화하기 위해 최근 추론 시점 정렬(inference-time alignment)이 연구되었으나, 다양한 멀티모달 jailbreak에 걸쳐 일반화되지 못하는 경우가 많고, 응답 정제를 위한 추가 순전파(forward pass)나 무거운 배포 전 보정(calibration) 절차로 인해 여전히 상당한 오버헤드가 발생한다. 본 연구에서는 멀티모달 안전 실패의 핵심 원인 중 하나로 안전에 중요한 이미지 영역에 대한 시각적 어텐션 부족을 지적한다. 이 통찰을 바탕으로 Multimodal Risk-Adaptive Steering(MoRAS)을 제안하며, 간결한 시각적 컨텍스트를 통해 안전에 중요한 시각적 어텐션을 강화하여 정확한 멀티모달 위험 평가를 가능하게 한다. 이 위험 신호는 위험 적응형 스티어링을 통해 직접 거절을 가능하게 하여, 다양한 멀티모달 jailbreak에 일반화 가능성을 유지하면서 추론 오버헤드를 줄인다. 특히 MoRAS는 멀티모달 위험을 추정하기 위해 소규모 보정 세트만 필요하여 배포 전 오버헤드를 크게 줄인다. 여러 벤치마크와 MLLM 백본에 걸쳐 다양한 실증 검증을 수행한 결과, 제안한 MoRAS가 최첨단 추론 시점 방어 수단 대비 jailbreak를 지속적으로 완화하고 유틸리티를 보존하며 계산 오버헤드를 줄이는 것을 확인했다.

arXiv:2607.11871v1cs.LG

불공정한 평가자의 내부: LLM-as-Judge 바이어스에 대한 기계론적 해석 가능성 분석

Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias

LLM-as-judge 점수 바이어스에 대한 기존 연구들은 주로 입력-출력 수준에서 이루어진다: 입력을 교란하고, 점수 변화를 측정하며, 프롬프트 수준의 완화 방법을 제안한다. 우리는 동일한 바이어스가 평가자의 은닉 상태에서 표현 수준의 설명을 허용하며, 이는 입력-출력 관점을 보완하고 그것이 제공하지 못하는 방식으로 운용상 유용하다고 주장한다. 우리는 7개의 평가자, 7가지 바이어스 유형, 9개의 벤치마크에 걸쳐 세 가지 발견을 보고한다. 기하학적 구조: 기준선 판단 입력은 조밀한 활성화 다양체(activation manifold)를 차지하는 반면, 바이어스가 있는 입력은 저차원의 유형 특화 부분공간(subspace)을 따라 변위되며, 이는 깊이에 따라 더욱 뚜렷해지고 세 가지 추정기 계열에 의해 일관되게 복원된다. 인과적 제어: 이 부분공간을 따라 은닉 상태를 조종하면 양방향으로 점수가 구동되는데, 순방향 이동은 깨끗한 입력에서 바이어스된 점수를 재현하고 역방향 이동은 바이어스된 입력에서 기준선 점수를 복원하는 반면, 노름(norm)이 일치하는 임의 방향들은 한 자릿수 더 작은 이동을 생성한다. 운용: 동일한 바이어스 방향 특징들에 대한 단순 선형 투영은 완전히 보지 못한 세 개의 벤치마크에서 평가자 실패를 예측하며, 텍스트 기반 대안들을 크게 능가한다. 바이어스를 입력-출력 노이즈가 아닌 활성화 기하학(activation geometry)으로 읽는 것은 기하학적 구조, 인과적 제어, 운용 예측을 단일 프레임워크 내에서 통합한다. 프로젝트 페이지는 https://xzx34.github.io/unfair-judge/ 에서 확인할 수 있다.

arXiv:2607.10517v1cs.LG

리만 활성화 조종을 위한 조건부 최적 브릿지

Conditional Optimal Bridge for Riemannian Activation Steering

활성화 조종(Activation steering)은 추론(inference) 시점에 대규모 언어 모델(LLM)을 제어하기 위한 미세조정(fine-tuning)의 경량 대안을 제공합니다. 기존의 많은 방법들은 원하는 활성화 분포와 원하지 않는 활성화 분포 사이의 로그-밀도비 목적함수를 암묵적으로 최적화하지만, 이를 원리적인 최적화 문제에서 유도하는 것이 아니라 휴리스틱하게 수행합니다. 더불어 이러한 방법들은 쿼리 독립적인 조종 방향을 생성하여 분포 내(in-distribution) 및 분포 외(OOD) 입력 모두에서 성능을 저하시킬 수 있습니다. 저희는 잔차 스트림 초구면 위의 슈뢰딩거 브릿지(Schrödinger Bridge)로 활성화 조종을 재정립함으로써 두 가지 한계를 모두 해결하는 \textsc{Cobras}(Conditional Optimal Bridge for Riemannian Activation Steering)를 소개합니다. 이 공식화는 저희가 알기로는 적합하게 정의된 최적화 문제로부터 로그-밀도비 조종 목적함수에 대한 최초의 원리적 유도를 제공합니다. 엔트로픽 최적 수송(entropic optimal transport)을 통해 브릿지를 풀고 확률 흐름 ODE(probability flow ODE)를 추출하면, 싱크혼 포텐셜이 균일한 특수한 경우에 널리 사용되는 밀도비 그래디언트(gradient)가 복원됩니다. 핵심적으로, 슈뢰딩거 포텐셜은 현재 활성화값에서 평가되므로 결과적으로 생성된 조종 방향이 본질적으로 쿼리 적응형이 됩니다. 실험적으로, 네 가지 모델과 세 가지 정렬(alignment) 축(유용성, 진실성, 무독화)에 걸쳐, \textsc{Cobras}는 기존 방법들에서 흔히 관찰되는 OOD 성능 저하를 피하면서 이전 활성화 조종 기준선들을 지속적으로 능가합니다. 코드는 https://github.com/arshandalili/cobras 에서 확인할 수 있습니다.

arXiv:2607.10296v1cs.AI

SPARK: 대규모 언어 모델의 잠재 추론 상태에 대한 취약성 기반 프로파일링 및 조정

SPARK: Susceptibility-Guided Profiling and Steering of Latent Reasoning States in Large Language Models

대규모 언어 모델(LLM)의 추론 실패는 보통 최종 답변을 기준으로 평가되지만, 오답만으로는 모델이 실패한 이유를 알 수 없다. 동일한 오류 출력이 역량 부재, 불안정한 추론 궤적, 또는 동결된 모델에 이미 내재된 추론 상태를 활성화하지 못한 것 중 어느 것에서 비롯되었는지 파악하기 어렵다. 기존의 프롬프트 기반 및 벤치마크 기반 평가 방법은 대부분 출력 수준에서 동작하며, 일반적인 활성화 조정 방법은 어떤 예제에 개입이 필요한지 진단하지 않고 전역적인 방향을 적용하는 경향이 있다. 본 논문에서는 SPARK를 소개한다. SPARK는 은닉 상태 응답을 활용하여 모델이 내부적으로 효과적인 추론 상태에 진입하는지 진단하고, 경량의 테스트 타임 조정을 유도한다. 핵심 관찰은 원시 은닉 상태 취약성이 프롬프트 길이에 의해 강하게 교란된다는 것으로, 특히 직렬화된 어려운 인스턴스가 자연스럽게 더 길어지는 프로그래밍적·알고리즘적 추론에서 두드러진다. 따라서 SPARK는 길이 보정 취약성을 사용하여 입력 규모 효과와 잔여 추론 활성화를 분리하고, 이 신호와 층 간 조율을 결합하여 추론이 활성화된 앵커와 활성화가 부족한 어려운 예제를 선택한다. 잠재 프로파일링 및 난이도 인식 분석을 위한 통제된 프로그래밍 추론 스위트로 FRONTIER-4.5K를 사용하고, 순전파 전용 벤치마크 프로파일링을 통해 GSM8K와 MATH-500에서 SPARK-Steering을 평가한다. 제안 방법은 Qwen3 시리즈 모델에서 일관된 성능 향상을 보이며, MATH-500에서 Qwen3-4B의 정확도는 82.0%에서 84.6%로, Qwen3-8B는 82.4%에서 85.6%로 향상된다. 이러한 결과는 취약성이 추론 실패에 대한 진단 신호로서뿐만 아니라, 목표 지향적 테스트 타임 개입을 위한 실용적인 지침으로도 활용될 수 있음을 시사한다.

arXiv:2607.09156v1cs.LG

존재하되 재조정됨: 가산적 활성화 조향의 챗-에이전트 전이

Present but Rescaled: Chat-to-Agent Transfer of Additive Activation Steering

가산적 활성화 조향(생성 중 스케일된 잔차 스트림 방향을 주입하는 것)은 거의 전적으로 단일 턴 챗에서 보정되지만, 그 대상 모델들은 점점 더 도구를 사용하는 ReAct 에이전트로 배포되고 있다. 우리는 가산적 조향의 최초 체계적인 챗-에이전트 전이 연구를 제시하며, 매칭된 정보 설계 하에서 행동 측정과 표현 판독을 결합한다: 동일한 항목을 평문 챗 또는 ReAct 도구 사용 에피소드로 렌더링하고, 노름이 매칭된 랜덤 방향 제어와 함께 KV 캐시 오염을 배제하기 위해 매 턴마다 트랜스크립트를 재인코딩하였다. 전이는 실재하지만 재조정되며, 적절한 설명은 해리(dissociation)이다: 주입된 방향은 모든 설정과 테스트된 모델에서 후반 레이어에 거의 완전한 강도로 도달하는 반면(세 모델 패밀리에 걸쳐 설치 지점의 에이전트-대-챗 비율 0.83–1.16), 행동적 연결은 모델과 컨텍스트별로 초기화된다. Qwen2.5-7B에서 거부 우회 벡터는 에이전트에서 증폭되며(T = 1.45, CI [1.20, 1.78], N = 300), 균등 프로토콜 분포 전반에 걸쳐 연결은 증폭(Gemma-2-9B T = 2.00)에서 감쇠(Yi-1.5-9B T = 0.43, CI [0.29, 0.60])까지 범위를 가지며, 보편적 상수가 없고 보편적 부호에 대해 단 하나의 명확한 감쇠기가 존재한다. 동일한 축의 방향적 절제는 증폭되지 않지만(T = 0.93, CI에 1 포함), 가산적 주입은 증폭되어(T = 1.50) 20.1 포인트의 이득 차이(CI [13.4, 26.8])를 보이며, 이는 가산적 특이 메커니즘을 확인한다. 사전 등록된 두 도구는 재조정을 희석 설명이 예측하는 관찰 경계가 아니라 도구 관찰 이전의 ReAct 형식 스캐폴드에 국소화하는 데 수렴한다. 안전성 함의는 즉각적이며 예측 불가능하다: 에이전틱 배포는 일부 모델에서 조향 기반 거부 우회를 최대 2.00배까지 증폭시키는 반면 다른 모델들은 감쇠시키므로, 배포 시 특정 모델이 가산적 조향 하에서 안전하다고 가정할 수 없다.

arXiv:2607.08883v1cs.LG

안전성 표현에 대한 최적화: 활성화 기반 적대적 접미사와 거부의 기하학

Optimizing Against Safety Representations: Activation-Guided Adversarial Suffixes and the Geometry of Refusal

대규모 언어 모델(LLM)의 행동적 정렬(alignment)은 종종 내부의 취약한 안전성(safety) 표현을 감추고 있다. 최근 연구에 따르면 거부 행동은 활성화 공간의 저차원 방향에 의해 매개된다고 한다. 이는 그러한 표현이 어떻게 구조화되고, 국소화되며, 최적화에 의해 접근되는지에 대한 의문을 제기한다. 우리는 적대적 접미사 공격을 표현적 정렬의 탐침(probe)으로 연구한다. 우리는 Activation-Guided GCG를 소개하는데, 이는 출력 기반 목적함수를 모델의 내부 거부 방향을 직접 겨냥하는 손실로 대체한다. 여러 목적함수 변형에 걸쳐, 모든 층(layer)과 위치에 걸쳐 전역적으로 거부를 억제하는 것이 단일 층-위치 쌍을 타겟으로 하는 것보다 더 효과적임을 발견한다. 이는 안전성 표현이 단일 위치에 인과적으로 국소화되기보다 순전파(forward pass) 전반에 걸쳐 분산되어 있음을 시사한다. 우리는 또한 Gumbel-소프트맥스(Gumbel-Softmax)를 사용한 이산 접미사 최적화의 연속 완화 방법인 Soft-GCG를 소개한다. Soft-GCG는 표준 GCG 대비 33배의 속도 향상을 달성하면서 공격 성공률도 향상시킨다. 모델 규모에 걸쳐 평가한 결과, 소규모 모델은 취약한 상태를 유지하는 반면 대규모 모델은 컴퓨팅 제약 환경에서 활성화 기반 및 접미사 기반 공격 모두에 저항함을 발견하였으며, 이는 더 크고 안전성 학습이 잘 된 모델이 탈옥(jailbreak)하기 더 어렵다는 것과 일치한다. 종합하면, 우리의 결과는 현재 모델에서 안전성 메커니즘이 어떻게 인코딩되고 어떻게 깨질 수 있는지를 명확히 한다. 이러한 통찰은 보다 강건하고 표현 인식적인 정렬 전략을 설계하기 위한 구체적인 지침을 제공한다.

arXiv:2607.05615v1cs.LG

토큰당 동전 던지기: 대규모 언어 모델의 베르누이 희소 조종

A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models

희소 오토인코더(SAE)를 활용한 활성화 조종(activation steering)에서 매 토큰마다 신호를 주입하는 방식이 유창성을 저하시킨다는 문제를 해결하기 위해, 각 토큰을 확률 $p$로 독립적으로 게이팅하는 확률적 토큰 조종(STS)과 시퀀스 선두 윈도우에 단일 게이트를 적용하는 확률적 블록 조종(SBS)을 제안한다. LLaMA 3.1-8B와 Gemma-2 2B 실험에서 토큰의 50%만 조종해도 밀집 조종 효과의 95% 이상을 회복하고 30%만으로도 프롬프트 기반 제어를 능가하며, 최적 조종 크기가 개입 비율에 반비례함을 밝혀 SAE 매개 제어가 누적 신호량에 의존하는 속도 제한적 특성임을 입증한다.

arXiv:2607.05790v1cs.AI

헤딩별 활성화 조향을 이용한 도구 사용 제어

Controlling Tool Use with Heading-Specific Activation Steering

헤딩 앵커(heading-anchor) 위치에서 추출한 활성화 조향(activation steering) 벡터를 이용해 도구가 증강된 대규모 언어 모델(LLM)의 불필요한 도구 호출을 추론 시점에 양방향으로 제어할 수 있음을 5개의 오픈소스 모델과 3개의 도메인에서 검증했다. 파라메트릭 추론으로 충분한 도메인에서 억제 효과가 가장 뚜렷했으나, 기하학적 분석에서는 도구 사용 조향 벡터가 선형 표현 가설(linear representation hypothesis)에서 예측하는 깔끔한 구조가 아닌 확산된 이봉형(bimodal) 분포를 보여, 이러한 비선형 구조와 인과적 효과 사이의 관계는 미해결 문제로 남는다.

arXiv:2607.05013v1cs.CL

지식은 알고, 언어화는 말한다: 대규모 언어 모델의 수학적 풀이 가능성을 위한 잠재 방향 분리

Knowledge Knows, Verbalization Tells: Disentangling Latent Directions for Mathematical Solvability in LLMs

대규모 언어 모델(LLM)이 수학적 추론에서 상당한 진전을 이루었지만, 수학 문제의 풀이 가능성 여부를 판단하는 것은 근본적이면서도 어려운 능력으로 남아 있다. 최근 연구들이 모델의 풀이 가능성 믿음에 대한 내부 표현을 탐색해 왔지만, 언어화(verbalization)는 내부 표현으로서가 아닌 주로 행동적 측면에서 연구되어 왔으며, 이로 인해 분석 및 조작이 제한되었다. 우리는 풀이 가능성 지식과 언어화의 표현을 별도로 탐색함으로써 이 격차를 해소하여, 모델 은닉 상태 내에서 두 가지를 분리할 수 있게 한다. 여러 LLM에 걸쳐, 지식과 언어화가 서로 구별되는 선형적으로 디코딩 가능한 표현으로 인코딩되며, 날조(fabrication)는 기저 지식보다 주로 언어화의 변화와 연관됨을 보인다. 풀이 불가능성 단서로 프롬프팅하면 주로 언어화를 전환함으로써 날조를 감소시키며, 활성화 조정(activation steering)은 이러한 표현들이 모델의 응답 거부(abstention)를 향상시키기 위해 기계론적으로 조작될 수 있음을 보여준다.

arXiv:2607.04222v1cs.AI

Unsupervised Features Mining via Activation Geometry

해석 가능성(interpretability) 방법론은 대규모 언어 모델(LLM) 내부에 표현된 특징을 밝히는 것을 목표로 한다. 기존 방법의 대부분은 인간의 편향을 반영할 수 있는 인간 정의 개념의 레이블이 부여된 예시로 시작하여, 활성화 공간이나 다른 분해 방법을 통해 해당 개념이 모델 내에서 어떻게 표현되는지를 식별한다. 우리는 활성화 기하학을 통한 마이닝(MAG, Mining via Activation Geometry)을 소개한다. 이는 모든 입력 $p$에 동일한 자연어 지시 $Q$를 앞에 추가하여 모델 활성화로부터 추론 특징을 추출하는 단순한 비지도 프레임워크로, $Q$는 "이 물체는 사막에서 찾을 수 있는가?" 또는 "이 프롬프트는 악의적인가?"와 같이 관심 있는 추론 특징을 정의한다. 단일 판독 지점에서 $m(Q \mid p) - m(p)$를 사용하여 지시가 모델의 내부 표현을 어떻게 변화시키는지 측정한다. 우리는 여덟 가지 서로 다른 MAG를 탐구한다. 추출된 추론 특징은 모델 자체의 세계 이해 및 판단을 예측하며, 단일 활성화 방향으로 근사될 수 있다. 또한 일부 특징은 더 선형적으로, 일부는 덜 선형적으로 표현된다는 것을 발견하였으며, 벡터 스티어링(vector steering)이라고도 불리는 이 선형 표현은 추론 특징을 주입하는 활성화 스티어링(activation steering)을 통해 LLM의 결정을 변화시킬 수 있다. 마지막으로, 동일한 방법을 사용하여 프롬프트 주입 분류기 프로브(prompt-injection classifier probe)의 최적 학습 데이터셋을 선택한다: 일반 활성화 간 유사도는 다운스트림 성능과 거의 무관한 반면, RFD 기반 유사도는 Top-1 정확도 94.7%, Top-2 정확도 100%를 달성한다.

arXiv:2607.02396v1cs.AI

Fast Multi-dimensional Refusal Subspaces via RFM-AGOP

Steering and monitoring activations in Large Language Models (LLMs) are increasingly used for both safety and interpretability. Early work assumed behaviours are encoded along single linear directions, but recent findings suggest complex behaviours, such as the refusal to answer harmful queries, live in multi-dimensional subspaces. However, existing methods for extracting these subspaces are computationally expensive, which becomes prohibitive on reasoning models who produce long reasoning traces. By adapting the Recursive Feature Machine (RFM) algorithm -- which can be computed efficiently -- with a probe-informed initialization, we are able to identify the multi-dimensional refusal subspace in seconds, on reasoning (Qwen 3) and non-reasoning (Qwen 2.5) models. While RFM allows for faster subspace identification, it also showed better performances on the ablation task than its alternatives. More work is planned to better understand the relations between subspaces found by different methods. If confirmed, RFM could be a cheap and scalable complement to existing subspace-extraction methods in LLMs.

arXiv:2607.00023v1cs.IR

Aligning Sentence Embeddings to Human Concepts via Sparse Autoencoders

Dense sentence embeddings are fundamental to modern Retrieval-Augmented Generation (RAG) systems but suffer from a lack of interpretability due to feature superposition. This opacity hinders the alignment of retrieval processes with human intent, as the entangled representations are difficult to analyze or control. In this work, we propose a method to disentangle the dense representations of sentence transformers (e.g., E5) into human-interpretable concepts using Top-k Sparse Autoencoders (SAEs). We demonstrate that these disentangled features align with specific semantic, syntactic, and pragmatic categories. Furthermore, we introduce an activation steering mechanism that allows for precise intervention in the retrieval process. By clamping specific latent features, we show that it is possible to re-rank search results to better align with user constraints without retraining the backbone model. Our findings suggest that SAE-based decomposition offers a viable path toward transparent and steerable neural information retrieval.

arXiv:2601.16398v3cs.CY

White-Box Sensitivity Auditing with Steering Vectors

블랙박스 입출력 테스트에만 의존하는 기존 대규모 언어 모델(LLM) 감사의 한계를 극복하기 위해, 활성화 스티어링(activation steering) 기반의 화이트박스 민감도 감사 프레임워크를 제안한다. 사법 판결·신용 평가·대학 입시·의료 진단 등 4가지 고위험 의사결정 시뮬레이션에서 이 방법은 블랙박스 평가가 편향이 없거나 미미하다고 판정하는 경우에도 보호 속성에 대한 실질적인 의존성을 일관되게 탐지했다.

arXiv:2606.29824v1cs.CL

신경 절차적 메모리: 암묵적 활성화 조종으로 LLM 에이전트 강화

Neural Procedural Memory: Empowering LLM Agents with Implicit Activation Steering

대규모 언어 모델(LLM)은 정적 솔버로서 뛰어난 성능을 발휘하지만, 이를 자율 에이전트로 전환하는 것은 여전히 어렵다. 이 전환을 위해서는 지속적인 환경 상호작용이 필요하지만, 현재의 에이전트는 필수적인 지속적 절차적 메모리가 부족하다. 기존 접근법은 주로 검색-증강 생성(RAG)을 활용하여 명시적인 텍스트 가이드라인을 모델 컨텍스트에 주입한다. 그러나 기호적 지시문에만 의존하면 텍스트-행동 불일치가 발생할 수 있으며, 올바른 태스크 수행에 필요한 내부 표현을 활성화하는 데 자주 실패한다. 이를 해결하기 위해 본 논문은 명시적 지시문 대신 암묵적 활성화 조종을 통해 에이전트 메모리를 표현하는 학습 불필요 프레임워크인 신경 절차적 메모리(NPM, Neural Procedural Memory)를 제안한다. NPM은 과거 대조 경험으로부터 절차적 기술을 증류하여 활성화 공간의 조종 벡터로 변환함으로써, 태스크 관련 신경 메커니즘을 직접 활성화하여 태스크 수행을 안내한다. 네 가지 에이전트 벤치마크에 대한 평가 결과, NPM은 명시적 텍스트 지시문을 사용하는 기준 모델과 비슷한 성능을 보인다. 또한, 암묵적 조종과 명시적 워크플로우를 결합하면 상호 보완적 이점을 제공하여 더 강건한 태스크 수행으로 이어짐을 결과가 보여준다. 표현 분석에 따르면 이러한 조종 벡터는 일관된 태스크 논리를 인코딩하며, 활성화 공간 내에 조직화된 구조를 형성한다. 이러한 발견은 암묵적 활성화 조종이 에이전트 메모리 관리를 위한 유망한 접근법임을 시사한다.

arXiv:2606.28770v1cs.AI

Mechanistic Personality Analysis of LLMs Steering Personality via Latent Feature Interventions

Large Language Models (LLMs) have demonstrated the ability to simulate human-like OCEAN personality traits in generated text. Previous efforts have focused on prompt engineering or fine-tuning to shape LLM personality. In this work, we propose a mechanistic interpretability approach that directly intervenes on the model's latent features. Our method identifies latent directions in the residual stream corresponding to a target OCEAN trait using sparse autoencoders (SAEs) and contrastive activation analysis. We formalize an additive steering vector in activation space and demonstrate how applying a small additive shift to the hidden states enhances the target trait while preserving overall language modeling performance. To determine the optimal combination of feature shifts, we explore a linear weighting heuristic with grid search optimization that balances personality expression with task performance. Our approach shows promise in controllably steering personality traits at the mechanistic level while maintaining high performance on standard benchmarks.

arXiv:2606.27786v1cs.CL

SHIFT: 검색-증강 생성에서 지식 충돌 완화를 위한 게이트 변조 활성화 스티어링

SHIFT: Gate-Modulated Activation Steering for Knowledge Conflict Mitigation in Retrieval-Augmented Generation

RAG 시스템에서 검색된 컨텍스트와 파라미터 지식 간의 충돌을 완화하기 위해, SHIFT는 백본 LLM을 고정한 채 각 Transformer 레이어의 FFN 브랜치에 경량 게이트 모듈을 삽입하여 입력에 따라 내부 활성화를 적응적으로 조절하는 프레임워크를 제안한다. 학습 가능한 파라미터의 0.01% 미만만을 GRPO로 최적화함으로써 기존 뉴런·레이어 수준 개입의 부작용 없이 6개 데이터셋에서 경쟁 기준선 대비 우수한 지식 충돌 완화 성능을 달성했다.

arXiv:2606.26982v1cs.CL

정신 건강 상호작용에서 대규모 언어 모델의 프레이밍 민감 행동 불안정성 감사

Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

정신 건강 대화에서 의미는 같아도 맥락적 프레이밍(contextual framing)에 따라 인스트럭션 튜닝(instruction-tuned) LLM의 해석적 응답 경향이 체계적으로 달라지며, 층별 프로빙(probing)과 보류 프레이밍 프로브는 이러한 행동 신호가 트랜스포머 내부 표현에 남아 있음을 보여준다. 활성화 조향(activation steering) 실험은 프레이밍 관련 표현 방향이 하위 응답 행동을 부분적으로 변조할 수 있어, 민감한 대화형 AI의 일관성·신뢰성 평가에 맥락 변화 견고성이 중요함을 시사한다.

arXiv:2606.26161v1cs.AI

채팅 모델에서 거부는 페르소나의 하류에 존재한다

Refusal Lives Downstream of Persona in Chat Models

활성화 공간에서 거부와 페르소나 특성은 각각 선형 방향으로 식별되지만 별개로 연구되어 왔으며, 실제로는 순응적 페르소나가 후기 층 표현 단계에서 거부를 게이트한다. Qwen2.5-7B-Instruct와 Llama-3.1-8B-Instruct에서 순응적 페르소나 스티어링은 Llama의 거부율을 97%에서 2%로 낮추고, 후기 층에서 페르소나 방향을 투영 제거하면 기준선 수준으로 거부가 복원된다.

arXiv:2606.26155v1cs.AI

연쇄적 선형 특징을 이용한 사이코퍼시 탐지 및 제어

Detecting and Controlling Sycophancy with Cascading Linear Features

활성화 스티어링(activation steering) 방법을 통해 모델 행동을 해석하고 제어하려면, 원하는 행동 또는 원하지 않는 행동을 명확히 보여주는 많은 대조 샘플 쌍이 필요하다. 이러한 데이터 쌍은 해석 가능성 프레임워크가 특정 행동을 담당하는 모델 특징을 얼마나 신뢰할 수 있게 탐지할 수 있는지, 그리고 따라서 모델을 해당 행동 쪽으로 또는 그로부터 멀어지게 스티어링할 수 있는 능력을 결정한다. 본 연구에서는 행동을 담당하는 연쇄적 선형 특징을 분리하는 반복적 데이터 생성 파이프라인을 제시한다. 구체적으로, 단순한 이진 샘플 쌍을 넘어 행동에 선형적으로 스케일되는 특징의 정도를 보여주는 샘플을 분리함으로써 특징의 더 나은 분리(disentanglement)가 가능함을 보인다. 우리는 사이코퍼시(sycophancy)—언어 모델이 사용자 인정을 우선시하는 경향—의 탐지 및 이로부터의 스티어링에 초점을 맞춘다. 연쇄적 샘플을 통해 발견된 사이코퍼시 특징이 선형 분리 가능한 부분공간을 형성하며, 기준선 접근법보다 원하는 행동에 더 명확히 대응하는 모델 활성화의 선택을 가능하게 함을 보인다. 또한 탐지, 결정론적 스코어링, 강건한 스티어링을 가능하게 하는 능력을 평가한 결과, 더 낮은 계산 요구량과 더 많은 해석 가능성 보장을 제공하면서 LLM-as-a-judge 및 시스템 프롬프팅(system prompting) 기준선과 동등하거나 그보다 우수한 성능을 보인다. Code & Data: https://cascading-feats.github.io/

arXiv:2606.22357v1cs.CL

ORBIT: 직교 부분공간 회전을 통한 학습 없는 다중 속성 행동 스티어링

ORBIT: Training-Free Multi-Attribute Behavioral Steering via Orthogonal Subspace Rotation

ORBIT는 SVD로 속성별 스티어링 평면을 결합 부분공간으로 묶고, 그 안에서 단일 노름 보존 회전과 토큰별 적응형 게이팅으로 여러 행동 속성을 학습 없이 동시에 제어하는 추론 시점 활성화 스티어링(activation steering) 방법이다. TraitFactory와 ToneBank에서 Llama-3.2-3B, Qwen-2.5-7B, Llama-3.1-8B에 대한 실험 결과, 기존 학습 없는 베이스라인보다 더 강하고 균형 잡힌 다중 속성 스티어링을 달성하면서 출력 일관성도 더 잘 유지한다.