국소적 희소성을 활용한 비지도 대규모 언어 모델 안전성 탐지
Local Sparsity Enables Unsupervised LLM Safety Detection
한국어 초록
대규모 언어 모델(LLM)의 배포 시점 안전성(safety) 기법은 대부분 지도학습 방식이며 안전하지 않은 학습(training) 데이터에 접근할 수 있다고 가정한다. 그럼에도 불구하고 새로운 공격과 위해 유형은 주기적으로 발생하며, 이러한 지도학습 방식으로 훈련된 모델로는 이를 포착하지 못한다. 대안적인 접근법은 이 문제를 이상치 탐지(anomaly detection)의 관점에서 바라보는 것, 즉 안전한 데이터만을 모델링하고 분포 외(out-of-distribution) 입력을 식별하는 데에만 의존하는 것이다. 그러나 LLM 활성화 값은 고차원 공간에 존재하기 때문에 이상치 탐지가 통계적으로 실현 가능한지에 대한 우려가 제기된다. 본 논문에서는 선형 표현 가설(LRH) 하에서 실제로 가능성이 있음을 보인다. 일반적으로 희소 오토인코더(SAE)를 통해 복원되는 LRH 개념 공간에서는 인접한 점들이 작고 공통된 활성 지지 집합(active support)을 공유한다. 이러한 국소적 희소성(sparsity)에 대한 통찰을 바탕으로, 이론적 근거를 갖춘 국소 마스킹 SAE 기반 이상치 탐지 프레임워크를 제안한다. 능력 평가 데이터셋과 안전성 특화 데이터셋을 모두 포함하여 다양한 아키텍처와 데이터셋에서 이를 검증한다. 마지막으로, 보정(calibration)을 위해 알고리즘이 1%의 분포 외 데이터를 사용할 수 있도록 허용했을 때, 국소적 희소성 기반 방식은 거의 최적에 가까운 성능을 달성하여 연산에 SAE 뉴런의 1-2%만을 사용하면서도 의미 있는 안전성 정보를 포착할 수 있음을 입증한다.
원문 초록
Deployment-time safety methods for large language models (LLMs) are predominantly supervised and assume access to unsafe training data. Nevertheless, new attacks and harm categories regularly arise, not captured by models trained in such a supervised fashion. An alternative approach is to view this problem through the lens of anomaly detection, namely, to rely solely on modeling safe data and flagging out-of-distribution inputs. However, LLM activations lie in a high-dimensional space, raising concerns about whether anomaly detection is statistically feasible. We show that, under the linear representation hypothesis (LRH), there may indeed be hope. In the LRH concept space, which is typically recovered via a sparse autoencoder (SAE), nearby points share a small common active support. Using this local sparsity insight, we propose a framework for locally masked SAE-based anomaly detection, supported by theoretical justifications. We validate it on various architectures and datasets, including both capability-testing datasets and safety-specific datasets. Finally, when we allow algorithms to use 1% out-of-distribution data for calibration, locally sparse methods achieve near-optimal performance, demonstrating their ability to capture meaningful safety information while using only 1-2% of SAE neurons for computation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HL-LHC에서의 이상치 탐지를 위한 학습된 이벤트 표현의 국소 진단
Local Diagnostics of Learned Event Representations for Anomaly Detection at the HL-LHC
표준 모형(Standard Model)의 예측에서 벗어나는 충돌 이벤트를 식별하는 이상치 탐지(anomaly detection)는 거대 강입자 충돌기(LHC)에서 새로운 물리 현상을 탐색하기 위한 가장 유망한 모델 비의존적 전략 중 하나입니다. 학습된 저차원 표현에서 희귀 이벤트를 탐색하면 수작업으로 설계된 관측가능량(observable)에 사전에 의존할 필요가 없어지지만, 이러한 관측가능량이 제공하는 직접적인 물리적 해석 가능성은 희생됩니다. 이상치 탐지가 실제 발견 파이프라인에 진입하려면, 표시된 이벤트를 국소적으로 진단하여 잠재적인 신물리 현상을 모델링 오류나 검출기 효과와 구별하고 표적 후속 탐색을 위한 관측가능량을 식별해야 합니다. 본 연구에서는 현실적인 고휘도 LHC(HL-LHC) 조건에서 시뮬레이션된 7억 5천만 개 이벤트 데이터셋인 COLLIDE-2V를 대상으로 지도 및 자기지도 신경망 임베딩 전략을 평가하며, 학습된 잠재 공간에서 학습된 오토인코더의 재구성 오차를 이상치 점수로 사용합니다. 고려된 여러 구성과 벤치마크 신호 전반에 걸쳐, 학습 중 시뮬레이션 프로세스 라벨을 활용하는 지도 학습 목적 함수는 일반적으로 자기지도 학습 방식보다 우수한 성능을 보였으며, 최적 구성에서는 운동학적 특징에 대해 직접 학습된 오토인코더보다 개선되어 보류된(held-out) 모든 프로세스에서 10% 배경 사건 수용률 기준 신호 효율을 향상시켰습니다. 나아가 본 연구는 표준 모형 잠재 공간에 가우시안 혼합 모델(Gaussian Mixture Model)을 적합하고, 프로세스 라벨 없이 고수준 관측가능량을 통해 각 구성 요소를 프로파일링하며, 표시된 이벤트를 국소화하고, 국소 판별력에 따라 관측가능량의 순위를 매기는 국소 진단 파이프라인을 제시합니다. 이 순위화는 보류된 프로세스의 결정적 운동학을 복원하는 한편, 이상치 점수와 동일한 관측가능량 간의 상관관계를 통해 점수가 이를 얼마나 밀접하게 추적하는지 정량화함으로써 가장 판별력이 높은 관측가능량이 점수가 가장 밀접하게 따르는 관측가능량이 아닌 경우를 밝혀냅니다.
S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구
S-Space: Exploring Spatial Workspace in Multimodal Language Models
멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.
작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식
Task Context Shapes Component Roles in Language Models
대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.
서사적 래핑이 대규모 언어 모델(LLM) 거절에 미치는 영향: 다국어 벤치마크 및 방어 기법
How Narrative Wrapping Affects LLM Refusal: A Cross-Language Benchmark and Defense
안전성(safety)이 정렬(alignment)된 언어 모델은 직접 제시된 유해한 요청은 거절하는 경우가 많지만, 롤플레잉이나 서사적 래퍼(narrative wrapper) 내에 포함된 동일한 요청에는 답변을 제공합니다. 본 연구에서는 언어와 사용역(register) 전반에 걸쳐 이러한 취약점을 측정합니다. Qwen3-1.7B에 대한 공격 성공률은 영어에서 이미 89.4%, 현대 중국어에서 93.0%에 달하며, 한문(Classical Chinese)에서는 95.7%에 이릅니다. 연구진은 이러한 취약점을 체계적으로 연구하기 위한 벤치마크인 GUISE를 구축했습니다. GUISE에는 영어, 현대 중국어, 한문으로 구성된 병렬 요청, 일치하는 유해-무해 쌍, 평가를 위해 따로 떼어둔 래퍼 유형, 그리고 경고 후 답변(warn-then-answer)하는 응답을 공격 성공으로 간주하는 보다 엄격한 기준이 포함됩니다. 표현(representation) 분석 결과, 언어와 사용역은 유해 요청 표현을 모델의 거절 방향에서 약간만 벗어나게 만드는 반면, 서사적 래퍼는 훨씬 더 멀리 벗어나게 만듭니다. 이에 연구진은 유해 요청 표현을 거절 방향과 정렬시키는 회전 목적함수, 경고 후 답변 응답 대신 완전히 거절하도록 훈련하는 확약(commitment) 목적함수를 선호도 최적화(preference optimisation)와 결합한 AXIS를 제안합니다. Qwen3-1.7B, Qwen3-4B, GLM-4-9B 전반에 걸쳐 AXIS는 비교된 방법들 중 안전성과 사용성(usability) 결합 점수에서 가장 높은 결과를 달성했습니다.
인과성이 의미론적 간극을 메우는 방법
How Causality Bridges the Semantic Gap
수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.
AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템
AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Published at NeurIPS2026