Gemma-2-2B의 잔차 스트림을 SAE(Sparse Autoencoder) 특징으로 분해하고 유해 프롬프트 토큰과 정렬된 하위 그룹을 찾는 토큰 기반 기계적 파이프라인을 제안해 jailbreak 취약성을 국지화합니다. 단일 유해 토큰만으로도 전체 클러스터 기반 그룹화와 필적하는 유해성을 유도할 수 있으며, 취약 특징 하위 그룹은 특히 중후반 레이어(14–25)에 집중된다는 인과적 증거를 제시합니다.
SAERec은 텍스트 말뭉치에서 희소 오토인코더(SAE)로 대규모 언어 모델(LLM) 임베딩을 분리해 세분화되고 해석 가능한 의도 공간을 자동 구축하고, 사용자별 개인·공용 의도를 검색해 다중 분기 어텐션(multi-branch attention)과 적응형 융합으로 시퀀스 추천에 반영하는 의도 기반 추천 모델이다. 공개 데이터셋 실험에서 최첨단 기준 모델을 일관되게 능가하면서 사람이 이해할 수 있는 설명을 제공한다.
희소 오토인코더(SAEs)는 신경망 활성화에서 사람이 해석 가능한 특징을 추출하는 데 널리 사용되지만, 학습된 특징은 랜덤 시드와 학습 설정에 따라 크게 달라질 수 있습니다. 안정성을 향상시키기 위해 인코더와 디코더 가중치에 L1 또는 L2 페널티를 추가하는 가중치 정규화를 연구하였고, 정규화가 일반적인 SAE 학습 기본 설정과 어떻게 상호작용하는지 평가했습니다. MNIST에서 L2 가중치 정규화는 고도로 정렬된 특징들의 핵심(core)을 생성하며, tied 초기화와 단위 노름(unit-norm) 디코더 제약 조건과 결합될 경우 시드 간 특징 일관성을 획기적으로 증가시킴을 확인했습니다. 언어 모델 활성화(Pythia-70M-deduped)로 학습된 TopK SAE의 경우, 작은 L2 가중치 페널티를 추가하면 세 개의 랜덤 시드에 걸쳐 공유되는 특징의 비율이 증가하고 스티어링 성공률이 대략 두 배로 증가하며, 자동화된 해석 가능성 점수의 평균은 본질적으로 변하지 않음을 확인했습니다. 마지막으로, 정규화된 설정에서 활성화 스티어링의 성공은 자동 해석 가능성 점수에 의해 더 잘 예측되며, 이는 정규화가 텍스트 기반 특징 설명을 기능적 제어 가능성과 정렬할 수 있음을 시사합니다.
생성형 AI 에뮬레이터는 이미 강력한 이론, 벤치마크, 물리적 직관이 존재하는 과학 분야에서 점점 더 많이 사용되고 있습니다. 이는 중요한 평가 및 해석 가능성 질문을 제기합니다. 파운데이션 스타일 모델이 알려진 연속체 역학을 재현할 수 있을 때, 어떤 내부 메커니즘이 그 동작을 지원하는지, 내부 동작이 알려진 물리학과 일치하는지, 그리고 이것이 에뮬레이터가 성공하거나 실패하는 지점과 어떤 관련이 있는가입니다. 우리는 물리적 원칙에 의해 안내되는 기계적 해석 가능성을 사용하여, 연속체 역학을 위한 교차 도메인 파운데이션 모델인 Polymathic의 Walrus를 조사합니다. 우리는 희소 오토인코더(SAE)를 적용하여 선택된 층을 프로브하고, 엔스트로피(enstrophy)를 물리적으로 근거 있는 지표로 사용하여 대규모 특징 집합(20,000개 이상)을 선별하는 실제적인 과제를 해결합니다. 의도적으로 단순화된 테스트베드로서, 우리는 전단 유동(shear flow)에 초점을 맞추고 여러 전단 유동 설정, 즉 수치 시뮬레이션의 매개변수 값에 걸쳐 특징 동원을 비교합니다. 설정에 걸쳐 우리는 구간별 일관성의 증거를 발견했으며, 특징의 부분집합이 유사한 역할로 재발하지만, 이 구조는 간헐적이며 표준 물리적 분해에 깔끔하게 매핑되지 않습니다. 병행하여, 수치 시뮬레이션과 에뮬레이터 간의 직접적인 비교는 에너지/구조가 너무 확산되거나 너무 국지화되는 영역을 포함하여 체계적인 출력 수준 불일치를 드러냅니다. 우리는 이러한 불일치의 일부를 특정 SAE 특징 사용의 변화와 연결합니다. 우리의 작업은 과학적 파운데이션 모델에 대한 미해결 과제를 강조합니다. 기계적으로 의미 있는 특징을 어떻게 견고하게 우선순위로 지정하는지, 안정적인 구조를 분석 인공물(단일 층 및 SAE 한계 포함)과 어떻게 분리하는지, 그리고 "다른" 내부 표현이 단순히 효과적인 것이 아니라 진정으로 정보성 있는 것인지를 결정하기 위해 확립된 벤치마크를 어떻게 사용하는지에 대한 것입니다.
대규모 언어 모델(LLM)의 영어 중심 편향을 해소하기 위해, 언어 특정 뉴런을 식별하고 조작하여 힌디어나 스페인어를 기본 언어로 설정하는 Neural FOXP2를 제안합니다. 희소 자동 인코더(SAE)와 특이값 분해(SVD)를 통해 뉴런을 국소화하고 조정 방향을 결정하여, 모델의 언어 기본 설정을 제어 가능하게 만듭니다.
언어 모델의 잔차 스트림(residual stream)에서 특징이 섞이고 복제되는 문제를 해결하기 위해, 이산 벡터 양자화 병목을 통해 하위 레이어 표현을 상위 레이어로 매핑하여 중복된 특징을 해석 가능한 개념 벡터로 압축하는 CLVQ-VAE를 제안한다. 제안된 방법은 기존 기법들보다 개념 제거 시 모델 정확도를 최대 93%까지 감소시키고 인간 평가자의 예측 복원 정확도를 78%로 향상시키는 등 우수한 성능을 보였다.
대규모 언어 모델(LLM)은 작업과 정렬되지 않은 활성화 조종(activation steering)으로부터 생성 도중 복구하여, "잠깐, 그건 틀렸어"와 같은 명시적인 언어적 재시작을 생성하고 조종 섭동이 활성화된 상태로 유지되더라도 주제에 맞게 계속할 수 있습니다. 우리는 이를 내재적 조종 저항(Endogenous Steering Resistance, ESR)이라고 명명합니다. 희소 오토인코더(SAE) 잠재 변수(latent)를 사용하여 모델 활성화를 조종한 결과, Llama-3.3-70B는 \llamaseventyEsrRate\%의 비율로 명시적인 ESR을 보여주는 반면, Llama-3 및 Gemma-2 계열의 더 작은 모델들은 명시적인 형태를 덜 자주 보여주었습니다. 두 가지 통제 조건을 통해 ESR을 감지 이벤트와 지속적 저항 구성 요소로 분리했으며, 이는 최근 주제 관련 토큰에 대한 조건부 설정만으로는 완전히 설명되지 않습니다. 우리는 대조적 주제 관련/주제 벗어남 검색을 통해 \numOtdLatents{}개의 SAE 잠재 변수를 식별했습니다. 이들을 제로 어블레이션(zero-ablation)하면 다중 시도율이 \multiAttemptReductionPct\% 감소하며, 무작위 잠재 변수 및 홀드아웃 프롬프트 통제 조건은 이 결과의 특이성을 뒷받침합니다. ESR은 메타 프롬프팅(meta-prompting)과 합성 자가 교정 예시에 대한 미세조정(fine-tuning)을 통해 의도적으로 강화될 수도 있습니다. ESR은 안전성(safety)에 대해 이중적인 시사점을 갖습니다. 모델이 이 둘을 구별할 방법이 없기 때문에, ESR은 적대적 활성화 공간 조작에 대해 모델을 강화할 수 있지만 동시에 유익한 조종 기반 개입을 방해할 수도 있습니다. 코드는 https://github.com/agencyenterprise/endogenous-steering-resistance 에서 확인할 수 있습니다.
널리 사용되는 자동 음성 인식(ASR) 모델인 Whisper는 환각(hallucination) 문제로 알려져 있는데, 이는 입력과 전혀 무관한 비음성 오디오에 대해 일관된 전사가 생성되는 현상이다. 우리는 Whisper의 내부 표현을 통해 환각을 탐지하고 완화할 수 있는지 조사한다. 오디오 인코더의 활성화를 추출하고 두 가지 표현 공간, 즉 Whisper의 원시 활성화와 희소 오토인코더(SAE) 잠재 표현을 평가한다. 두 공간 모두 선형 분리 가능한 환각 관련 정보를 인코딩하며, 판별력이 희소한 특징 부분집합에 집중되어 있고 더 깊은 인코더 레이어로 갈수록 증가함을 보인다. 우리는 활성화 공간 스티어링과 SAE 잠재 공간 스티어링의 두 가지 스티어링 전략을 제안한다. SAE 기반 스티어링은 전체 비음성 테스트 세트에서 Whisper small의 환각률을 72.63%에서 14.11%로, Whisper large-v3의 환각률을 86.88%에서 27.33%로 감소시키며, 음성 데이터에서는 단어 오류율(WER)의 소폭 저하만 발생하여 미세조정 기반 방법의 성능에 근접한다.
AI 에이전트는 고위험 기업 워크플로우에서 유망하지만, 도구 사용 실패를 진단하고 제어하기 어렵기 때문에 신뢰할 수 있는 배포는 여전히 제한적입니다. 에이전트는 필요한 도구 호출을 건너뛰거나, 불필요하게 도구를 호출하거나, 실행 후에야 그 결과가 드러나는 행동을 취할 수 있습니다. 기존의 관찰 가능성(observability) 방법은 외부적입니다. 프롬프트는 상관관계를 보여주고, 평가는 출력에 점수를 매기며, 로그는 모델이 이미 행동한 후에야 도착합니다. 장기적인(long-horizon) 설정에서 이러한 실패는 비용이 많이 듭니다. 초기 도구 실수가 나머지 궤적을 변경하고, 토큰 소비를 증가시키며, 후속 안전 및 보안 위험을 초래할 수 있기 때문입니다. 우리는 활성화(activation)를 희소 내부 특징으로 분해하는 희소 오토인코더(Sparse Autoencoders, SAEs)와 해당 특징에서 신호를 읽는 경량 분류기인 선형 프로브(linear probe)를 기반으로 구축된 기계적 해석 가능성(mechanistic-interpretability) 툴킷을 소개합니다. 이 프레임워크는 각 행동 전 모델 상태를 읽고 도구가 필요한지 여부와 다음 도구 행동의 위험도를 추론합니다. 도구 결정과 가장 관련된 모델 층(layer)과 특징(feature)을 식별하고 특징 소거(feature ablation)를 통해 그 기능적 중요성을 테스트합니다. 우리는 NVIDIA Nemotron 함수 호출 데이터셋(dataset)의 다단계 궤적에서 프로브를 학습시키고, 동일한 워크플로우를 GPT-OSS 20B 및 Gemma 3 27B 모델(model)에 적용합니다. 이 목표는 외부 평가를 대체하는 것이 아니라, 행동 전 모델이 내부적으로 신호를 보낸 내용에 대한 가시성이라는 누락된 계층을 추가하는 것입니다. 이는 에이전트(agent) 실패의 더 깊은 원인을 드러내는 데 도움을 주며, 특히 초기 실수가 후속 에이전트 행동에 영향을 미칠 수 있는 장기 실행(long-horizon)에서 유용합니다. 더 넓게 보면, 본 논문은 기계적 해석 가능성이 에이전트 시스템에서 도구 호출과 위험을 모니터링하기 위한 내부 관찰 가능성을 어떻게 지원할 수 있는지 보여줍니다.