대규모 언어 모델(LLM)은 관습적 표현을 쉽게 재현할 수 있지만, 그래디언트 빈도 분포를 모델링하는 능력은 아직 충분히 탐구되지 않았다. 우리는 men and women과 같은 언어학적 이불(binomial)을 사용하여 이를 조사한다. 두 단어 순열 모두 문법적으로는 타당하지만, 관습성에서는 언어 간에 뚜렷한 차이를 보인다. 이불 순서를 분포 정렬(distributional alignment) 문제로 형식화하고, 8개 언어에 걸친 600개의 이불 쌍으로 구성된 다국어 데이터셋을 구축한다. 범주형 및 분포 지표를 사용하여 코퍼스에서 도출된 선호를 6개의 오픈 가중치 LLM이 유도한 순서 확률과 측정·비교한다. 모델은 특히 강하게 관습화된 쌍에 대해 코퍼스에서 우세한 선호 순서를 행동적으로 자주 복원하지만, 정확한 코퍼스 선호 분포와는 덜 잘 정렬된다. 이는 표면적인 방향성 순서가 LLM이 언어 사용의 통계적 미묘함을 얼마나 충실히 포착하는지를 과대평가한다는 것을 시사한다. 희소 프로빙(sparse probing)을 통해 선호 강도 개념이 중간~후기 층에 부분적으로 인코딩되어 있음을 확인했으며, 프로브에서 도출된 방향을 따라 스티어링(steering)하면 모델이 유도한 순서 분포가 바뀌어, LLM의 통계적 행동 선호를 내부 표상을 통해 기계적으로 측정하고 조작할 수 있음을 보여준다.
모호하거나, 사양이 불충분하거나, 상호 모순되는 질의를 포함하는 부적정 질문은 유효한 답이 없거나 여러 그럴듯한 답을 허용할 수 있으며, 이는 대규모 언어 모델(LLM)에게 도전 과제가 된다. 기존 접근법은 대체로 모델 출력을 통해 부적정성(ill-posedness)을 분석하며, 종종 특정 하위 부류에만 초점을 맞춘다. 우리는 다양한 부적정성 원인이 LLM 내부 상태의 통합된 위상(topology) 내에 표현될 수 있는지, 그리고 이러한 구조가 응답 행동을 스티어링하는 데 사용될 수 있는지를 조사한다. 우리는 각 트랜스포머 층에서 프롬프트 토큰의 문맥 은닉 상태를 점군(point cloud)으로 모델링하고, 유한 0차원 지속적 호몰로지(finite zero-dimensional persistent homology)를 사용하여 그 기하학적 특성을 기술한다. 각 층은 세 가지 간결한 기술자(descriptor)로 요약된다: 평균 유한 수명(mean finite lifetime), 정규화된 수명 엔트로피(normalized lifetime entropy), 최대 수명 집중도(largest-lifetime concentration). 층 전반에 걸쳐 이러한 기술자를 연결(concatenate)하면 질문의 위상 표현이 얻어진다. 또한, 위상 조건화 활성화 스티어링(topology-conditioned activation steering)을 도입한다. 이는 위상적으로 유사한 예시를 검색하고, 출처 인식(source-aware) 명확화 또는 기권(abstention)을 유도하는 질의별 활성화 개입(activation intervention)을 구성한다. 세 개의 오픈 가중치(open-weight) LLM에 걸쳐, 위상 특징은 부적정성 분류에서 프롬프트 기반 및 풀링된 은닉 상태(pooled-hidden-state) 베이스라인을 일관되게 능가하며, AmbigQA에서 평균 정확도를 \(67.4\%\)에서 \(78.9\%\)로, SituatedQA에서 \(79.9\%\)에서 \(88.5\%\)로, CLAMBER 9-way 분류에서 \(57.6\%\)에서 \(69.6\%\)로 향상시킨다. 위상 조건화 스티어링은 평균 총 허용 가능 응답률을 \(61.4\%\)에서 \(70.6\%\)로, 그라운딩된(grounded) 허용 가능 응답을 \(11.9\%\)에서 \(16.4\%\)로 증가시킨다. 이 결과는 지속적 호몰로지가 부적정성에 대한 해석 가능한 표현과 목표화된 응답 스티어링을 위한 효과적인 메커니즘을 모두 제공함을 보여준다.
추론 시점 공학(inference-time engineering)은 미세조정 없이 모델 행동을 바꿀 수 있다. 그러나 의료 비전-언어 모델(VLM)에서 진단 성능을 개선하는 데 있어 그 유용성은 아직 불분명하다. 우리는 대조적 활성화 추가(Contrastive Activation Addition, CAA)가 모델 가중치를 갱신하지 않고도 흉부 방사선 영상 VLM에서 폐렴 분류를 개선할 수 있는지 평가하는 것을 목표로 한다. 세 가지 동결(frozen) 흉부 방사선 영상 VLM(MedGemma-4B-IT, NV-Reason-CXR-3B, CheXOne-3B)을 공개 Kermany 폐렴 테스트 세트에서 평가했다. 분류는 이진 프롬프트 하에서 Yes 및 No 토큰의 로짓(logits)에 기반했다. 조향 벡터(steering vectors)에는 30쌍의 답변 바이어스(answer-bias) 제어, 30쌍의 폐렴 텍스트 대조, 30장의 폐렴 및 30장의 정상 개발(development) 영상에서 도출한 영상 조건부 대조가 포함되었다. 층 및 스케일 선택(100장)과 임계값 교정(100장)에는 결정론적 200장 개발 세트를 사용했다. 성능은 ROC-AUC, PR-AUC, F1 점수, 임계값 분석, 역벡터 제어, 무작위 벡터 제어, 조건부 부트스트랩 신뢰구간으로 평가했다. 고정 임계값 F1 개선은 빈번히 관찰되었으나 진단 성능의 개선을 일관되게 나타내지는 않았다. MedGemma-4B-IT의 경우. NV-Reason-CXR-3B에서 가장 큰 이점이 관찰되었다: 교정 F1은 제로샷(zero-shot) 설정에서 0.7692에서 폐렴 텍스트 조향으로 0.8619, 영상 조건부 조향으로 0.8727까지 개선되었다. CheXOne-3B의 경우, 폐렴 텍스트 조향으로 교정 F1이 0.8528에서 0.8666으로 증가했으나 신뢰구간이 0을 가로질렀다. 이 공개 폐렴 벤치마크에서 CAA는 미세조정 없이 예측 점수 분포와 운영 특성을 상당히 변경했다. 평가된 세 VLM 중 하나에서 의미 있는 성능 향상이 관찰되었으며, 이는 활성화 조향(activation steering)이 의료 VLM 행동을 적응시키는 경량 접근법으로 작용할 수 있음을 시사한다.
불안전한 코드로 언어 모델을 미세조정하면 내부 구조가 명확히 이해되지 않은 창발적 오정렬이 유발됩니다. 우리는 이러한 오정렬이 아키텍처 전반에 걸쳐 공유되는 인과적으로 조작 가능한 활성화 공간 방향에 해당하는지 조사합니다. 동일하게 미세조정된 4개의 인스트럭션 튜닝된 모델 계열(Qwen2.5-1.5B, Gemma-2-2B, Llama-3.2-1B, Ministral-3-3B)에서 평균 차이 방향은 각 모델의 마지막 층에서 정렬된 활성화와 오정렬된 활성화를 99.6% 분리해냅니다. 이 방향을 제거하여 인과적 조향(causal steering)을 수행하면 코드 유출이 21~51포인트 감소하며, 안전한 코드 통제(secure-code control)는 콘텐츠 특이성을 확인해 줍니다. 리지 회귀(ridge regression) 맵을 통한 아키텍처 간 전이는 큰 폭의 행동 억제(최대 46포인트)를 이끌어내지만, 무작위 방향과 직교 방향이 유사한 성능을 보여 특이성 통제에는 실패합니다. 우리는 2계층 특이성 구조를 확인했습니다. 모델 내 방향은 인과적으로 특이하며 조작 가능한 반면, 모델 간 방향은 인과적으로 실재하긴 하지만 비특이적입니다. 비대칭적인 전이 위상(topology)이 나타나며, 여기서 Gemma와 Qwen은 기하학적 공여자로, Llama는 수신자로 작용합니다. 이러한 발견은 선형 아키텍처 간 보정의 한계를 정의하며, 감사(auditing)를 위해 모델 내 프로빙을 수행할 것을 권장합니다.
액티베이션 스티어링(activation steering)은 재학습 없이 추론 시간에 중간 은닉 상태를 수정하여 모델 행동을 제어합니다. 기존 방법은 단일 방향 주입만 처리할 수 있으며, 제약 조건 없이 다중 의미 방향이 중첩되면 모델이 붕괴합니다. 우리는 이러한 붕괴가 두 가지 독립적으로 작용하는 원인으로 분해됨을 보여줍니다: 가산적 섭동이 층을 거치며 놈(norm)이 누적되어 활성화를 학습 분포 밖으로 벗어나게 하는 분포 편차(distributional deviation)와, 직교하지 않은 의미 벡터가 중첩될 때 상호 감쇠되는 방향 간섭(directional interference)이 그것입니다. 이 두 가지 원인은 모든 무학습(training-free) 다중 방향 개입이 해결해야 할 설계 제약 조건을 정의합니다. 이러한 원칙의 구체적인 예로, 우리는 각 원인을 해당하는 기하학적 제약 조건에 매핑하는 무학습 방법인 GEMS를 제안합니다: 분포 편차에 대해서는 놈 보존 가중 중첩과 표적화된 어텐션(attention) 경로 주입을, 방향 간섭에 대해서는 실시간 직교화를 적용합니다. GSM8K에서 세 가지 동시적인 비수학적 방향을 주입했을 때 정확도는 98%(기준선 92%)로 유지되는 반면, 제약 없는 추가는 4%로 붕괴합니다. Wikitext-2에서 동일한 주입은 PPL(혼란도) 증가를 2.2%로만 유발합니다. 구성 요소 제거 실험은 각 제약 조건의 인과적 역할을 분리해 보여주며, 층 수준 프로브는 직교화된 신호가 FFN 경로에서 유지되어 의미적 특이성을 가진 채 출력 분포에 도달함을 확인합니다. 정성적 조종 효과는 3B에서 31B에 이르는 아키텍처 전반에서 전이됩니다.
정렬된 언어 모델은 거절 및 언어 라우팅과 같은 행동을 희소 피드포워드 뉴런을 통해 게이트(gate)하지만, 단일 뉴런 개입이 출력을 붕괴시키는 대신 행동을 일관되게 제어하는 시점을 예측하는 이론은 없습니다. 우리는 단일 뉴런 조향을 위한 예산 정규화(budget normalized) 제어 창 프레임워크를 개발했습니다. 하나의 쓰기(write) 방향에 대한 투여량(dose)은 하나의 제어 좌표로 축소됩니다: 이는 잔차 스트림(residual stream)과 쓰기 사이의 정렬(alignment)로, 잔차 노름(norm)을 쓰기 노름으로 나누어 설정된 일관성 예산(coherence budget) 단위로 보편적 포화 곡선을 따라 구동됩니다. 행동 트리거(trigger)가 붕괴 천장(collapse ceiling) 아래에 있을 때 일관된 제어가 존재합니다. 동일한 좌표는 양성 모드 전환과 거절을 모두 제어합니다. 천장은 가중치와 하나의 일반적인 순전파(forward pass)에서 도출되는 반면, 트리거는 롤아웃(rollout)에서 측정됩니다. 15개의 홀드아웃(held out) 뉴런에 대해 예측된 천장의 평균 절대 오차는 0.14이며, 대부분의 레이어에서는 약 0.07입니다. 확정된 열림 또는 닫힘 판정은 15개 중 10개의 다수결 기준선(baseline) 대비 11개에서 유지됩니다. 닫힌 사례는 위반보다는 세 가지 실패 모드를 보여줍니다: 트리거 이전의 붕괴, 전파할 깊이가 부족함, 또는 하나의 뉴런이 밀어낼 수 있는 거리를 제한하는 정규화(normalization)입니다. 이 법칙은 지역 그래디언트(gradient) 귀속이 제어를 반대로 예측하는 이유를 설명합니다: 진정한 컨트롤러는 리드아웃 축(readout axis)에서 벗어나 쓰기(write)하며 거의 0에 가까운 1차 그래디언트를 가집니다. 창(window)에 의해 정밀해진 순전파(forward pass) 전용 대비 스크린(screen)은 귀속이 놓치는 컨트롤러를 회복합니다. 가장 어려운 사례인 거절의 경우, 개입 성공은 스칼라가 아닌 유형(typed)입니다: 일관된 우회와 엄격한 실행 가능 도달 범위(actionable reach)가 분리되므로, 뉴런은 실행 가능한 콘텐츠 없이 유창하고 과제에 부합하는 텍스트에서 거절을 뒤집을 수 있으며, 진정한 실행 가능 도달 범위는 감사된 6개의 Llama 피벗(pivot) 중 3개에서만 후기 롤아웃(rollout) 지평에서 나타납니다. 따라서 단일 뉴런 조향은 고정된 투여량(dose)에 대한 일화가 아니라, 제어 가능성에 대한 예산이 책정되고 유형이 부여된 감사(audit)입니다.
트랜스포머 기반 아키텍처는 복잡한 기호 시퀀스 생성을 크게 발전시켰으나, 이산 신호 속성에 대한 세밀하고 해석 가능한 제어를 달성하는 데에는 여전히 큰 격차가 존재합니다. 본 논문은 멀티트랙 뮤직 트랜스포머(MMT)의 기계적 해석 가능성을 조사하고, 추론 시점 활성화 조향(activation steering)을 통해 이 격차를 해소하기 위한 재학습 없는 결정론적 속성 변조 프레임워크를 제안합니다. 평균 차이(DiffMean) 방법론을 활용하여, 잔차 스트림 내에서 신호 속성, 구체적으로 피치(Pitch)와 지속 시간(Duration)에 대한 잠재 방향을 분리합니다. 우리는 이 영역에서 선형 표현 가설을 검증하여, 조향 크기와 속성 변화 사이의 높은 상관관계를 달성했습니다. 다중 속성 조향에서 발생하는 내재된 특징 얽힘을 해결하기 위해, 그람-슈미트 직교화(Gram-Schmidt Orthogonalization)를 활용하는 듀얼 스티어링 프레임워크를 도입합니다. 실험 결과, 이 기하학적 분리가 단순 벡터 덧셈과 비교하여 개념적 간섭과 신호 열화를 줄여줌을 보여주며, 강력한 자기회귀 조건 하에서도 독립적인 결정론적 제어를 가능하게 합니다.
긴 사고의 연쇄(Chain-of-Thought)로 학습된 추론 LLM은 종종 과도하게 사고하는 경향이 있습니다. 이는 정확도를 높이지 못한 채 비용만 증가시키는 중복된 반성과 전이에 토큰을 소비하는 결과를 낳습니다. 정적 활성화 조종(예: SEAL)은 고정된 벡터를 사용하여 이러한 내용을 억제하지만, 현재 청크의 실제 중복 정도와 관계없이 동일한 강도를 적용합니다. 본 논문에서는 가벼운 청크 수준 중복 분류기가 구동하는 PID 컨트롤러를 통해 조종 강도를 조절하는 학습 불필요한 디코딩 타임 방법인 PID-steering을 제안합니다. DeepSeek-R1-Distill-Qwen-1.5B 모델을 사용하여 GSM8K 데이터셋의 일부를 실험한 결과, 본 방법은 정확도를 85.7%에서 89.6%(+3.9%p)로 향상시키는 동시에 평균 출력 길이를 1026 토큰에서 790 토큰(-23%)으로 단축했습니다. 이 결과는 벤치마크 결과라기보다는 소규모 개념 증명(proof of concept)으로 보고됩니다.
활성화 조종(activation steering)은 대규모 언어 모델(LLM)의 동작을 변경할 수 있지만, 표준 평가 방식은 일반적으로 아첨(sycophancy) 감소 방향이 사실적으로 올바른 진술에 대한 동의도 억제하는지 여부를 테스트하지 않습니다. 우리는 각 주제에 대한 두 가지 입장을 모두 테스트하는 이중 입장 평가(dual-stance evaluation)를 소개하고, 이를 Llama-3-8B-Instruct에 적용된 중심점 차이 조종(centroid-difference steering)에 적용합니다. 우리는 분리(dissociation) 현상을 발견했습니다: 모델은 아첨적인 동의와 사실적 동의를 기하학적으로 구별되는 부분 공간에 표현하지만, 조종 방향은 두 공간에 동일하게 투영되어 어느 한쪽을 차별적으로 타겟팅할 수 없습니다. 따라서 해당 방향은 아첨적인 진술뿐만 아니라 사실적으로 올바른 진술(예: 지구는 둥글다는 사실)에 대한 동의도 감소시킵니다. 두 활성화 그룹의 다른 모든 정적 속성은 일치하며, 이는 행동적 분리가 생성 동역학(generation dynamics) 또는 잔차 스트림(residual-stream) 분석이 해결할 수 없는 더 세밀한 구조에서 비롯됨을 시사합니다. 이 패턴은 일반적인 격차를 보여줍니다: 활성화(activation)에서 판독 가능한 표현이 이를 통해 기록 가능한 것은 아닐 수 있습니다.
대규모 언어 모델(LLM)의 출력을 제어하는 것은 신뢰할 수 있는 배포를 위한 핵심 과제이지만, 관련된 상충 관계에 대한 명확한 이해는 여전히 모호합니다. 현재 컨디셔닝 접근 방식들은 종종 대상 개념을 주입하거나 제거하는 효과성에만 좁게 초점을 맞춰 평가되며, 생성 품질은 간과되곤 합니다. 우리는 개념 주입 및 제거 시나리오 모두에서 다양한 컨디셔닝 방법들을 체계적으로 조사했습니다. 그 결과, 효율적인 스티어링 방법들이 종종 유창성을 크게 희생하면서 컨디셔닝을 달성함을 발견했습니다. 또한, 학습 패러다임과의 중요하지만 이전에 간과되었던 상호작용을 확인했습니다: 활성화 스티어링 방법들은 베이스 모델에 비해 인스트럭션 튜닝된 모델에서 훨씬 덜 효과적입니다. 반면, 간단한 프롬프팅과 완전한 지도 미세조정은 개념 주입에는 실행 가능한 옵션이지만, 개념 제거에는 그다지 효과적이지 않습니다. 마지막으로, 저렴하게 계산된 텍스트 메트릭스는 비용이 많이 드는 LLM-as-judge 점수와 높은 상관관계를 보이며, 컨디셔닝 방법의 동작에 대한 통찰을 제공합니다.
활성화 스티어링(activation steering)은 추론 시점에 언어 모델의 동작을 제어할 수 있는 가벼운 접근 방식을 제공하지만, 그 성공 여부는 프롬프트, 개념, 모델, 스티어링 구성에 크게 의존합니다. 성공적인 스티어링의 영역(regime)과 경계를 찾는 것은 일반적으로 비용이 많이 드는 그리드 탐색(grid searches)과 전체 자기회귀 롤아웃(autoregressive rollouts)에 대한 사후 평가가 필요합니다. 본 연구에서는 생성 프로세스의 초기, 예를 들어 처음 몇 개의 토큰을 생성한 후 모델의 내부 상태에서 조종 가능성(steerability)을 예측할 수 있는지, 그리고 이러한 예측기를 활용하여 스티어링 성공률을 높이는 방법을 조사합니다. 이를 위해 먼저 150개의 개념을 아우르며 각 스티어링의 성공/실패가 라벨링된 140만 개의 스티어링 생성을 포함하는 테스트베드인 ASTEER를 소개합니다. 이 테스트베드를 활용하여, 레이어와 초기 디코딩 단계에 걸쳐 스티어링 전후의 은닉 상태를 비교하는 특징을 추출함으로써 모델의 초기 디코딩 역학을 분석합니다. 이러한 특징들은 스티어링의 효과가 레이어와 토큰 위치를 따라 어떻게 전파되는지 이해하는 데 도움을 주며, 이는 조종 가능성 예측을 위한 핵심 정보를 제공합니다. 그런 다음 이러한 특징에 대해 그래디언트 부스팅 결정 트리(GBDT) 분류기를 훈련하여, 전체 롤아웃 없이 개입이 과소 조종(under-steer), 성공, 또는 과도 조종(over-steer)될지 예측합니다. 우리의 예측기는 보이지 않는(unseen) 개념에 대해 약 0.7의 macro-F1 점수를 달성하여, 초기 은닉 상태가 궁극적인 스티어링 효능에 대한 상당하고 구조화된 정보를 인코딩함을 입증합니다. 또한 이 조종 가능성 예측기를 스티어링 강도 탐색을 위한 가이드로 활용하여, 디코딩 비용의 일부만으로 최적에 근접한 성능을 달성합니다.
대규모 언어 모델(LLM)은 다양한 문화적 맥락에 배포되지만, 종종 학습 데이터에서 물려받은 동질화된 가치를 반영합니다. 문화적 정렬에 대한 평가는 일반적으로 설문조사 스타일의 질문을 통한 직접 프롬프팅에 의존하는데, 이는 종종 중립적이거나 안전성 정렬된 응답을 유도하고 모델의 근본적인 선호도를 포착하는 데 실패합니다. 우리는 세계 가치관 조사(WVS)의 두 가지 인글하트-웰철 축을 따라 LLM 내 잠재적인 문화적 표현을 프로빙하고 조종하는 프레임워크를 제안합니다. 사회적 가치 질문을 시나리오 기반의 행동 딜레마로 변환하여, 우리는 암묵적 가치를 측정하기 위해 토큰 수준 확률을 추출하고 재학습 없이 모델 행동을 변화시키기 위해 활성화 조종(activation steering)을 적용하며, 필요에 따라 국가 조건부 프롬프팅과 결합합니다. 세 가지 오픈 소스 LLM과 네 가지 목표 문화에 걸쳐, 우리는 조종 가능성에서 상당한 변화를 발견하고 잠재적 얽힘(latent entanglement)을 식별했는데, 여기서 한 문화적 차원에 대한 개입이 다른 차원에서의 변화를 유도합니다. 이러한 결합은 인간 WVS 데이터의 상관관계를 반영하며 활성화, 프롬프트 및 하이브리드 조종 전반에 걸쳐 지속됩니다. 이는 축 독립적 정렬을 제한하지만, 일반적인 작업 성능은 대체로 유지됩니다.
전이중 음성 언어 모델(FD-SLMs)은 모델이 동시에 듣고 말할 수 있게 하여 매끄러운 음성 상호작용을 가능하게 하지만, 청취와 발화를 조율하는 내부 메커니즘은 아직 충분히 탐구되지 않았습니다. 우리는 FD-SLM 은닉 표현에 인코딩된 예측 행동을 분석하여, 이들이 스트림별 예측 패턴을 나타냄을 발견했습니다. 즉, 청취 중에는 들어오는 사용자 스트림을 우선적으로 예측하고, 발화 중에는 모델 출력 스트림을 우선적으로 예측합니다. 이 관찰을 바탕으로 우리는 FD-SLM이 모델 출력 생성과 정렬된 생성 상태와 들어오는 사용자 입력과 정렬된 지각 상태라는 두 가지 상태 사이에서 내부 예측 초점을 동적으로 조절함을 보여줍니다. 그러나 이러한 조절은 대화 맥락의 급격한 변화에 뒤처질 수 있습니다. 사용자 인터럽션(끼어들기) 동안 모델은 지각 상태로 전환하기 전까지 일시적으로 생성 상태로 편향되어 있어, 들어오는 입력의 시작을 놓치게 됩니다. 우리는 이 지연된 내부 전이를 상태 관성이라고 명명합니다. 그 하류 영향을 정량화하기 위해, 우리는 사용자 음성이 갑자기 시작될 때 즉각적인 인터럽션 이해를 평가하는 진단 벤치마크인 제로 버퍼 벤치마크(ZBB)를 소개합니다. 우리는 응답 정확도와 첫 단어 출현율(IWOR)을 사용하여 이 설정을 평가합니다. 마지막으로, 우리는 추가적인 계산 오버헤드가 거의 없는 학습 없는 개입인 지각 벡터를 통한 활성화 조종을 통해 상태 관성을 완화합니다. 여러 최첨단 FD-SLM에 걸쳐, 활성화 조종은 인터럽션 처리를 실질적으로 향상시킵니다. 예를 들어, PersonaPlex에서는 미세조정 없이 정확도를 28%에서 45%로, IWOR을 40%에서 72%로 향상시켰습니다.
멀티모달 대규모 언어 모델(MLLM)의 머신 언러닝(MU) 과정에서 생성 품질 저하 및 환각 문제를 해결하기 위해 활성화 스티어링과 강화 언러닝을 결합한 ASRU 프레임워크를 제안한다. Qwen3-VL 실험 결과, 해당 방법은 학습 취소 효과를 평균 24.6% 향상시키고 생성 품질을 5.8배 개선하면서 모델의 유용성을 효과적으로 유지했다.
대규모 언어 모델(LLM)의 영어 중심 편향을 해소하기 위해, 언어 특정 뉴런을 식별하고 조작하여 힌디어나 스페인어를 기본 언어로 설정하는 Neural FOXP2를 제안합니다. 희소 자동 인코더(SAE)와 특이값 분해(SVD)를 통해 뉴런을 국소화하고 조정 방향을 결정하여, 모델의 언어 기본 설정을 제어 가능하게 만듭니다.
대규모 오디오-언어 모델(LALMs)은 오디오 이해에 탁월하지만, 오디오 신호 내에서 어디에 어텐션을 기울이는지는 거의 드러내지 않습니다. 우리는 오디오를 고정한 상태에서 서로 다른 인스트럭션이 포함된 프롬프트들의 활성화(activation)를 대조하여 조종 벡터를 구축하는 인스트럭션 기반 벡터 조종을 소개합니다. LALM 어텐션에 대한 체계적인 탐색을 통해, 우리는 표준 프롬프팅이나 오디오 기반 조종과 달리 이 개입이 오디오 토큰에 할당된 시간적 어텐션을 상당히 재분배하여 음향적으로 관련 있는 영역에 집중시킨다는 것을 발견했습니다. 그 후 우리는 이 어텐션 변화가 행동적으로 의미 있음을 보여줍니다: 제어된 세 가지 사건 설정에서, 조종에 의해 유발된 최대 어텐션 변화의 시간적 위치를 읽어오는 것은 추가 학습 없이 질의된 사운드 이벤트의 위치를 복원하며, Qwen2-Audio 및 Audio Flamingo 3에서 각각 60.87%와 68.72%의 정답 구간(ground-truth intervals)과의 중첩률을 달성하여 직접 프롬프팅(31.84%, 46.75%) 및 무작위 기준선(27.74%)보다 훨씬 높은 성능을 보였습니다. 우리의 결과는 LALM에서 인스트럭션 기반 조종의 기계적 속성을 특성화하고, 이 모델들이 인코딩하는 잠재적 시간 구조를 위한 학습이 필요 없는 프로브(probe)를 제공합니다.
대규모 언어 모델(LLM)은 작업과 정렬되지 않은 활성화 조종(activation steering)으로부터 생성 도중 복구하여, "잠깐, 그건 틀렸어"와 같은 명시적인 언어적 재시작을 생성하고 조종 섭동이 활성화된 상태로 유지되더라도 주제에 맞게 계속할 수 있습니다. 우리는 이를 내재적 조종 저항(Endogenous Steering Resistance, ESR)이라고 명명합니다. 희소 오토인코더(SAE) 잠재 변수(latent)를 사용하여 모델 활성화를 조종한 결과, Llama-3.3-70B는 \llamaseventyEsrRate\%의 비율로 명시적인 ESR을 보여주는 반면, Llama-3 및 Gemma-2 계열의 더 작은 모델들은 명시적인 형태를 덜 자주 보여주었습니다. 두 가지 통제 조건을 통해 ESR을 감지 이벤트와 지속적 저항 구성 요소로 분리했으며, 이는 최근 주제 관련 토큰에 대한 조건부 설정만으로는 완전히 설명되지 않습니다. 우리는 대조적 주제 관련/주제 벗어남 검색을 통해 \numOtdLatents{}개의 SAE 잠재 변수를 식별했습니다. 이들을 제로 어블레이션(zero-ablation)하면 다중 시도율이 \multiAttemptReductionPct\% 감소하며, 무작위 잠재 변수 및 홀드아웃 프롬프트 통제 조건은 이 결과의 특이성을 뒷받침합니다. ESR은 메타 프롬프팅(meta-prompting)과 합성 자가 교정 예시에 대한 미세조정(fine-tuning)을 통해 의도적으로 강화될 수도 있습니다. ESR은 안전성(safety)에 대해 이중적인 시사점을 갖습니다. 모델이 이 둘을 구별할 방법이 없기 때문에, ESR은 적대적 활성화 공간 조작에 대해 모델을 강화할 수 있지만 동시에 유익한 조종 기반 개입을 방해할 수도 있습니다. 코드는 https://github.com/agencyenterprise/endogenous-steering-resistance 에서 확인할 수 있습니다.
비전-언어 모델(VLM)은 다중 객체 시각 작업에서 존재하지 않는 요소를 환각하거나 방해 요소 중에서 가장 유사한 객체를 식별하지 못하는 등의 난해한 실패를 보인다. 이러한 오류는 '바인딩 문제(Binding Problem)'와 같은 인간의 인지적 한계를 반영하지만, 인공 시스템에서 이를 유발하는 내부 메커니즘은 아직 잘 이해되지 않고 있다. 본 연구에서는 오픈 가중치 VLM(Qwen, InternVL, Gemma)의 표현 기하학을 분석하고, 시각적 개념을 인코딩하는 잠재 방향인 '개념 벡터(concept vectors)'를 추출하는 방법론을 비교함으로써 메커니즘적 통찰을 제안한다. 우리는 단순화된 시각 작업과 자연주의적 시각 작업 모두에서 모델 동작을 신뢰성 있게 조작하는 스티어링 개입(예: 모델이 빨간 꽃을 파란색으로 인식하도록 강제)을 통해 개념 벡터를 검증한다. 이러한 벡터들 간의 기하학적 중첩이 특정 오류 패턴과 강하게 상관됨을 관찰하였으며, 이는 내부 표현이 모델 동작을 형성하고 시각적 실패를 유발하는 방식을 이해하기 위한 근거 있는 정량적 프레임워크를 제공한다.
선형 활성화 스티어링(activation steering)은 언어 모델의 동작을 제어하는 간단하면서도 경험적으로 효과적인 방법으로 널리 사용되고 있다. 최근에는 가산적 개입의 한계를 해결하기 위해 구면 스티어링(spherical steering) 패러다임이 제안되었으며, 이는 종종 은닉 상태(hidden-state)의 노름(norm)이 개념과 관련된 정보를 담지 않는다는 가정에 기반한다. 본 연구에서는 각도(angular) 성분과 반경(radial) 성분의 역할을 분리하기 위해 설계된 통제된 실증 연구를 통해 이 가정을 재검토한다. 우리는 스티어링 방법이 주로 두 가지 기하학적 효과를 어떻게 결합하는지—토큰의 개념 방향과의 각도 정렬을 바꾸는 것과 은닉 상태의 노름을 바꾸는 것—에 따라 달라짐을 보인다. 7개의 언어 모델에 걸쳐 개념은 주로 각도 구조에 표현되어 구면 방법의 동기를 뒷받침하지만, 노름은 스티어링의 안정성과 하위 효과에 여전히 중요하다는 것을 확인한다. 우리의 결과는 개념 수준에서 유사한 효과를 가진 개입이 서로 다르게 작동하는 이유를 설명하며, 활성화 스티어링은 두 효과를 뒤섞는 단일 가산 계수가 아니라 개입의 해석 가능한 각도 및 반경 성분으로 매개변수화되어야 함을 시사한다.