LLM 예측 태스크에서 희소 오토인코더(sparse autoencoder)로 시간 인식 추론과 룩어헤드 바이어스(look-ahead bias)와 연관된 내부 특징(feature)을 식별하고, 예측 시장·M&A·제약 예측 등 다른 도메인에서 해당 특징을 증폭하는 feature steering으로 개입한다. 시간 인식 특징을 강화하면 일반 추론 성능을 유지하면서 예측 프롬프트의 룩어헤드 바이어스가 크게 줄지만, 룩어헤드 바이어스 후보 특징 스티어링은 효과가 없어 해석 가능한 시간적 특징이 역사적 근거 기반 추론으로 LLM을 인과적으로 전환할 수 있음을 보여준다.
해석가능성(interpretability)의 한 목표는 신경망의 활성화(activations)로부터 잠재 개념(특징)의 분리된 표현을 복원하는 것이다. 특징의 품질은 일반적으로 고립된 상태에서, 그리고 실제로 성립하지 않을 수 있는 암묵적 독립성 가정 하에서 평가된다. 따라서 희소 자동인코더(SAE)와 프로브(probe)와 같은 일반적인 특징화(featurization) 방법이 한 개념을 다른 개념으로부터 얼마나 분리하는지는 불분명하다. 우리는 감성(sentiment), 도메인(domain), 목소리(voice), 시제(tense) 등의 개념을 사용하는 다중 개념 평가 설정을 제안한다. 우리는 특징화기(featurizer)가 각 개념에 대해 분리된 표현을 얼마나 잘 생성하는지 평가하며, 특징은 일반적으로 하나의 개념에만 민감하지만 개념이 여러 특징에 분산되어 있기도 함을 관찰한다. 이어서 우리는 이러한 특징들을 조향(steering)하여 각 개념이 독립적으로 조작 가능한지, 그리고 특징들이 상호작용하는지 측정한다. 이상화된 설정에서도, 상호작용 효과가 거의 없음에도 불구하고 하나의 특징을 조향하면 종종 여러 개념에 영향을 미친다. 이러한 결과는 상관 지표만으로 조향 선택성(steering selectivity)을 확립하기에 불충분하며, 두 특징이 별개의 공간에서 작동함을 보여주는 것만으로는 그들이 한 개념에 대해 선택적일 것이라고 주장하기에 불충분함을 시사한다. 이러한 결과는 해석가능성 연구에서 다중 개념 평가의 중요성을 강조한다.