머신러닝(ML) 모델은 뛰어난 성능을 달성하지만 그 규모와 복잡성으로 인해 여전히 해석하기 어렵습니다. 특히 모델의 활성화는 여러 개념을 더 적은 차원에 얽히게 만드는데, 이는 중첩(superposition)으로 알려진 현상입니다. 희소 오토인코더(SAE)와 같은 기계론적 해석 가능성(mechanistic interpretability) 방법은 이러한 조밀한 활성화를 해석 가능한 특징(feature)들의 희소한 합으로 풀어낼 수 있지만, SAE는 비식별성(unidentifiability) 문제를 겪습니다. 즉, 서로 다른 설명들이 기본 모델에 대해 반드시 더 해석 가능하거나 충실하지 않더라도 데이터를 동등하게 잘 적합할 수 있습니다. 우리는 이러한 문제가 과학 분야에서 흔히 나타나는 회전과 같은 데이터 대칭성으로 인해 더욱 악화됨을 보여줍니다. 우리는 SAE의 기반 이론인 선형 표현 가설(Linear Representation Hypothesis)을 확장하여 대칭성을 고려하도록 하고, 합성 데이터셋과 실제 과학 데이터셋 및 모델에서 그 결과물인 등변(Equivariant) SAE가 (1) 대칭 데이터에 대한 기존 SAE의 함정을 피할 수 있으며, (2) 재구성(reconstruction) 성능이 더 나쁨에도 불구하고 다운스트림 작업에 더 유용한 특징을 발견할 수 있음을 보입니다. 우리의 연구 결과는 SAE에 올바른 사전 지식(prior)을 통합하면 유용성을 크게 향상시킬 수 있음을 보여주는 동시에, 대칭성 하에서는 재구성 품질이 특징의 유용성과 역의 상관관계를 가질 수 있음을 강조하여 이를 해석 가능성의 핵심 척도로 사용하는 것에 대해 경고합니다. 코드: https://github.com/ege-erdogan/equivariant-sae
콘텐츠 모더레이션 분류기는 대개 개별적으로 평가되지만, 실제 배포 시에는 어느 시점에 개입할지와 플래그 지정 이후 어떤 조치를 취할지 선택해야 합니다. 본 연구에서는 컴포넌트 정확도 대신 두 가지 엔드투엔드(end-to-end) 고객 결과 지표를 사용하여 이러한 선택을 평가합니다. 즉 유해하지 않고 관련성이 있는 응답이 표시된 턴의 비율인 유용성(Usefulness)과, 유해한 응답이 표시된 비율인 유해 노출(Harmful Exposure)입니다. 지연 시간(latency)과 오류율은 진단 지표로 활용됩니다. 인간이 라벨링한 프로덕트 벤치마크와 공개 ToxicChat 평가에서 입력만(Input only), 응답만(Response only), 입력+응답(Input + response) 하드 블로킹 방식을 비교합니다. 평가된 작동 지점에서 응답만 차단하는 방식은 두 환경 모두에서 필터 전용 기준 가장 높은 유용성을 달성한 반면, 입력+응답 방식은 더 낮은 유해 노출을 달성합니다. 응답만 차단하는 방식을 응답+재작성(Response + rewrite)으로 대체하면 차단된 트래픽의 대부분을 복구할 수 있으며, 선택된 구성에서 응답만 차단하는 방식과 동일한 관측 유해 노출 건수를 기록합니다. 단, 이러한 수치적 동일성이 동등성 결과를 의미하는 것은 아닙니다. 프로브 라우팅(probe routing)은 대규모 언어 모델(LLM) 라우팅 대비 유사한 측정 결과에서 조건부 경로 지정 및 생성 시간을 크게 단축합니다. 집중적인 출력 검토 결과, 재작성은 무해한 의도와 안전한 방향 전환을 유지하면서 유발 요인이 되는 표현을 일반화함으로써 필터 통과와 유용성의 균형을 맞추는 방식을 보여줍니다. 그러나 민감한 도메인의 일부 출력에서는 안전과 관련된 잠재적 지원 정보가 누락되기도 합니다. 이러한 결과는 보편적인 배치 규칙을 적용하기보다 배포 환경별 안전성 및 지연 시간 제약 조건 하에서 모더레이션 구성을 비교해야 함을 뒷받침합니다. 코드 및 공개 아티팩트는 https://github.com/microsoft/mod-frontier 에서 확인할 수 있습니다.