Boltz-1 희소 오토인코더의 효율적인 자동 해석 가능성을 향하여
Towards Efficient Auto-Interpretability of Boltz-1 Sparse Autoencoders
한국어 초록
희소 오토인코더(SAE)는 생물학 및 기타 분야의 AI 모델이 지닌 초인적 능력을 설명함으로써 이러한 모델을 과학적 발견의 엔진으로 만들 수 있다. 본 연구는 잠재 변수가 유용하려면 세 가지를 알아야 한다고 가정한다. 즉, 그것이 일관적인지, 기술될 수 있는지, 그리고 그 기술이 예측력을 갖는지이다. 이 질문들은 흔히 혼동된다. 본 연구는 이들을 하나의 파이프라인으로 조립하고 몇 가지 실용적인 혁신을 보고한다. 첫째, 시드 간 사전 안정성은 조사에 자원을 투입할 가치가 있는 잠재 변수의 우선순위를 정한다. 둘째, 침입자 탐지 과제는 잠재 변수를 활성화하는 예시들이 인식 가능한 패턴을 공유하는지를 묻는다. 셋째, 별도의 단계에서 후보 생물학적 기술을 제안하고, 이를 in silico로 검증할 수 있는 반증 가능한 예측으로 변환한다. Boltz-1 Pairformer 트렁크에 적용했을 때, 안정성 우선순위화는 약 4.4배 적은 잠재 변수 평가와 5.2배 낮은 측정 LLM 비용으로 해석 가능한 잠재 변수를 찾아내면서 그중 절반 이상을 회복한다. 그러나 본 연구의 설정에서 LLM 판정자는 일관된 잔기 정체성에 크게 편향되어 있으며, 높은 아미노산 정체성 정밀도를 가진 특징을 선택하는 단순한 필터가 안정성 임계값 방식보다 성능이 우수함을 확인하였다. 이 더 단순한 방법은 추가 SAE 시드가 필요 없다는 부가적 이점이 있지만, 이것이 진정으로 유용한 휴리스틱을 반영하는지 아니면 LLM 판정자의 한계를 반영하는지는 여전히 불확실하다.
원문 초록
Sparse autoencoders (SAEs) could turn AI models in Biology and other fields into engines of scientific discovery by explaining the superhuman capabilities of those models. We postulate that a latent is useful if we know three things: whether it is coherent, whether it can be described, and whether that description has predictive power. These questions are routinely conflated. We assemble them into a single pipeline and report some practical innovations. First, cross-seed dictionary stability prioritises which latents are worth spending resources to investigate. Second, an intruder-detection task asks whether a latent's activating examples share a recognizable pattern. Third, a separate pass proposes a candidate biological description which we convert into falsifiable predictions which can be tested in silico. Deployed on the Boltz-1 Pairformer trunk, stability prioritisation finds interpretable latents using about 4.4 times fewer latent evaluations each, and at 5.2 times lower measured LLM cost, while recovering over half of them. However, we notice that in our setup the LLM judge is heavily biased towards consistent residue identity and a simple filter that selects for features with high amino-acid identity precision outperforms the stability thresholding. This simpler method has the added benefit of requiring no extra SAE seeds but it remains uncertain if it reflects a genuinely useful heuristic or an limitation of the LLM judge.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.27754v2제출 시각 미확인
- arXiv:2608.27754v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.