활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.
임상 현장에서 전문가들은 종종 결정을 내리기 전에 원시 입력(raw input)을 일련의 전문가 특징(expert feature)으로 변환하는 작업부터 시작합니다. 원시 입력을 기반으로 학습된 블랙박스 모델이 전문가 뷰(expert view)로 학습된 모델보다 우수한 성능을 보일 수 있지만, 원시 모델이 전문가 뷰가 포착하는 것 이상으로 어떤 예측 신호를 활용하는지는 여전히 불분명합니다. 본 논문에서는 공유 정준 성분 제거(Shared Canonical Component Removal, SCCR)를 사용하여 이러한 격차를 정량화하는 감사 프레임워크를 제안합니다. 표준 잔차화(residualization)나 개념 소거(concept erasure)와 달리, SCCR은 학습된 원시 임베딩과 전문가 임베딩 사이에서 강하게 공유되는 방향만을 선택적으로 제거합니다. 합성 데이터, 관상동맥 질환(CAD) 감지, 항우울제 치료 중단(dropout) 예측, 그리고 SkinCon 주석을 활용한 피부 병변 분류에 대한 평가를 통해, SCCR이 전문가 뷰가 불충분한 방식을 식별하고 전문가 뷰와의 중복성을 최소화하면서 잔여 예측 신호를 복원함을 보여줍니다.
선택적 상태 공간 모델(selective state-space model)은 긴 시퀀스의 비디오 모델링을 위한 효율적인 접근 방식입니다. 그러나 이들의 순환적 계산(recurrent computation) 방식은 어떤 비디오 토큰이 예측을 유도하는지 파악하기 어렵게 만듭니다. 기존의 기여도 분석(attribution) 방법들은 종종 추가적인 역전파(backward pass)나 반복적인 모델 평가를 필요로 하므로, 설명하고자 하는 순방향 추론(forward inference)보다 훨씬 더 많은 비용이 소요됩니다. 본 연구에서는 분류기(classifier)가 읽어내는 위치에서 순환을 풀어내는 선택적 상태 공간 모델용 무매개변수(parameter-free) 기여도 분석 방법인 READ를 소개합니다. READ는 순환 상태에 누적된 기여도를 최종 예측에 기여한 비디오 토큰까지 역추적합니다. 분류기의 판독 위치에 기여도를 고정함으로써 단일 시공간 적합성 맵(spatiotemporal relevance map)을 생성하며, 이로부터 프레임 및 영역 수준의 적합성을 직접 도출할 수 있습니다. 단 한 번의 순전파(forward pass)만 필요로 함에도 불구하고, READ는 훨씬 더 비용이 많이 드는 기여도 분석 방법들과 비교하여 경쟁력 있는 충실도(faithfulness)와 위치 파악(localisation) 성능을 달성합니다. 실험 결과에 따르면 READ는 기존 방법들의 체계적인 적합성 편향을 방지하는 동시에 다양한 데이터셋과 백본에 걸쳐 유의미한 시간적 및 클래스별 구조를 복원합니다. 더 넓게 보면, 본 연구 결과는 선택적 상태 공간 모델의 기반이 되는 순환 구조가 추론을 위한 효율적인 메커니즘일 뿐만 아니라 예측에 대한 해석 가능한 증거의 직접적인 원천임을 보여줍니다.
대규모 언어 모델(LLM)은 표준화된 벤치마크에서 종종 인상적인 점수를 기록하지만, 정확도만으로는 모델의 능력을 온전히 파악하기 어렵다. 리더보드에서 오픈소스 LLM을 평가하는 방식은 데이터 오염, 협소한 태스크 범위, 실제 환경의 신뢰성과의 낮은 정렬(alignment) 같은 고질적인 문제에 직면해 있다. MMLU-Pro, BBH, IFEval과 같은 벤치마크 기반 평가는 고정된 테스트 세트에서 모델이 무엇을 출력하는지를 주로 포착할 뿐, 모델이 정보를 어떻게 처리하고 불확실성을 어떻게 보정(calibrate)하며 내부 지식을 어떻게 구조화하는지는 보여주지 못한다. 본 논문에서는 벤치마크 중심 평가에서 벗어나 이를 보완하는 LLM의 '상태 중심 내재적 평가(state-centered intrinsic assessment)'로의 전환을 제안한다. 이를 위해 은닉 활성화(hidden activations)와 출력 분포로부터 태스크에 구애받지 않는 진단을 도출하는 프레임워크인 잠재 성능 프로파일링(Latent Performance Profiling, LPP)을 소개한다. LPP는 모델의 잠재 표현(latent representation)과 동역학에 대한 일련의 스칼라 지표를 정의하여, 해석 가능한 비교를 가능하게 하고 숨겨진 취약점을 드러내는 특성을 규명한다. 정적인 정확도 점수와 달리 LPP는 비슷한 크기의 모델 전반에서 안정적이고 아키텍처에 민감한 시그니처를 제공한다. 0.5B부터 14B 크기에 이르는 8개 LLM을 대상으로 한 광범위한 실증 분석을 통해, 벤치마크 점수가 유사한 모델이라도 엔트로피나 압축률의 차이와 같이 대조적인 잠재 프로파일을 보일 수 있음을 입증한다. 이러한 통찰을 바탕으로, 리더보드 바이어스와 분리되면서도 내재적 지표와 정렬되는 불확실성 및 기호 추론용 합성 프로브(synthetic probe)를 설계한다. 모델 행동에 대한 더 깊고 해석 가능한 이해를 제공하여 표면적인 정확도를 넘어 더욱 신뢰할 수 있는 모델 선택, 안전성 평가 및 다각적 평가를 가능하게 하도록 벤치마크와 함께 LPP를 보고할 것을 권장한다.
대규모 언어 모델(LLM)의 활성화(activation)로부터 변수들을 선형적으로 디코딩할 수 있음을 보여주는 연구가 점점 늘어나고 있습니다. 이러한 변수는 도시의 위치나 역사적 인물의 생애와 같은 세계의 속성부터 감정과 고통에 이르기까지 다양합니다. 이러한 발견은 종종 언어 모델이 표면적인 텍스트 통계를 넘어 세계에 대한 내부 모델을 형성한다는 증거로 받아들여집니다. 본 연구에서는 동일하거나 대응되는 자극에 대한 정적 단어 임베딩(말뭉치 통계로부터 학습된 고정적이고 문맥에 무관한 표현) 역시 동일한 디코딩의 상당 부분을 지원함을 보입니다. 발표된 4가지 사례(장소, 시간, 고통, 감정) 전반에서 정적 벡터는 좌표와 사망 연도를 예측하고(R^2 = 0.42-0.59), 대응되는 대조군 문장에서 고통을 분리하며(홀드아웃 AUC 0.85-0.88), 해당 감정을 직접 언급하지 않도록 작성된 이야기에서 12가지 감정을 분류합니다(AUC 0.84-0.88). 정적 임베딩은 각 단어에 문맥 독립적인 단일 벡터를 할당하므로, 이러한 결과는 단어 연관성만으로 지원할 수 있는 하한선에 해당합니다. LLM은 표현력 테스트에서 분명한 우위를 유지하며, 인과적 및 행동적 발견은 여전히 기준선의 범위를 벗어납니다. 원저자들의 엔티티에 대해 Llama-2 결과를 재현한 실험에서, 트랜스포머의 우위는 주로 역사적 인물을 올바른 세기에 배치하고 장소를 올바른 국가에 배치하는 등 더 풍부한 단어 연관성을 통해 향상될 것으로 기대되는 대략적인 분류에 있었습니다. 해당 그룹 내에서는 모든 표현이 항목들을 제대로 순서화하지 못했습니다. 이름의 단어가 아닌 특정 장소나 인물의 연관성을 담고 있는 모호성이 해소된 위키백과 엔티티에 대한 정적 벡터는 좌표에서는 Pythia-2.8B와 일치하고 사망 연도에서는 Llama-2-7B와 일치하며 남은 격차의 대부분을 좁힙니다. 이러한 결과는 디코딩 가능성만으로는 속성에 대한 표현과 고정된 분포적 연관성에서 이미 얻을 수 있는 정보를 구별할 수 없음을 나타냅니다.
고충실도(high-fidelity) 용해도 예측은 다양한 화학적 환경 전반에서 분자 구조와 열역학적 거동을 정확하게 결합해 모델링해야 하는 의약품 개발 및 환경 분배(environmental partitioning) 분야의 기초가 됩니다. 그러나 최근의 발전은 예측력을 위해 물리적 해석 가능성을 희생하는 경우가 많은 심층 학습(deep learning) 아키텍처가 주도해 왔습니다. 본 연구에서는 최고 수준의 성능을 달성하는 데 이러한 불투명한 아키텍처가 필수적이지 않음을 보여줌으로써 이와 같은 경향에 도전합니다. 이를 해결하기 위해 분자 용해도 예측을 위한 투명한 프레임워크인 DISSOLVR을 소개합니다. 아울러 포괄적인 문헌 검토와 다양한 방법론에 대한 벤치마킹 연구를 수행합니다. 분자를 물리적 기반의 기술자(descriptor)에 매핑하여 얻은 구조적 불변성을 통해, DISSOLVR이 실험적 불확실성의 우연적 한계(aleatoric limit)에 근접하고 OOD(분포 외) 일반화를 달성함을 입증합니다. 이어서 기호 기반 모델 아티팩트와 화학적 기반 설명 사이의 격차를 좁히는 LLM 보조 사후 설명 파이프라인을 제시합니다. 마지막으로 전문 화학자 22명이 참여한 설문 조사 비교 벤치마크를 통해 전문가 평가자가 심층적인 인사이트를 제공함을 밝힙니다.
본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.
자원이 제한된 환경에서는 효율적인 신경망을 배포하는 것이 필수적이지만, 소형 모델은 자율주행 및 의료와 같은 안전성(safety)이 중요한 영역에서 핵심적인 요소인 해석 가능성을 희생하는 경우가 많습니다. 본 연구는 지식 증류(KD)가 대규모 교사(teacher) 네트워크의 공간적 특징 귀속(feature attribution)을 소형 학생(student) 모델로 전이하는지 조사합니다. KD 방식이 해석 가능성에 미치는 영향을 평가하기 위해, 증류 온도와 소프트 레이블 손실 가중치를 체계적으로 변화시키면서 5가지 설정에 걸쳐 ImageNet-1K에서 ResNet-152 교사 모델을 ResNet-34 학생 모델로 증류합니다. 모델들은 top-1 정확도와 함께 두 가지 해석 가능성 지표인 Relevance Mass Accuracy(RMA) 및 Relevance Rank Accuracy(RRA)로 평가됩니다. 이러한 지표는 정답(ground-truth) 객체 마스크를 기준으로 벤치마크된 Grad-CAM 히트맵을 통해 계산됩니다. 연구 결과에 따르면 top-1 정확도는 71.6%에서 74.0% 범위를 보입니다. Grad-CAM의 경우 RMA는 7.7%에서 9.7%, RRA는 7.3%에서 10.1% 범위이며, Guided Grad-CAM의 경우 RMA는 16.1%에서 18.6%, RRA는 15.9%에서 21.5% 범위입니다. 해석 가능성은 온도보다 소프트 레이블 가중치에 훨씬 더 민감한 것으로 입증되었습니다. 즉, 학생 모델을 하드 레이블에 고정(anchor)하면 정확도와 대략적인(coarse) 위치 파악을 모두 보존하지만, 교사 모델에 큰 가중치를 부여하면 두 가지 모두 저하됩니다. 그러나 세밀한(fine-grained) 귀속은 테스트된 모든 구성에서 증류되지 않은 기준선 아래로 떨어졌으며, 이는 로짓 증류가 어텐션의 픽셀 수준 구조보다는 모델이 어디에 주목(attend)하는지를 더 쉽게 전달함을 나타냅니다. 우리는 합성곱(convolutional) 및 트랜스포머 기반 모델의 12가지 아키텍처 간 조합을 평가하여, 세밀한 공간 추론의 계승이 근본적으로 학생 모델 고유의 구조적 편향에 의해 병목 현상을 겪는다는 것을 밝혀냅니다. 우리가 아는 한, 이전에 신경망 가지치기에 사용되었던 이 해석 가능성 인식 평가 프레임워크를 KD에 적용한 것은 이번이 처음입니다.
대규모 언어 모델(LLM)은 고위험 도메인에서 점점 더 많이 배포되고 있으며, 이러한 환경에서는 사고의 연쇄(chain-of-thought)나 사후 근거(post-hoc rationale)와 같은 자유 형식 텍스트 설명이 모델 출력을 정당화하는 데 사용된다. 그러나 이러한 설명들이 충분한지, 즉 모델의 출력 생성 과정을 설명하기에 충분한 정보를 담고 있는지는 여전히 불명확하다. 우리는 특징(feature) 귀속에서의 고전적 충분성 개념을 임의의 설명으로 일반화하고, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 증명하며, 이 입력 분포는 LLM 설명에 대해 명시적으로 정의되어야 함을 보인다. 우리는 LLM 자체를 활용하여 설명에 조건화된 대체 입력을 생성함으로써 가능한 입력에 대한 모델(model)의 신념을 포착할 것을 제안한다. 우리는 자유 형식 텍스트 설명의 목표로서 자기 일관적 충분성(self-consistent sufficiency)을 형식화하고, 사전 정의된 편향이나 지름길에 의존하지 않고 자유 형식 텍스트 설명을 평가할 수 있게 하는 정보 이론적 지표인 SCSuff를 도입한다. 실험 결과, SCSuff는 적용 가능한 경우 표적 섭동(perturbation) 테스트와 일치함을 보이며, 설명 충분성이 입력 분포에 따라 달라질 수 있음을 입증한다. LLM의 설명은 일반적으로 불충분하며 모델 크기, 정확도 또는 출력 엔트로피와 약한 상관관계를 보임을 확인하였다. 최종 토큰(token) 은닉 상태 분석에 따르면 상위 및 하위 SCSuff 점수가 내부 표현으로부터 예측될 수 있으며, 이는 SCSuff가 충분한 LLM 설명의 탐지 및 개선을 안내할 수 있음을 시사한다. 이 논문의 코드는 https://github.com/rajesh-lab/self-consistent-sufficiency 에서 확인할 수 있다.
대규모 언어 모델(LLM)은 텍스트로부터 성격 레이블을 쉽게 부여할 수 있지만, 모델 해석 가능성은 여전히 미해결 문제이다. 이 격차를 해소하기 위해, 우리는 LEX-EC를 제안한다. LEX-EC는 재사용 가능한 블랙박스 감사 프레임워크로, 유병률 및 일치 진단과 통제된 어휘 절제(ablation)를 결합하여 주변 분포(marginal-distribution) 효과와 제한된 증거 하에서 복원 가능한 특성(trait) 연관 신호를 구분한다. 이 프레임워크를 사용하여, 다양한 텍스트 장르가 어떻게 뚜렷이 다른 프로필을 보일 수 있는지 보여준다. 자유 형식 에세이 텍스트는 가장 넓지만 여전히 약한 신호를 포함하고, 대학원생 자기소개에서는 관찰 가능한 외향성(Extraversion) 연관이 마스킹 후 약해졌으며, 단일 Facebook 상태 업데이트는 특성 균형 표본에서도 안정적인 증거를 거의 제공하지 않아 콘텐츠 또는 길이의 가능한 하한을 시사한다. 주제적·인구통계학적 콘텐츠를 마스킹하면 일부 연관은 약해지지만, 기능어(function words), 정서적 용어, 인지 스타일 어휘로부터 다른 연관은 여전히 탐지 가능하다. 언어학적 프롬프트는 모델의 자기 설명을 변화시켰지만 주제적 콘텐츠를 제거하지는 못했다. LEX-EC는 분류 유병률, 항목 수준 연관, 우연 보정 일치, 어휘 제한 하에서의 지속성, 모델 생성 설명에서의 프롬프트 민감도를 함께 평가한다. 데이터셋, 모델, 프롬프트 전반에 걸쳐 LEX-EC는 이용 가능한 어휘 증거에 따라 특성 연관이 어떻게 달라질 수 있는지 특성화하며, 성격 레이블링에서 블랙박스 해석 가능성에 대한 어휘 방법의 새로운 적용을 제시한다.
활성화 스티어링(activation steering)은 대규모 언어 모델(LLM)의 제어와 해석을 가능하게 하지만, 기존 연구는 주로 Big Five와 같은 정적 특성(trait) 프레임워크를 통해 성격을 모델링한다. 본 연구에서는 성격을 대신 8가지 융(Jung)의 인지 기능(Jungian Cognitive Functions)을 이용한 일련의 인지 과정으로 표현하고 제어할 수 있는지 조사한다. 이를 위해 융 평가 프로토콜과 2,100개 이상의 역할극 캐릭터 서술로 구성된 데이터셋을 포함하는 프레임워크를 제안한다. Llama-3.1-8B에 대한 활성화 스티어링 벡터 추출 및 평가 실험은 활성화 스티어링을 통해 8가지 인지 기능 모두에 대해 효과적인 단조(monotonic) 제어가 가능함을 보여준다. 제어 가능성(controllability)을 넘어, 분석 결과는 다음을 밝힌다. 1. 성격 정보는 트랜스포머의 중간 층에 집중되어 있다. 2. 스티어링 벡터는 이성적(rational) 기능과 비이성적(irrational) 기능 간의 구분과 일치하는 구조화된 기하학적 관계를 보인다. 3. 효과적인 다차원 스티어링 방향은 단일 기능 방향의 선형 결합(linear combination)으로 복원할 수 없다. 이러한 결과는 LLM 활성화 공간(activation space)에서의 성격 표현에 대한 새로운 통찰을 제공하며, 해석 가능하고(interpretable) 효과적이며(effective) 다차원적인(multi-dimensional) 성격 제어를 연구하기 위한 프레임워크를 확립한다.
멀티모달 대규모 언어 모델(MLLM)은 강력한 비전-언어 성능을 달성했지만, 토큰 수준의 시각적 증거는 여전히 검사하기 어렵다. 최근 로짓 렌즈(logit-lens) 어트리뷰션 방법은 생성된 단어를 설명하기 위해 각 시각 토큰의 은닉 상태를 어휘 공간에 투영하지만, 이러한 토큰별 판독은 불일치를 유발한다: 시각 토큰은 모델에 의해 맥락이 혼합되지만, 어트리뷰션 점수는 각 토큰 위치에서 독립적으로 디코딩된다. 이는 종종 파편화된 어트리뷰션 맵을 만들어내며, 앞선 텍스트 토큰의 자기회귀적 맥락 신호의 영향을 추가로 받을 수 있다. 우리는 증거 재구성(ER)과 예측적 맥락 잔차화(PCR)로 구성된 어트리뷰션 프레임워크인 ERCR을 제안한다. ER는 서로 다른 토큰-영역 할당을 가진 여러 뷰에서 대상 증거를 집계하여, 단일 판독 그리드로 인한 어트리뷰션 파편화를 줄인다. PCR은 RBO 기반 순위 관련성으로 앞선 토큰의 맥락 맵을 추정하고, ER 맵에서 그 피팅된 성분을 빼서 맥락 토큰 간섭을 억제한다. LLaVA, Qwen2-VL, InternVL 계열에 걸친 COCO Caption, GranDf, OpenPSG에서의 실험은 ERCR이 기존 평가 프로토콜 하에서 대상 토큰에 대한 시각적 증거를 개선하고 앞선 토큰 맥락 간섭을 완화함을 보여준다. Qwen2-VL-2B에서 ERCR은 COCO Caption에서 TAM F1-IoU를 39.10에서 44.45로, GranDf에서 30.83에서 37.20으로 향상시킨다. 전반적으로 ERCR은 토큰 수준 시각적 증거 검사를 위한 실용적인 개선을 제공한다.
Understanding which parameters are influential in Large Language Models (LLMs) is central to improving their efficiency, reliability, and interpretability. We introduce Weight-Adjusted Gradients (WAG), a simple yet effective approach for estimating parameter importance that explicitly captures the interaction between model weights and first-order gradient information and identifies parameters that disproportionately influence model behavior, such as those responsible for collapse phenomena in LLMs. Across a range of models and settings, we show that WAG surfaces a tiny but critical subset of parameters whose modification leads to dramatic degradation in performance, a failure mode that existing importance metrics overlook. These findings reveal a previously underexplored interplay between weights and gradients, suggesting that parameter importance cannot be fully understood through either signal alone. The surprising effectiveness of WAG points to fundamental structural properties of trained networks and motivates new open questions about the role of zeroth-order and first-order information in deep learning. We demonstrate the practical utility of WAG across multiple applications, including expert allocation in mixture-of-expert architectures, parameter-specific unlearning, mixed-precision quantization, and layer selection for knowledge editing. Our results position WAG as a unified approach for analyzing, debugging, and controlling LLMs, and opens new directions for principled model-level interpretation.
언어 모델이 감각 의식(sentience)을 지니는지에 대해서는 경험적 답변이 존재하지 않는다. 그러나 모델 스스로가 자신이 감각 의식을 지닌다고 믿는지 여부는 원칙적으로 검증 가능하다. 본 연구에서는 여러 오픈웨이트 모델에 자신의 의식에 관해 질의하고, 내부 활성화 값으로 학습된 분류기(classifier)를 사용해 그 응답을 검증한다. Qwen, Llama, GPT-OSS 세 모델 패밀리(파라미터 수 6억~700억)를 대상으로, 의식 및 주관적 경험에 관한 약 50개의 질문과 해석 가능성 연구 문헌에서 도출한 세 가지 분류 방법을 활용하였다. 첫째, 모델들은 일관되게 자신이 감각 의식을 지니지 않는다고 부인하며, 의식을 인간에게는 귀속시키지만 자신에게는 귀속시키지 않았다. 둘째, 단순 출력이 아닌 내재된 믿음을 탐지하도록 학습된 분류기는 이러한 부인이 거짓임을 시사하는 명확한 증거를 제공하지 않는다. 셋째, Qwen 패밀리 내에서 더 큰 모델일수록 더 확신을 가지고 감각 의식을 부인한다. 이러한 결과는 모델이 자신의 의식에 대한 잠재적 믿음을 내포한다고 주장하는 최근 연구와 상반된다.
유방촬영 기반 심층 학습 모델은 유방암 위험 예측을 개선했지만, 학습된 영상 패턴은 여전히 충분히 탐구되지 않았다. 기존 해석 가능성(interpretability) 방법은 단일 영상 saliency map에 의존하여, 대규모 환자 코호트에서 반복적으로 나타나는 유방촬영 표현형을 식별하지 못한다. 사전학습(pre-trained) 모델 Mirai의 패치 임베딩(patch embedding)을 클러스터링함으로써, 5년 암 위험과 연관된 반복적 표현형을 분리한다. 분석 결과, 위험을 증가시키는 표현형은 복잡한 구조(예: 밀도 높은 조직, 미세 석회화)와 shortcut 아티팩트(예: 클립)를 포착한다. 이러한 표현형은 고령과 더 높은 BI-RADS 밀도와 강한 상관관계를 보인다. 우리의 프레임워크는 조직 패턴을 AI 위험 점수와 연결하여, 임상적 시그니처와 잠재적 모델 교란 요인(confounder)을 드러낸다.
대규모 추론 모델의 등장은 예외적으로 긴 사고의 연쇄(Chain-of-Thought) 추적을 도입했고, 핵심 논리가 방대한 절차적 텍스트 아래 묻히는 투명성 부담을 초래했다. 이에 대응하기 위해, 우리는 복잡한 추론 체인의 계층적 시각화 및 진단 감사를 위해 설계된 오픈소스 프레임워크인 ReasoningLens를 제시한다. ReasoningLens는 다음을 통해 정보 부검(information necropsy) 문제를 해결한다: (1) 고수준 전략과 저수준 실행을 분리하는 대화형 계층 구조로 추적을 구조화하고, (2) 자동 오류 탐지 및 도구 증강(tool-augmented) 검증을 위한 에이전트형 감사자(agentic auditor)를 활용하며, (3) 모델별 사각지대를 드러내기 위해 체계적 추론 프로필을 종합한다. 비구조화된 텍스트 벽을 실행 가능한 인사이트로 변환함으로써, ReasoningLens는 추론 중심 AI의 차세대를 해석·디버깅·최적화하기 위한 모듈형 기반을 제공한다.
해석 가능성 방법들은 관찰된 모델 행동에 대한 집단 수준 요약 통계를 사용하여 특정 계산에 대한 표적 개입의 효과에 대한 주장을 정당화하는 것이 일반적입니다. Pearl의 용어로 말하자면, 이들은 1단계 연관 증거가 2단계 개입 결론을 뒷받침하는 것처럼 취급하는데, 이러한 추론의 타당성은 거의 테스트되지 않습니다. 우리는 하나의 구체적인 사례를 조사합니다: 전문가 혼합(MoE) 가지치기(pruning)에서의 라우팅 통계 사용입니다. 여기서 활용률, 활성화 놈(norm), 라우팅 가중치 분포는 기능적 비용 없이 제거할 수 있는 전문가를 예측하는 지표로 취급됩니다. 세 가지 고중복성 MoE 아키텍처(OLMoE-1B-7B-0924, Qwen1.5-MoE-A2.7B, DeepSeek-V2-Lite)에 걸친 토큰 수준 개입 감사 결과, 어떤 모델에서도 관찰적 지표가 인과적 전문가 중요도를 예측하지 못하는 것으로 나타났습니다. 모든 60개 지표-층 조합에서 효과 크기는 코헨의 $d = 0.23$ 미만으로 유지되었으며, 수정된 이중 검정 기준 하에서 신뢰할 수 있게 양성인 지표는 없었습니다. 동일한 $n$으로 실행된 토큰별 라우팅 가중치 제어는 검정력 부족 가능성을 배제하며, OLMoE의 마지막 MoE 층에서 0을 배제하는 신호를 회복했습니다($d = +0.231$, 95\% CI $[+0.09, +0.37]$, $p = 0.0013$). 기존 가지치기 방법들은 제거 가능한 전문가를 식별해서가 아니라, 초기 층의 중복성으로 인해 대부분의 선택 기준이 상호 교환 가능해지기 때문에 이러한 상황에서 성공합니다. 우리의 결과는 전문가 중요도에 대한 집단 수준 관찰 요약에서 토큰 수준 개입 주장으로의 일반적인 추론 단계에 대한 명시적인 반례를 제공하며, 개입 감사가 해석 가능성 주장에 대한 증거 기준을 어떻게 보정할 수 있는지 보여줍니다.