PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01495v1cs.AI

어텐션 잔차 트랜스포머에서 불확실성 신호로서의 라우팅 엔트로피 감사

Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers

동적 아키텍처는 각 예측과 함께 예제별 라우팅 추적(routing trace)을 남기며, 분산된 라우팅은 예측을 신뢰하기 어렵다는 신호로 해석하기 쉽습니다. 본 연구에서는 소프트 빈 보정 보조 손실(soft-binned calibration auxiliary loss)을 적용하여 CIFAR-10/100에서 처음부터 학습(training)된 Swin-Tiny 및 DeiT-Small의 어텐션(attention) 잔차(Attention-Residual, AR) 변형 모델(model)들을 대상으로 라우팅 엔트로피에 대한 이러한 해석을 감사(audit)하며, 해당 추적이 모델 자체의 신뢰도(confidence)가 이미 드러내는 것 이상으로 정확도에 관한 정보를 전달하는지 질문합니다. 세 가지 점검을 통해 이러한 증가분을 탐색합니다. 고정된 신뢰도에서 라우팅 신호가 나타나는지, 학습 시드 전반에 걸쳐 재현되는지, 그리고 홀드아웃 예측기가 출력 전용 및 셔플된 추적 대조군에 대항하여 이를 활용할 수 있는지를 확인합니다. 이후 민감도 감사는 알려진 크기의 효과를 주입하고 탐침(probe)들이 각각의 얼마만큼의 비율을 회복하는지 측정합니다. 고정된 30개 테스트로 구성된 구간화(binned) 패밀리에서 다중성 보정(multiplicity correction)을 거쳐 살아남은 테스트는 없었으며, 명목상 적중이나 경계선상의 결과 모두 형제 시드에서 다시 발생하지 않았습니다. 24개의 쌍을 이룬 실행 전반에 걸쳐 스칼라 라우팅 탐침은 라우팅 계층화 보정에서 풀링된 개선을 가져오지 못했고, 엔트로피 프로파일 탐침은 셔플된 프로파일이 주어진 동일 탐침보다는 정확도를 더 잘 예측했으나 이진 로그 손실(binary log-loss)과 브라이어 점수(Brier score) 모두에서 신뢰도 전용 예측기보다는 성능이 떨어졌습니다. 즉, 셔플된 추적 대비 이득이 출력 대비 이득으로 이어지지는 않았습니다. 전체 로짓(logit) 벡터에 대한 조건화는 해당 비교를 미해결 상태로 남깁니다. 감사는 이러한 비검출(non-detection) 결과가 어느 수준까지 해석될 수 있는지 한계를 정합니다. 0.010 nats의 주입된 효과에서 프로파일 탐침은 오라클 이득의 24~59%를 회복하며, 참조 보존 보정 탐침은 두 가지 CIFAR-100 환경에서 각각 8% 및 23%를 회복하여 실제 레이블에 적용하기 위해 설정한 임계값에 미치지 못했습니다. 본 결과는 조건부 라우팅 정보의 부재가 아니라, 대조군에 따른 이득과 추정량 회복의 불완전성을 입증합니다.