희소 디코딩을 위한 어텐션 질량 응축
Attention-Mass Condensation for Sparse Decoding
어텐션 질량(attention-mass)의 집중은 희소 디코딩(sparse decoding)의 기회를 제공하지만, 유지된 질량만으로는 안정적인 탐욕적 결정(greedy decision)을 보장할 수 없습니다. 즉, 검색 오류, 생략된 밸류(value) 방향, 재귀적 디코딩이 모두 중요한 영향을 미칩니다. 본 연구에서는 정확한 생략 질량 항등식과 충분한 다운스트림 마진 조건을 통해 이러한 차이를 정형화하고, 쿼리 의존적 평균 풀링 블록 선택기(query-dependent mean-pooled block selector)의 특성을 규명합니다. Qwen2-0.5B 모델을 대상으로 한 대응 신규 선택 탐색(paired fresh-selection sweep)은 97~769개 위치의 지지 집합(support), 2K~16K의 컨텍스트, 그리고 컨텍스트당 5개의 접두사(prefix)를 다룹니다. 주요 완전 일치(exact-match) 결과에 따르면, 60회의 실행 중 128개 토큰에 걸쳐 밀집 디코딩(dense decoding)과 동일하게 유지된 경우는 단 하나도 없었습니다. 분포적 품질은 이와 다릅니다. 193 이상의 지지 집합에 대해 9개의 컨텍스트-지지 집합 조건 중 7개에서 밀집 모델 대비 교사 강제(teacher-forced) 연속 펄플렉서티(perplexity) 변화 중앙값이 5% 이내였으나, 프롬프트 수준의 범위에는 심각한 16K 이상치(outlier)가 포함되어 있습니다. 교사 강제 일치율이 70% 미만인 7번의 실행 모두에서 펄플렉서티가 100% 이상 증가했습니다. 이러한 관찰 결과는 두 개의 접두사에서 비롯된 것으로 일반적인 임계값이 아닌 경고 영역을 시사합니다. 측정된 펄플렉서티는 희소 모델의 자유 실행(free-running) 출력이 아닌 밀집 모델 자체의 연속 생성에 대해 교사 강제된 값입니다. 분리된 검색 및 어텐션 질량 프로브(probe)는 포착된 질량만으로는 검색이나 결정을 보장할 수 없는 이유를 보여줍니다. 독립된 연산자 측정 시간만으로는 동일 품질에서의 가속이나 엔드투엔드 서빙 속도를 입증하지 못합니다.