DiffusionGemma는 얼마나 투명한가?
How Transparent is DiffusionGemma?
대규모 언어 모델(LLM)의 추론 투명성은 모델의 결정을 이해하고, 오남용과 오정렬(misalignment)을 완화하며, 놀라운 모델 행동을 디버깅하는 데 있어 중요한 기능입니다. 그러나 DiffusionGemma는 연속 잠재 공간에서 계산의 더 큰 비중을 수행하는데, 이것이 추론 과정을 덜 투명하게 만드는가요? 우리는 투명성을 두 가지 구성 요소로 분해하여 이 질문을 연구합니다: 모델의 계산 상태에 대한 중간 스냅샷을 이해하는지 여부인 변수 투명성(variable transparency)과, 이 스냅샷을 사용하여 모델이 출력에 도달하는 과정을 재구성할 수 있는지 여부인 알고리즘 투명성(algorithmic transparency)입니다. 직관적으로 볼 때 DiffusionGemma는 변수 투명성이 낮습니다. 해석 가능한 모델 상태 사이에 발생하는 직렬 계산의 양인 불투명한 직렬 깊이(opaque serial depth)는 처음에는 대응하는 오토리그레시브 Gemma 4 모델보다 28.6배 더 높아 보입니다. 그러나 우리는 다운스트림 성능의 저하 없이 디노이징 단계 사이를 흐르는 정보를 해석 가능한 토큰 병목(token bottleneck)을 통해 매핑할 수 있음을 보여줍니다. 이러한 중간 상태를 해석 가능한 것으로 간주하면 불투명한 직렬 깊이가 Gemma 4의 단 1.1배로 줄어듭니다. 디퓨전 모델의 경우 캔버스 내의 모든 토큰 예측이 모든 디노이징 단계에서 변경될 수 있으므로, 모델이 디노이징 과정 동안 복잡한 분산 알고리즘을 구현할 수 있는 능력을 갖게 되어, 오토리그레시브 모델보다 알고리즘 투명성 확보가 더 어렵습니다. 이 격차를 해소하기 위해 우리는 일련의 해석 가능성 사례 연구를 수행했으며, 비연대기적 추론(non-chronological reasoning), 토큰 및 시퀀스 스미어링(smearing), 중간 컨텍스트 추론(intermediate-context reasoning)과 같은 새로운 디퓨전 특유 현상에 대한 초기 증거를 발견했습니다. 마지막으로, 모델 출력이 다운스트림 작업에 유용한지 측정하는 투명성의 핵심 응용인 모니터링 가능성(monitorability)을 테스트합니다. 그 결과 DiffusionGemma는 Gemma 4와 유사한 수준의 모니터링 가능성을 가짐을 확인했습니다.