arXiv:2605.18898v1 cs.LG

트랜스포머 가중치 분포 진단을 위한 2-매개변수 와이불 프레임워크

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

Tiexin Ding

제출 2026-05-17

한국어 초록

우리는 극값 이론(extreme-value theory)에서 유래한 2-매개변수 계열인 와이불 분포(Weibull distribution)를 트랜스포머의 요소별(element-wise) 가중치 크기 분포를 진단하는 프레임워크로 적용합니다. 초기화(initialization) 시 독립 동일 분포(i.i.d.) 가우시안 가중치는 |w| ~ HalfNormal을 따르며, 이는 본 연구 전반에 사용된 프로토콜인 중간 80% 확률-플롯 적합(middle-80% probability-plot fit)을 통해 k ~ 1.20을 산출합니다. 이 기준점(anchor)은 k를 학습(training) 역학에 대한 원칙적이고 아키텍처 독립적인 측정 지표로 만듭니다. 모든 체크포인트(checkpoint)의 모든 층(layer)에서 각 가중치(weight) 행렬을 독립적으로 적합시키면, 집계된 통계로는 해결할 수 없는 구성요소별, 층별, 단계별 진단이 가능해집니다. 7개 아키텍처 계열(Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3)에 걸친 12개 모델(model)에 이 프레임워크를 적용한 결과 세 가지 사실이 밝혀졌습니다. 첫째, FFN 모듈과 어텐션(attention) 출력 투영 W_o — 전송 클래스(Transmission Class) — 는 좁은 k 대역에 속합니다. 12개 모델 전체에서 최종 중간(median terminal) k는 [1.186, 1.204] 범위에 있으며(교차 계열 CV = 0.51%), 이는 SwiGLU/GeLU 활성화, Pre-LN/QK-Norm 배치, 70M~14B 크기에 걸쳐 공유됩니다. 둘째, 어텐션 입력 투영 W_q, W_k — 선택 클래스(Selection Class) — 는 와이불 계열에서 벗어나며, 그 정도는 저장 방식에 따라 달라집니다. Q/K를 별도로 저장하는 방식(OLMo-1, OLMo-2)은 [0.76, 0.99] 범위의 k(깊은 편)를 산출하고, GQA 모델은 [1.10, 1.16] 범위의 k(약한 편)를 산출합니다. Pythia의 병합된 W_qkv는 학습(training) 예산 T/tau를 단조적으로 추적하는 과도 구역에 위치합니다. 셋째, 람다(lambda)는 학습 중에 상당히 증가하며 Pythia 계열 내에서 sqrt(eta/lambda_wd)에 비례하여 스케일링됩니다(Pearson r = 0.94, 세 가지 전송 유형), 이는 Fan et al. (2025)의 결과와 방향적으로 일치합니다. 두 매개변수(parameter)는 독립적인 정보를 담고 있습니다. k는 기능적 클래스를 나타내고, 람다는 학습 진행 상황을 나타냅니다. 우리는 https://github.com/tiexinding/NPM-Weibull-public 에서 npm-weibull-py v0.4(Python 라이브러리)와 DATABASE_v9_1을 공개합니다.

원문 초록

We apply the Weibull distribution -- a two-parameter family from extreme-value theory -- as a diagnostic framework for element-wise weight magnitude distributions in transformers. At initialization, i.i.d. Gaussian weights give |w| ~ HalfNormal, yielding k ~ 1.20 via middle-80% probability-plot fit (the protocol used throughout this work). This anchor makes k a principled, architecture-independent measuring stick for training dynamics; fitting each weight matrix independently at every layer at every checkpoint enables per-component, per-layer, and per-step diagnostics that aggregate statistics cannot resolve. Applying this framework to 12 model entries spanning 7 architectural families (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) reveals three findings. First, FFN modules and the attention output projection W_o -- the Transmission Class -- fall in a narrow k band: median terminal k in [1.186, 1.204] across 12 entries (cross-family CV = 0.51%), shared across SwiGLU/GeLU activations, Pre-LN/QK-Norm placements, and 70M-14B sizes. Second, the attention input projections W_q, W_k -- the Selection Class -- depart from the Weibull family, with severity shaped by storage: separately-stored Q/K (OLMo-1, OLMo-2) yields k in [0.76, 0.99] (deep); GQA models yield k in [1.10, 1.16] (mild); Pythia's merged W_qkv occupies a transitional zone tracking training budget T/tau monotonically. Third, lambda grows substantially during training and scales with sqrt(eta/lambda_wd) within the Pythia family (Pearson r = 0.94, three Transmission kinds), directionally consistent with Fan et al. (2025). The two parameters carry independent information: k labels the functional class, lambda labels training progress. We release npm-weibull-py v0.4 (Python library) and DATABASE_v9_1 at https://github.com/tiexinding/NPM-Weibull-public .

요약

트랜스포머의 가중치 분포를 진단하기 위해 와이불 분포(Weibull distribution)를 적용한 프레임워크를 제안하여, FFN 모듈과 어텐션 출력 레이어는 좁은 형상 파라미터(k) 대역을 공유하는 반면 어텐션 입력 레이어는 아키텍처에 따라 분포 특성이 달라짐을 확인했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.18898v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22864v2cs.CV공통 태그 Diagnostic

Spatial-IQ: 계층적 능력 테스트를 통한 공간 지능 분해

Spatial-IQ: Deconstructing Spatial Intelligence via Hierarchical Capability Tests

다중모달 대규모 언어 모델(MLLM)은 시각 해석에는 뛰어나지만, 인간이 안정적으로 풀 수 있는 공간 추론 과제에서는 실패한다. 기존 벤치마크는 이러한 모델을 블랙박스로 평가하여 낮은 성능의 근본 원인을 식별하는 능력을 제한한다. 모델이 공간 추론 과제에서 실패할 때, 그 장애가 객체 경계 인식과 같은 지각(perceptual) 문제인지, 가려짐에 대해 추론하여 숨겨진 기하를 추론하는 것과 같은 인지(cognitive) 문제인지 판별하기 어렵다. 우리는 Spatial-IQ를 제안한다. 이는 쌓인 3D 구조에서의 객체 개수 세기를 인간 공간 인지의 발달 단계에 따라 구성된 9개의 지각·인지 하위 과제로 분해하는 계층적 진단 프레임워크이며, 정신 회전(mental rotation)을 추가 목표 프로브로 포함한다. NVIDIA Isaac Sim을 사용하여 과제별 ground truth를 갖춘 약 80,000개의 다양한 쌓인 3D 구조 데이터셋을 절차적으로 생성했다. 자유 응답 텍스트, 객관식 이미지, 이미지 편집의 세 가지 출력 형식과 인간 기준선을 함께 사용하여 모델을 평가한다. Spatial-IQ 프레임워크는 최고 성능 모델이 종종 목표 과제(객체 개수 세기)를 뒷받침하도록 의도된 하위 수준 하위 과제에는 성공하지 못한 채 목표 과제에서 성공하는 경우가 많으며, 모델마다 이러한 계층적 연쇄를 얼마나 유지하는지가 다르다는 것을 보여준다. 이는 목표 과제 정확도만으로는 드러나지 않을 지름길(shortcut) 행동을 종종 드러낸다. 마지막으로, 계층적 하위 과제에 대한 사고의 연쇄(Chain-of-Thought, CoT) 감독과 검증 가능 보상을 이용한 강화학습을 결합하여 모델을 학습하면, 하위 과제 간 공간적 일관성과 목표 과제 정확도가 모두 크게 향상됨을 보여준다. 이는 제안한 분해가 진단 도구이자 학습 신호 모두로서 가치 있음을 뒷받침한다.

arXiv:2607.24743v4cs.CV공통 태그 Diagnostic

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.