불편 확률적 그래디언트(unbiased stochastic gradient)는 기댓값상 전체 그래디언트와 일치할 수 있지만 유한 스텝 안정성을 변화시킵니다. 본 논문에서는 문맥 내 선형 회귀(in-context linear regression)를 위한 단일 층 선형 셀프 어텐션에서 이러한 효과를 연구하며, 여기서 공유 모드 미니배치 학습은 무작위 2-인자 사상(random two-factor map)으로 정확히 축소됩니다. 풀배치 사상은 타원형 영역을 보존하는 반면, 표본 추출된 곡률과 타깃 상관관계는 배치에 의존적인 안정성 경계를 형성합니다. 이들의 결합된 변동은 매개변수 업데이트 수준에서는 중심화되어 있지만 풀배치 경계 좌표의 엄격한 외향 표류(strictly outward drift)를 유도합니다. 저자들은 정확한 단일 스텝 교차 기준, 적응형 집중 한계, 조건부 표류 항등식을 도출하고, 균형 전환 모델에서 거의 확실한 이탈을 증명합니다. 독립적인 긴 프롬프트의 경우, 모드 누출은 프롬프트 길이의 제곱근 역수로 감쇠합니다. 유한 토큰 소프트맥스 어텐션의 경우, 어텐션 점수가 집중됨에 따라 줄어드는 유효 컨텍스트 길이에 의해 지배되는 명시적 경계 교차 법칙을 도출합니다. 주변 어텐션 목적 함수에 대한 실험을 통해 축소된 예측을 검증하였으며, 학습된 네 개의 인과적 소프트맥스 트랜스포머는 더 작은 첫 스텝 배치에 대해 더 큰 평균 곡률 이동을 보여 예측된 비선형 외향 바이어스와 일치함을 확인했습니다.
신경 스케일링 법칙은 모델, 데이터, 연산량이 증가함에 따라 손실이 어떻게 감소하는지를 설명하지만, 그보다 선행하는 질문에는 답하지 못한다: 고정된 과제에 대해 이를 해결하는 데 필요한 최소 모델 용량은 얼마인가? 우리는 Transformer에 대한 과제 고유 용량의 스펙트럴 개념인 엔트로픽 경계(Entropic Bound)를 통해 이를 연구한다. 먼저 선형 어텐션 대리 모델에서 토큰 혼합 연산자의 고유 rank $r^*$가 tight 하한이라는 것을 증명한다: rank가 부족한 모든 모델은 피할 수 없는 과잉 위험(excess risk)을 초래하며, 이 경계는 $r^*$에서 달성 가능하다. 또한 표준적인 저rank 암시적 바이어스 가정 하에서 경사하강법이 이 rank를 회복함을 보이고, 세 가지 성질 모두를 실험적으로 확인하며, $r^*$가 학습 전에 데이터로부터 회복 가능함을 보인다. 그런 다음 이것이 실제 어텐션으로 이전되는지 묻는다. 단순한 이전은 실패하며, 통제된 보간 사다리(interpolation ladder)가 원인을 정확히 국한한다: 소프트맥스도 아니고 rank 제약도 아니라, 정적 가중치 커널이 요약할 수 없는 어텐션 혼합 연산자의 입력 조건부(input-conditioned) 특성이다. 이에 영감을 받아 어텐션 고유 rank(attention-native intrinsic rank)—어텐션 클래스 내에서 과제를 실현하는 최소 query-key 커널 rank—를 도입하고, 이 정의 하에서 선형 및 소프트맥스 어텐션 모두에 대해 엔트로픽 경계의 전체 구조(결함, 달성 가능성, 회복)가 복원됨을 보이며, 에너지 유효 rank(energy effective rank)가 소프트맥스 왜곡에 강건한 추정량임을 보인다. 마지막으로 데이터만으로 예측 가능한 영역의 경계를 매핑한다: $r^*$는 대규모에서 value map 없이도 선형 QK 어텐션에 대해 정확히 회복 가능한 반면, 소프트맥스 어텐션은 비선형 역변환과 커널-값 식별 가능성(identifiability) 효과로 인해 부분적인 사전학습 회복만 허용한다. 우리의 결과는 엔트로픽 경계를 사후 기술자(post-hoc descriptor)에서 예측 가능성 경계가 정밀하게 특성화된 어텐션 고유 용량 측정치로 재구성한다.
트랜스포머는 자연어 처리(NLP), 컴퓨터 비전(CV), 웹 검색, DNA 서열 분석 등 다양한 분야에서 널리 사용된다. 그 광범위한 적용 가능성을 고려할 때, 트랜스포머 모델의 성능 향상은 매우 중요하다. 그러나 어텐션 연산 동안 처리 유닛과 메모리 사이에서 발생하는 대량의 데이터 이동은 그 효율성을 크게 제한한다. 메모리 내 처리(PIM)는 메모리 내부에서 직접 연산을 수행함으로써 이 문제를 완화한다. 기존 연구에서 PIM 기반 트랜스포머 구현을 제안했지만, 비용이 큰 뱅크 간 통신 문제와 메모리 뱅크의 제한된 용량으로 인한 확장성 한계에 직면한다. 그 결과 어텐션 관련 데이터를 여러 뱅크에 분할해야 하며, 이는 PIM의 잠재적 이점을 감소시킨다. 본 연구에서는 RED-PIM을 제안한다. 이는 알고리즘-아키텍처 공동 설계로, 뱅크 간 데이터 이동을 O(N^2)에서 O(N)으로 최소화하고 중간 어텐션 행렬을 N x N에서 d x d로 축소하여 어텐션 지연 시간을 줄인다. 행렬 연산을 재구성하고, 연산을 로컬에서 수행하며, 최적화된 데이터 전송 전략을 적용함으로써 RED-PIM은 연산 비용과 상호 연결 트래픽을 크게 줄인다. 기준선 PIM 구현과 비교했을 때, RED-PIM은 추론 시간을 16.05%에서 99.99%까지(기하평균 66.42%) 줄이며, 가장 큰 이득은 더 긴 시퀀스에서 나타난다. 실제 데이터셋에서 RED-PIM은 긴 문서에 대해 99.60%, 짧은 문서에 대해 13.44%의 성능 향상을 달성하면서 정확도를 유지하거나 개선한다. 이러한 결과는 확장 가능하고 효율적인 트랜스포머 추론을 위한 RED-PIM의 효과를 보여준다.
트랜스포머는 강력한 성능을 달성하지만 내부 연산은 여전히 불투명하다. 우리는 각 트랜스포머 층을 동적 그래프로 보며, 그 노드는 토큰 표현과 헤드별 어텐션 출력이고 Multi-Head Attention(ATT)과 MLP를 모듈 경계로 둔다. 이 그래프 위에서 우리는 LIG(Layer-wise Integrated Gradients)를 사용하며, 이는 비선형 모듈 경계에서 집합-대-집합 통합 그래디언트(IG)를 적용한다. 집합-대-집합 IG는 입력 토큰 표현의 집합에서 출력 표현의 집합으로의 사상에 IG를 적용하여 토큰-대-토큰 기여도를 평가하며, 이는 기존 IG 적용에서 표준이 아니다. 이는 L2 스칼라화를 통해 IG를 통상의 스칼라 목적함수 설정에서 집합-대-집합 사상으로 확장하고, Layer-wise Relevance Propagation(LRP)의 정신에 따라 층 내 기여도를 구성하며, IG 완전성(completeness)이 각 경계에서 LRP 스타일 보존의 역할을 한다. 우리는 LIG를 사용하여 (i) L2 기준 하에서 모듈별 구성과 층 전체 귀속(attribution) 간의 일치, 그리고 (ii) 분리된 ATT와 MLP 기여도를 추적함으로써 층 내 정보 흐름을 분석한다. BERT-base와 PTB에서 층 내 일관성을 가장 잘 보존한 구성은 ATT 기준선으로 대상 토큰의 임베딩을, MLP 기준선으로는 a=0에서의 ATT 출력 또는 Zero를 사용했다. 따라서 우리는 LIG를 모델별 재학습이나 연산별 해석기 설계 없이 모듈 경계 수준의 진단용 XAI 도구로 제시한다. 코드는 https://github.com/eightsuzuki/layer-wise-integrated-gradients 에서 이용할 수 있다.
그래프 알고리즘 작업에서 트랜스포머의 깊이-너비 트레이드오프를 분석한 결과, 깊이를 고정하고 너비를 노드 수에 선형으로 늘리면 다양한 그래프 문제를 상수 깊이만으로 해결할 수 있음을 보였으며, 오일러 순환 검증 등 일부 과제는 거의 2차 너비가 필요함을 증명했다. 실험에서는 전체 파라미터 수를 맞춘 조건에서 더 넓고 얕은 모델이 깊은 모델과 비슷한 정확도를 유지하면서 병렬화 가능한 하드웨어 덕분에 학습·추론 시간이 더 빠른 경우가 있음을 확인했다.
계층적 구조에 대한 이해가 필요한 작업으로 학습될 때, 트랜스포머는 잔차 스트림(residual stream)의 기하학적 구조와 후입선출(LIFO) 순서를 유지하는 스택 형태의 어텐션(attention) 패턴이라는 뚜렷한 방식으로 이 계층 구조를 표현하는 것으로 밝혀졌습니다. 그러나 이러한 표현들이 실제로 인과적으로 사용되는지 아니면 단순히 해독 가능한 것인지는 여전히 불분명합니다. 우리는 계층적 실제 값(ground truth)이 명시적인 균형 잡힌 괄호 시퀀스의 형식 언어인 Dyck 언어로 학습된 트랜스포머에서 이러한 격차를 조사합니다. 잔차 스트림과 어텐션 패턴에 대해 프로빙(probing) 및 개입(intervention)을 수행한 결과, 깊이(depth), 거리(distance), 스택 최상단(top-of-stack) 신호는 모두 해독 가능하지만, 그 인과적 역할은 서로 다름을 발견했습니다. 구체적으로, 실제 스택 최상단 위치에 대한 어텐션을 마스킹하면 장거리 정확도가 급격히 떨어지는 반면, 저차원 잔차 스트림 부분 공간을 제거(ablation)하는 것은 비교적 적은 영향을 미칩니다. 템플릿화된 자연어 설정으로 확장되는 이러한 결과들은, 관련 계층적 변수가 알려진 통제된 설정에서조차도, 해독 가능성만으로는 인과적 사용을 의미하지 않음을 시사합니다.