다중모달 대규모 언어 모델(MLLM)은 응답을 자기회귀적으로 생성하며, 점진적으로 확장되는 컨텍스트에서 시각 정보와 언어 정보를 통합합니다. 해석 가능성에 관한 선행 연구는 개별 레이어와 서킷(어디서)에 초점을 맞추었고, 생성 중 멀티모달 연산의 토큰 수준 동역학(언제)은 충분히 탐구되지 않았습니다. 본 연구는 이 간극을 해소하고, 의미적 역할에 따른 어텐션 변화를 연구합니다. 이미지, 텍스트, 인스트럭션, 이전에 생성된 토큰에 대한 모델 어텐션을 한 번에 하나의 토큰씩(OTaT) 추적합니다. 단일 응답 내에서 시각적 컨텍스트와 텍스트 컨텍스트 간의 명시적 전환이 필요한 멀티모달 태스크를 소개합니다. 두 가지 주류 모델 패밀리와 다양한 크기의 오픈 가중치 MLLM 4종에 걸쳐 일관된 패턴을 확립합니다: 이미지로부터 도출된 정보가 필요한 토큰에서 이미지에 대한 어텐션이 최고조에 달하고, 인스트럭션 토큰은 태스크 전환 시 재방문되며, 이전에 생성된 토큰에 대한 어텐션은 생성이 진행될수록 증가합니다. 인과적 어텐션 차단 개입(causal attention blocking intervention)은 이러한 경향의 기능적 역할을 검증합니다. 어텐션이 교란된 상황에서의 모델 동작을 분석하고, 응답이 언어 사전(language prior)으로 회귀하거나, 크로스모달 누출(cross-modal leakage), 부정(denial), 또는 복구(recovery) 현상을 보임을 관찰합니다. 마지막으로, 새로운 분석을 통해 어텐션 동역학을 파악하여, 적절한 시점에 관련 모달리티에 대한 어텐션을 강화하는 간단한 테스트 타임 개입(test-time intervention)을 제안하고, 이를 통해 멀티모달 태스크 성능을 크게 향상시킵니다.
자율주행 강화학습(RL) 에이전트에서 보상 설계가 Perceiver 기반 인코더의 크로스-어텐션(cross-attention) 배분을 체계적으로 바꾸는지 Waymo Open Motion Dataset 50개 시나리오로 분석했으며, 에피소드 내 상관과 Fisher z 변환 집계가 충돌 위험과 에이전트 지향 어텐션의 양의 관계를 더 정확히 드러낸다. 내비게이션 보상은 GPS 경로 토큰 어텐션을 최대 4.7배 높이고 연속 time-to-collision(TTC) 근접 페널티는 충돌 없는 구간에서도 경계적 감시를 유지하는 학습된 경계 사전(vigilance prior)을 만들며, 보상 구성에 따라 어텐션-위험 상관 방향이 뒤집히기도 해 안전 중요 RL에서 어텐션 분석이 보상 함수의 표현 행동을 검증하는 진단 도구가 될 수 있음을 보였다.
난류 유동 앙상블에서 에너지적으로 우세한 모드를 추출하는 데 POD를 사용한 연구에서 영감을 받아, 트랜스포머 어텐션 필드에 대한 스케일 선택적 적절 직교 분해(POD)를 제안한다. 모를렛 연속 웨이블릿 변환은 문서 앙상블 전체에 걸친 어텐션 지연 구조에서 지배적인 시간 스케일을 식별하고, POD는 각 스케일에서 어텐션 필드 앙상블로부터 에너지적으로 우세한 모드를 추출한다. 그 결과 모드는 층에 따른 스케일 조직을 드러내며, 초기 층은 미세 스케일을 강조하고 후기 층은 더 거친 스케일로 이동한다. POD 고유값 감쇠율로부터 스펙트럼 집중 지수를 정의하고, 이것이 어텐션 필드 복잡도에 따라 층을 구분함을 경험적으로 보인다. 고전적 POD 최적성 정리에 따르면, 추출된 모드는 앙상블에 대한 평균 L2 재구성 오차를 최소화하며(정리 1), 이는 각 층에 대한 데이터 기반 유효 랭크를 제공한다. 이 방법은 아키텍처 수정이나 언어학적 주석이 필요하지 않으며, 지배적인 어텐션 패턴은 앙상블 통계만으로 나타난다. 난류 유동에 대한 유비는 물리적이기보다 구조적이다. 우리는 유체 역학 자체가 아니라 앙상블 공분산과 모드 분석을 빌려 쓴다.