잠재 행동 모델(Latent action models)은 행동 라벨이 없는 비디오의 두 프레임 간 전이(transition)를 나타내는 코드를 추론한다. 최근의 방법들은 이 코드가 덧셈적으로 합성되고 반대칭적으로 역전되도록 정규화(regularization)하며, 그 결과 발생하는 오차의 수치상 자릿수 감소를 코드가 시간적 구조를 포착했다는 무라벨 보증(label-free certificate)으로 보고한다. 본 연구에서는 이러한 결론이 타당하지 않음을 보인다. 재구성은 디코딩된 전이를 상태 피처의 차이로 유도하며, 이 경우 어떠한 쌍에 대해서도 두 항등식이 성립하므로, 평가 지표는 이를 방해 상태(nuisance state)나 좌표계 규약을 인코딩한 해와 구별할 수 없다. 5개 소스 도메인에 걸쳐, 제약 없이 학습된 대응 모델조차 학습되지 않은 기준선 앵커 대비 오차 감소율의 83-97%를 이미 달성한다. 잔차의 차이는 무엇을 학습했는지만큼이나 디코더 패밀리에 의해 좌우된다. 시간적 쌍 구조를 파괴한 후 재학습된 제약 모델조차도 각 도메인에서 실제 데이터에 대한 비제약 모델보다 더 낮은 오차를 달성한다. 다운스트림 작업에서 시간적 쌍 구조를 보존하는 것은 LIBERO-GOAL이나 LIBERO-SPATIAL에서 일관된 이점을 제공하지 못하며, 테스트된 로봇 팔 전반에서 대수적 오차가 개선될수록 코드의 평균 선형 행동 디코딩 가능성은 오히려 떨어진다. 또한 가장 직접적인 해결책으로서 파괴된 쌍에서 대수적 관계가 깨지도록 요구하는 위반-대조 목적함수(violation-contrastive objective)를 테스트했으나, 테스트된 구성에서는 학습 및 테스트 트리플 모두에서 재구성 예산 내 한계 수준의 분리만을 제공했다. 본 연구는 현재 이러한 방법들에 결여된 검증 프로토콜로 기준선 보정 지표, 파괴된 쌍에 대한 재학습, 시드-예산 분석을 제안한다.
3D 정책 학습(3D policy learning)은 뛰어난 일반화와 다양한 형태 간 전이(cross-embodiment transfer) 가능성을 보여주지만, 학습(training) 불안정성과 심각한 과적합(overfitting)으로 인해 진척이 저해되어 강력한 3D 인지 모델 도입이 가로막혀 왔습니다. 본 연구에서는 이러한 실패 원인을 체계적으로 진단하여, 3D 데이터 증강(data augmentation)의 부재와 배치 정규화(Batch Normalization)의 부정적 영향을 주된 원인으로 규명합니다. 이에 따라 대규모 환경에서의 안정성을 위해 특별히 설계되고 대규모 사전학습(pre-training)을 활용하도록 고안된, 확장 가능한 트랜스포머(transformer) 기반 3D 인코더와 디퓨전 디코더를 결합한 새로운 아키텍처를 제안합니다. 제안하는 접근법은 까다로운 조작 벤치마크에서 최첨단 3D 베이스라인들을 크게 능가하며, 확장 가능한 3D 모방 학습(imitation learning)을 위한 새롭고 견고한 토대를 마련합니다. 프로젝트 페이지: https://r3d-policy.github.io/
의료 영상 분야에서는 내과의사와 의사들의 업무 부담을 덜기 위해 객체 검출(object detection), 분할(segmentation), 분류(classification)와 같은 AI 보조 기술이 널리 활용되고 있습니다. 그러나 주로 단일 태스크 모델이 사용되어 태스크 간의 공유 정보를 간과하며, 이는 실제 응용 환경에서 비효율성을 초래합니다. 본 연구에서는 의료 영상에서 3D 검출, 분할, 분류를 공동으로 수행하여 단일 태스크 모델의 한계를 해결하는 새로운 엔드투엔드(end-to-end) 멀티태스크 트랜스포머 기반 모델인 MTMed3D를 제안합니다. 제안하는 모델은 트랜스포머를 공유 인코더로 사용하여 다중 스케일(multi-scale) 특징을 생성하고, 그 뒤를 CNN 기반의 태스크별 디코더가 잇습니다. 제안된 프레임워크는 BraTS 2018 및 2019 데이터셋에서 평가되었으며, 세 가지 태스크 모두에서 유망한 결과를 달성했고, 특히 검출에서는 기존 연구보다 더 우수한 성능을 거두었습니다. 아울러 본 멀티태스크 모델을 개별적으로 학습된 동등한 단일 태스크 변형 모델들과 비교했습니다. 본 멀티태스크 모델은 단일 태스크 모델과 대등한 성능을 유지하면서도 계산 비용을 크게 절감하고 더 빠른 추론(inference) 속도를 달성하여 효율성 측면의 이점을 보여줍니다. 저자들이 아는 한, 본 연구는 3D 의료 영상에서 검출, 분할, 분류 태스크를 동시에 다루는 멀티태스크 학습에 트랜스포머를 활용한 최초의 연구이며, 진단 과정을 개선할 수 있는 잠재력을 제시합니다. 코드는 https://github.com/fanlimua/MTMed3D.git 에서 확인할 수 있습니다.
희소 이미지로부터 관절형 객체를 재구성하려면 완전한 기하, 이동 가능한 부품, 운동 파라미터를 복원해야 한다. 최근 방법들은 일반적으로 기하 재구성, 부품 추론, 관절 추정을 서로 다른 단계로 분리한다. 이러한 분리는 형상, 활성 부품, 운동 사이의 일관성을 약화시킬 수 있으며, 상당한 추론 비용도 발생시킨다. 우리는 잠재 기하 학습을 통한 관절형 객체 재구성을 위한 엔드투엔드 순전파(feed-forward) 프레임워크인 Artic-O를 제안한다. Artic-O는 이미지 또는 뷰 공간에서 기하를 맞추는 대신, 희소 다중 상태 관측을 사전학습된 잠재 기하 공간으로 매핑하며, 여기서 고정된 flow-matching 디코더가 가시적 및 가려진 구조를 복원하기 위한 완전 형상 사전(prior)을 제공한다. 기하와 관절을 연결하기 위해 Artic-O는 활성 부품 분할 및 관절 예측을 위해 이미지 기반(image-grounded) 부품 추론 모듈에서 시각 토큰, 기하 잠재 표현, 점별(point-wise) 디코더 특징을 융합한다. 또한 재구성과 부품 수준 지도를 균형 있게 맞추기 위해 기하-관절 커리큘럼과 분리된 2-pass 전략으로 모델을 추가로 학습한다. PartNet-Mobility에서 Artic-O는 강력한 기존 방법인 LARM보다 훨씬 더 효율적이면서도 우수한 재구성 품질을 달성한다. Chamfer Distance를 낮추고 F-score를 개선하며, 대부분의 관절 지표에서 비슷하거나 더 나은 관절 정확도를 달성하는 동시에, 객체별 추론 시간을 9분에서 약 0.3초로 단축한다.
최근 데이터 기반 방법론의 발전은 공학 시스템의 정확한 상태 재구성을 제공하는 새로운 접근법의 토대를 마련했습니다. 특히 4세대(Generation-IV) 원자로와 같은 신기술의 경우, 관련된 강결합 물리 현상의 복잡성과 극도로 가혹하고 적대적인 환경으로 인해 원자로는 이러한 과제에서 특히 까다로운 적용 대상입니다. 데이터 기반 기법은 전산 대리 모델과 시스템의 국소적 노이즈 측정값을 포함한 다양한 정보 소스를 결합하여 상태를 강건하게 추정할 수 있습니다. 본 연구에서는 새로운 얕은 순환 디코더(Shallow Recurrent Decoder) 아키텍처를 활용하여, 단 3개의 노외 시계열 중성자속 측정값만으로 원자로의 전체 상태 벡터(중성자속, 전구물질 농도, 온도, 압력 및 속도 포함)를 추론(inference)합니다. 특히 본 논문은 매개변수화된 시계열 데이터를 처리할 수 있도록 표준 아키텍처를 확장하여, 다양한 사고 시나리오를 조사할 수 있도록 보장하고 여러 운전 조건에서 정확한 상태 추정을 제공하는 본 접근법의 성능을 보여줍니다. 본 논문에서는 액체 상태의 연료 특성으로 인해 중성자 물리학과 열수력학 간의 강한 결합이 특징인 4세대 원자로 개념인 용융염 고속로(MSFR, Molten Salt Fast Reactor)를 테스트 케이스로 고려합니다. 본 연구의 유망한 결과는 상당히 낮은 학습(training) 비용 덕분에 상태 추정과 관련된 불확실성을 정량화할 수 있다는 점에 의해 더욱 강화됩니다. 실시간으로 모든 특성 필드를 정확하게 재구성할 수 있어, 본 접근법은 원자로 디지털 트윈 프레임워크 내에서 모니터링 및 제어 목적에 적합합니다.
대규모 언어 모델(LLM)을 효율적으로 스케일링(scaling)하기 위해서는 지배적인 자기회귀(AR) 방식의 대안을 모색해야 하며, 마스크드 디퓨전 모델(MDM)이 유력한 후보로 떠오르고 있습니다. 그러나 통상 디코더 전용(decoder-only)인 AR과 인코더 전용(encoder-only)인 경우가 많은 MDM 패러다임을 비교할 때는 서로 다른 아키텍처로 인해 혼선이 발생하며, 진정한 알고리즘적 트레이드오프와 효율성 간의 절충점이 불분명해집니다. 본 연구는 디코더 전용 프레임워크 내에서 MDM을 평가함으로써 이러한 요소들을 분리하여 다음을 수행합니다: (1) 순서의 차이를 통해 MDM(임의 순서 AR 형태)과 표준 AR 패러다임을 공정하게 비교합니다. (2) MDM 아키텍처가 계산 효율성에 미치는 영향을 조사합니다. 더 넓은 모델링 공간에도 불구하고 디코더 전용 MDM이 온도 어닐링(temperature annealing)과 같은 기법을 통해 상당한 추론 속도 향상($\sim25\times$)과 대등한 수준의 펄플렉서티(perplexity)를 달성할 수 있음을 보여주며, 이는 추론 연산량을 줄일 수 있는 경로를 제시합니다. 본 연구는 핵심 모델링 선택과 아키텍처의 영향을 분리함으로써 연산 효율성이 더 높은 파운데이션 모델을 개발하기 위한 통찰을 제공합니다. 코드는 https://github.com/scxue/AO-GPT-MDM 에서 확인할 수 있습니다.
트랜스포머(Transformer) 기반 모델은 인지, 예측, 계획 전반에 걸쳐 장거리 공간 의존성, 다중 에이전트 상호작용 및 멀티모달 컨텍스트를 포착할 수 있어 자율주행 분야의 핵심 패러다임으로 자리 잡고 있습니다. 동시에 고용량 어텐션(attention) 기반 아키텍처는 상당한 지연 시간(latency), 메모리, 에너지 오버헤드를 발생시키기 때문에 실제 차량에 배포하는 데 여전히 어려움이 따릅니다. 본 서베이에서는 대표적인 트랜스포머 기반 자율주행 모델을 검토하고, 이를 태스크 역할, 센싱 구성 및 아키텍처 설계를 기준으로 체계화합니다. 더 나아가, 배포 지향적 관점에서 이러한 모델들을 검토하고 효율성 제약 조건이 실제 모델 설계 선택에 어떻게 변화를 주는지 분석합니다. 또한 양자화(quantization), 가지치기(pruning), 지식 증류(knowledge distillation), 저순위 근사(low-rank approximation), 효율적 어텐션을 포함하여 트랜스포머 기반 주행 시스템과 관련된 압축 및 가속 전략을 검토하고, 이들의 이점, 한계 및 태스크별 적용 가능성을 논의합니다. 본 논문에서는 압축을 독립적인 사후 처리 단계로 다루기보다는, 배포 가능성, 견고성, 안전성에 직접적인 영향을 미치는 시스템 수준의 설계 고려 사항으로 강조합니다. 마지막으로, 효율적인 자율주행 시스템에 대한 표준화되고 안전성을 고려하며 하드웨어를 인지하는 평가를 향한 미해결 과제와 향후 연구 방향을 제시합니다.
자연어 처리(NLP)의 발전이 인지 모델링의 발전에 기여할 수 있을까요? 본 연구에서는 고전적인 사례 연구로 돌아가 많은 일반적인 NLP 작업에서 최신 기술을 이끌고 있는 인공 신경망의 역할을 살펴봅니다. 1986년, Rumelhart와 McClelland는 영어 동사 어간을 과거 시제 형태로 변환하는 법을 학습하는 신경망 아키텍처를 도입하여 큰 주목을 받았습니다. 그 직후, Pinker와 Prince(1988)는 Rumelhart와 McClelland의 여러 주장에 대해 포괄적인 반론을 제기했습니다. 이들의 비판은 주로 Rumelhart and McClelland (1986) 모델의 실증적 불충분성에 집중되었습니다. 그러나 오늘날 해당 모델은 몹시 뒤떨어져 있습니다. 본 논문에서는 현대 NLP 시스템에 사용되는 인코더-디코더(Encoder-Decoder) 네트워크 아키텍처가 과거 시제 매핑 문제를 조금도 단순화하지 않고도 Pinker와 Prince의 비판 대부분을 해소함을 보여줍니다. 또한 현대 신경망의 실증적 성능을 바탕으로 언어학 및 인지 모델링에서의 유용성을 재검토할 필요가 있음을 시사합니다.
최근 통합 의료 이미지 분할 모델 개발에 대한 관심이 높아지고 있으며, 특히 Segment Anything Model(SAM)의 등장 이후 더욱 그러하다. SAM은 자연 영역에서 유망한 이진 분할 성능을 보여 왔으나, 의료 영역으로의 전이는 여전히 어려운 과제로 남아 있다. 의료 이미지는 종종 범주 간 상당한 겹침을 갖기 때문이다. 이를 해결하기 위해, 우리는 의미적 의료 지식을 통합하여 의료 분할 성능을 향상시키는 통합 의료 분할 모델인 SEmantic-Guided SAM(SEG-SAM)을 제안한다. 먼저, 이진 예측과 의미 예측 사이의 잠재적 충돌을 피하기 위해 SAM의 원래 디코더와 독립적인 의미 인식 디코더를 도입한다. 이 디코더는 프롬프트가 지정된 객체에 대한 의미 분할과 이미지 내 프롬프트가 없는 객체에 대한 분류 모두에 특화되어 있다. 모델의 의미 이해를 더욱 강화하기 위해, 대규모 언어 모델(LLM)로부터 의료 범주의 핵심 특성을 수집하고 텍스트-비전 의미 모듈을 통해 SEG-SAM에 통합하여, 언어 정보를 시각적 분할 과제로 적응적으로 전이한다. 마지막으로, SEG-SAM의 두 디코더가 예측한 마스크 간 겹침을 더 크게 하도록 하는 cross-mask 공간 정렬 전략을 도입하여, 두 예측 모두에 이익이 되도록 한다. 광범위한 실험을 통해 SEG-SAM이 통합 이진 의료 분할에서 최신 SAM 기반 방법들을, 의미 의료 분할에서는 과제별 방법들을 능가함을 보여 주며, 유망한 결과와 더 넓은 의료 응용 잠재력을 드러낸다.
대규모 언어 모델(LLM)은 자연스러운 인간과의 상호작용을 통해 지식을 검색하는 강력한 도구로 부상했습니다. 뛰어난 텍스트 생성 능력에도 불구하고, LLM은 사실과 다른 진술을 생성하고 지식을 조작하는 환각(hallucination) 경향을 보이며, 이는 신뢰성과 신뢰도를 저해합니다. 여러 연구에서 LLM의 불확실성을 평가하고 환각을 탐지하는 방법을 탐구해 왔습니다. 그러나 기존 접근법은 대개 확률론적이고 계산 비용이 높아 실용적인 적용에 한계가 있습니다. 본 논문에서는 디코딩 단계에서 모델이 생성한 응답에 능동적으로 이의를 제기함으로써 LLM 불확실성 휴리스틱을 개발하는 새로운 방법인 다이버전 디코딩(diversion decoding)을 소개합니다. 다이버전 디코딩을 통해 LLM이 대안적 답변을 생성하려는 저항성을 포착하는 특징을 추출하고, 이 특징들을 활용하여 머신러닝 모델을 학습시킴으로써 LLM 불확실성에 대한 휴리스틱 측도를 개발합니다. 실험 결과, 다이버전 디코딩은 계산 복잡도가 현저히 낮으면서도 기존 방법을 능가하여 환각 탐지 평가를 위한 효율적이고 견고한 솔루션임을 입증합니다.
본 연구에서는 $K$개의 클라이언트가 각각 서로 다르지만 통계적으로 상관관계가 있을 수 있는 뷰(view)를 관찰하는 분산 다중 뷰 표현 학습(distributed multiview representation learning) 문제를 다룹니다. 클라이언트들은 각자의 뷰에서 국소적 표현을 독립적으로 추출하며, 중앙 디코더는 이를 활용하여 결합 타깃 추정을 수행합니다. 핵심적인 어려움 중 하나는 클라이언트 간 통신이 허용되지 않기 때문에 무엇을 인코딩할지 자율적으로 결정해야 한다는 점입니다. 본 논문에서는 이러한 조정 문제를 일반화 오차(generalization error) 관점에서 연구합니다. 분류(classification) 및 회귀 태스크 모두에 대해, 학습(training) 및 테스트 데이터셋 전반과 모든 뷰에 걸친 결합 잠재 변수의 최소 기술 길이(MDL, Minimum Description Length)로 표현되는 새로운 일반화 한계를 도출합니다. 본 연구의 구조 인식 한계는 추출된 표현 간의 통계적 상관관계가 한계를 더 긴밀하게(tighten) 만든다는 점을 밝혀내며, 교차 뷰 특징(feature) 정렬의 실증적으로 관찰된 이점에 대한 이론적 근거를 제공합니다. 직관과 다를 수 있지만, 본 연구 결과는 인코더가 중복된 표현을 추출함으로써 이점을 얻을 수 있음을 시사합니다. 이러한 한계에 착안하여, 완전 분산 방식으로 학습 및 적용할 수 있는 데이터 의존적 가우시안 곱 혼합 사전 분포(Gaussian product mixture prior)를 제안합니다. 이 다중 뷰 사전 분포의 결합 구조는 주변부 전용(marginal-only) 접근 방식에서 일반적으로 무시되는 뷰 간 의존성을 포착합니다. 여러 데이터셋, 인코더 아키텍처, 뷰의 수 및 왜곡 설정에 걸친 포괄적인 실험을 통해 제안하는 접근 방식의 효과를 입증합니다.
루프 트랜스포머는 물리적 블록의 컴팩트한 스택을 여러 라운드에 걸쳐 적용하여 순차 계산을 확장하며, 저장된 매개변수를 늘리지 않으면서 펼쳐진 깊이를 증가시킨다. 이러한 재사용은 잔차 스케일링 문제를 바꾼다. 비결합 트랜스포머에서는 각 잔차 분기가 자신만의 매개변수 업데이트를 수신하고 적용하는 반면, 루프 트랜스포머에서는 하나의 공유 업데이트가 반복 방문으로부터의 기울기를 집계하고, 다음 선형화된 순전파에서 동일한 방문들에 의해 다시 읽힌다. 우리는 방문 정렬 계수 $κ_R$에 의해 제어되는 1차 섭동 상한을 통해 이 결합 깊이(tied-depth) 효과를 형식화한다. 이 상한은 방문이 비상관화될 때 DeepNorm 지수를 복원하지만, 보수적인 정렬 체제에서는 고정된 물리적 깊이에서 루프 수가 증가함에 따라 지수가 $1/4$에서 $1/2$로 증가해야 한다. 그 결과로 나온 방법인 DeepLoop는 Post-LN DeepNorm 아키텍처를 유지하고, 펼쳐진 깊이 $N$에 대해 $α=(2N)^{1/2}$ 및 $β=(8N)^{-1/2}$를 설정한다. GPT-2 small 및 GPT-2 medium 규모의 GPT 스타일 루프 언어 모델에서 DeepLoop는 물리적 블록이 재방문되지 않을 때는 중립적이며, 순환 깊이가 활성화되면 검증 손실과 하류 태스크 정확도를 개선한다. 이러한 결과는 안정적인 순환 깊이가 명목상의 층 수뿐만 아니라 매개변수 방문을 고려하는 잔차 스케일링 규칙을 필요로 함을 보여준다.
본 논문에서는 카메라 네트워크 전반에 걸쳐 이동하는 객체의 궤적을 예측하는 다중 카메라 궤적 예측(MCTF, Multi-Camera Trajectory Forecasting) 문제를 소개한다. 감시 및 교통 모니터링과 같은 응용 분야에서 다중 카메라 설정이 널리 사용되고 있음에도 불구하고, 기존 궤적 예측 기법들은 일반적으로 단일 카메라 궤적 예측(SCTF)에 집중되어 있어 이러한 응용 분야에서의 활용이 제한된다. 나아가 단일 카메라를 사용하는 것은 가용한 시야각(field-of-view)을 제한하여 장기적인 궤적 예측을 불가능하게 만든다. 저자들은 여러 시점으로부터 추정된 모든 상대적 객체 위치를 동시에 활용하고 가능한 모든 시점에서 객체의 미래 위치를 예측하는 MCTF 프레임워크를 개발함으로써 SCTF의 이러한 한점들을 해결한다. 제안하는 프레임워크는 객체가 어느 카메라에 나타나는지(Which), 그리고 카메라 뷰 내에서 언제(When) 어디에(Where) 나타나는지를 예측하는 Which-When-Where 접근법을 따른다. 이를 위해 다중 카메라 뷰에 걸친 궤적과 관련 불확실성을 인코딩하는 새로운 기법인 궤적 텐서(trajectory tensor) 개념을 제안한다. 궤적 텐서를 위한 여러 인코더-디코더 MCTF 모델을 개발하고, 특히 MCTF 작업을 위해 구축된 자체 데이터베이스(15개 카메라 뷰의 600시간 비디오 데이터로 구성)에서 광범위한 실험을 제시한다. 결과는 제안하는 궤적 텐서 모델이 좌표 궤적 기반 MCTF 모델 및 MCTF에 맞게 변형된 기존 SCTF 기법들보다 우수한 성능을 보임을 나타낸다. 코드는 https://github.com/olly-styles/Trajectory-Tensors 에서 확인할 수 있다.
경량 음성 인식 모델은 엣지 배포에 필수적이지만, Moonshine과 같이 고도로 최적화된 아키텍처는 벵골어와 같이 형태론적으로 풍부한 비라틴 언어에서 종종 실패한다. 본 연구는 이 실패의 근본 원인을 모델의 영어 중심 바이트 수준 토크나이저로 규명한다. 해당 토크나이저는 벵골어 단어를 고분기율(high-fertility) 바이트 체인으로 분절하여 추론 중 치명적인 자기회귀 붕괴(autoregressive collapse)를 유발한다. 이를 해결하기 위해, 디코더 어휘를 네이티브 스크립트 BanglaBERT WordPiece 어휘로 교체하고 대응하는 토큰 임베딩 행렬의 크기를 재조정하는 새로운 어휘 이식(vocabulary transplantation) 파이프라인을 제안한다. 실험 결과, 토큰 분기율이 9.16에서 1.30으로 감소하였다. 자기회귀 시퀀스 길이를 85.8% 단축함으로써 디코딩 불안정성이 완전히 해소되었다. 882시간 규모의 Lipi-Ghor 데이터셋으로 평가한 결과, 수정된 아키텍처는 경쟁력 있는 21.54%의 단어 오류율(WER)과 0.0053의 실시간 인수(RTF)를 달성하였다. 궁극적으로 본 연구는 자원 집약적인 사전학습 없이 경량 ASR 모델의 교차 스크립트 적응을 위한 확장 가능하고 재현 가능한 청사진을 제공한다.
We present a study on how and where personas -- defined by distinct sets of human characteristics, values, and beliefs -- are encoded in the representation space of large language models (LLMs). Using a range of dimension reduction and pattern recognition methods, we first identify the model layers that show the greatest divergence in encoding these representations. We then analyze the activations within a selected layer to examine how specific personas are encoded relative to others, including their shared and distinct embedding spaces. We find that, across multiple pre-trained decoder-only LLMs, the analyzed personas show large differences in representation space only within the final third of the decoder layers. We observe overlapping activations for specific ethical perspectives -- such as moral nihilism and utilitarianism -- suggesting a degree of polysemy. In contrast, political ideologies like conservatism and liberalism appear to be represented in more distinct regions. These findings help to improve our understanding of how LLMs internally represent information and can inform future efforts in refining the modulation of specific human traits in LLM outputs. Warning: This paper includes potentially offensive sample statements.
DeepSeek-V2에서 도입된 Multi-head Latent Attention(MLA)은 공유 저차원 병목(cKV)을 통해 key-value 쌍을 압축하여, 추론 시 KV-cache를 81% 감소시킨다. 대규모 프로덕션 모델에서 채택되었음에도, 이 병목이 어떤 정보를 보존하거나 폐기하는지, 또는 내부 트랜스포머 회로를 어떻게 재구성하는지에 대한 선행 연구는 없었다. 우리는 MLA에 대한 최초의 포괄적인 메커니즘적 해석가능성 연구를 제시하며, 114M-매개변수 트랜스포머(웹/코드/수학 혼합 데이터로 사전학습, TinyStories로 파인튜닝)를 학습하고 SVD, 어텐션 헤드 분류, linear probing, 및 disruption-attribution 분석을 통해 표현을 분석한다. 주요 발견은 다음과 같다: (1) cKV 병목은 순수한 콘텐츠 표현을 학습하여, 위치 정보는 폐기하면서 개체 동일성(entity identity)을 98% 보존하며, RoPE를 통한 MLA의 콘텐츠-위치 분리를 검증한다; (2) induction head는 표준 MHA에서의 분산된 형성과 달리 단일 층(Layer 12)에 공존한다; (3) 단일 "semantic hub" 층(Layer 15)이 동시에 가장 높은 SVD 유효 순위(effective rank)와 가장 강한 disruption-attribution 점수를 보인다; (4) 병목은 전역적으로 과잉 할당(over-provisioned)되어 있으며, 평균적으로 용량의 46%만 사용한다. 이러한 발견은 MLA가 단순히 어텐션을 수동적으로 압축하는 것이 아니라, 모델이 콘텐츠, 위치, 회로 구조를 조직하는 방식을 재구성함을 시사한다. 우리는 이를 초기 데이터 포인트로 간주하며, Section 5에서 범위 제한을 상세히 기술한다.
우리는 트랜스포머의 표현 공간에 등급(grading)을 부여하고, 그로 인해 유도된 가중 스칼라 작용을 임베딩, 셀프 어텐션, 그리고 학습 목표 함수 전반에 전파하는 대수적 프레임워크인 등급화 대규모 언어 모델(Graded Large Language Models, GLLM)을 제안한다. 이 구성은 등급화 신경망(graded neural networks) 및 등급화 트랜스포머(graded transformers) 이론을 자기회귀(autoregressive) 언어 모델로 확장하면서, 표현력, 점근적 계산 복잡도, 그리고 추론 비용을 보존한다. 지배적인 기하학적 그림은 기하 불변 이론(geometric invariant theory)에 해당한다. 등급화의 이점은 등급화 토러스(grading torus) 위의 Kempf-Ness 함수로 표현된다. 균일(uniform) 아키텍처보다 나은 등급(grades)들은 개방 볼록 원뿔(open convex cone)을 이루며, 그 소속 여부는 등급 방향을 목표(target)와 데이터의 두 가지 측정 가능한 프로파일(profile)과 짝지어 비교하는 Hilbert-Mumford형 기준에 의해 결정된다. 최적 등급은 두 moment map의 일치점이며, 폐형식(closed form)으로 주어진다. 그리고 일반적인 트랜스포머는 원뿔 경계 위의 반안정(semistable) 등방(isotropic) 점으로 나타난다. 즉, 두드러진 최적점이라기보다 더 큰 등급화 계열의 한 구성원이다. 별도로, 수준 계층화(level-stratified) 목표에 대해 등급화 사전분포(prior)와 그 부재 사이의 minimax 분리를 증명한다. 모든 추정량(estimator)에 걸쳐, 등급화된 목표 클래스와 균일 목표 클래스의 위험(risk)은 명시적인 표본 크기(sample size) 구간 전체에서 분리되며, 기하학적 계층화(geometric stratification) 하에서 수준(level) 수에 대해 지수적으로 감쇠하는 인자만큼 분리된다. 두 프로파일 모두 오프라인으로 추정 가능하므로, 최적 등급은 학습이 시작되기 전에 검증된 볼록 프로그램(convex program)을 풀어 구한다. 등급화는 학습 후 학습된 파라미터에 흡수되므로, 모든 GLLM은 동일한 아키텍처와 추론 복잡도를 갖는 표준 트랜스포머로 컴파일된다.
임상 신경 보철(clinical neuroprosthetics)은 데이터 병목에 직면한다. 라벨이 붙은 지각 시행은 부족한 반면, 수 시간에 달하는 자발적 신경 활동은 대부분 활용되지 않는다. 본 연구에서는 자기지도 학습(self-supervised learning)이 이러한 비라벨 데이터셋을 활용해 지각 디코딩(perception decoding)을 개선할 수 있는지 검증한다. 시각장애 참가자의 V1에 삽입된 피질내 배열(intracortical array)에서 기록한 14.6시간 분의 자발적 다단위(multiunit) 활동으로 마스크드 오토인코더를 사전학습했다. 모델은 감독 없이 해석 가능한 뇌 구조를 포착했다. V1의 공간적 조직화와 지각 상태 분리가 모두 잠재 표현(latent representations)만으로 순수하게 나타났다. 이러한 특성을 검증하기 위해, 고정된 잠재 표현에 대한 로지스틱 회귀를 이용한 선형 프로빙(linear probing)으로 자극이 주어진 데이터에서의 성능을 측정했다. 일반 심리측정(psychometric) 과제에서 지각 디코딩 정확도는 84.1%에 달했다. 더 어려운 임계값 수준(threshold-level) 과제에서는 정확도가 64.0%에 달했다. 본 연구는 자발적 피질 활동이 노이즈가 아니며, 풍부한 과제 관련 구조를 담고 있음을 보여준다. 이 데이터에 대한 비지도 사전학습은 신경 디코딩을 개선하는 유망한 전략이다.
문맥 내 학습(ICL) 문헌의 핵심 질문은 트랜스포머가 서로 다른 귀납적 바이어스(inductive-bias) 계열을 중심으로 에피소드 수준의 적응을 조직할 수 있는지 여부이다. 본 연구는 잠재 알고리즘 라우팅(latent algorithm routing)을 통해 이 질문을 통제된 설정에서 다룬다. 잠재 알고리즘 라우팅이란 프롬프트 형식은 고정된 채로 잠재 데이터 생성 체제에 따라 solver-family 선호가 변하고, 방해 요인(nuisance) perturbation 하에서 안정적으로 유지되며, 답변 품질의 큰 손실 없이 표적화된 activation 개입에 선택적으로 영향을 받는 route-like 행동을 말한다. 우리는 ROUTEBENCH라는 진단 벤치마크를 도입한다. 이 벤치마크의 각 체제는 전역 수축(global shrinkage), 희소성, 견고성(robustness), 국소성(locality)을 차등적으로 선호하며, ridge-like, lasso-like, Huber-like, kNN-like 계열 대표로 이를 구현한다. 44M–612M 파라미터 규모로 처음부터 학습된 dense decoder-only 트랜스포머 전반에서, 306M 모델은 oracle-routing gap의 80.9%를 메우고 route F1 84.1을 달성한다. 이 효과는 자연어 렌더링, 셔플된 support, 어휘적 paraphrase, 통합 4-way 라우팅 설정에서도 상당한 수준을 유지한다. 입력 조건부 soft mixture와 비지도 Gumbel router를 포함한 더 강한 적응적 대안들은 gap을 줄이지만 route F1과 OOD(out-of-distribution) 성능에서는 306M 및 612M 모델보다 낮다. Probe 대조군과 matched activation-patching 대조군은 route 관련 내부 방향이 디코딩 가능하고 solver-family 일관적 출력 행동에 기능적으로 관여함을 추가로 보여준다. 이러한 결과는 ROUTEBENCH에서 학습된 dense 트랜스포머가 route-like 내부 변수를 발달시킬 수 있다는 통제된 증거를 제공하지만, 사전학습(pre-training) 언어 모델이나 제한 없는 자연어 추론에서의 보편적 라우팅을 입증하지는 않는다.
확산 언어 모델은 유연한 임의 순서 생성을 가능하게 하지만, 기존 샘플링 방법은 대부분 초기 마스크드 확산 모델(MDM)을 위해 설계되었다. 본 연구에서는 최근 블록 확산 언어 모델(BDLM)의 샘플링을 연구한다. 우리는 경험적·분석적으로 이 모델들이 MDM보다 자연스럽게 좌→우 디코딩에 더 정렬(alignment)되어 있음을 보인다. 이 관찰에 기반하여, 좌→우 언마스킹 구조를 유지하면서 병렬 토큰 확정을 허용하는 단순한 학습 없는(training-free) 샘플링 방법인 Parallel Autoregressive Decoding(PARD)를 제안한다. 광범위한 실험 결과, PARD는 생성 품질에서 기존 병렬 샘플러를 일관되게 능가하며, 순수 AR 디코딩 대비 상당한 속도 향상을 달성하면서 품질 격차는 작다.