13개 패밀리 75개 대규모 언어 모델(LLM)을 대상으로 자기 설명(self-explanation)의 충실도(faithfulness)를 반사실적(counterfactual) 개입 방식으로 분석하고, 기존 CCT의 한계를 개선한 phi-CCT와 F-AUROC라는 두 가지 새로운 평가 지표를 제안한다. 실험 결과, 모델 규모가 클수록 모든 지표에서 충실도가 일관되게 향상되는 명확한 스케일링 추세가 확인되었다.
대형 모델이 안정적으로 우수한 벤치마크 문항을 식별하고, 대·소형 모델의 쌍을 이룬 추론 추적에서 우위를 추출·의미적 클러스터링하는 AdvCluster 프레임워크를 통해 수학·물리·화학·프로그래밍 전반의 추론 격차를 분석한다. 분석 결과 공통·도메인 전문 우위를 아우르는 분류체계가 도출되었으며, 반복되는 핵심 주제는 더 큰 모델이 명시·암시적 제약을 구조화해 불가능한 경로를 배제하고 중간 단계를 검증하는 제약 기반 추론(Constraint-Guided Reasoning)이다.
고성능 신경망을 개발하고 벤치마킹하는 데 많은 노력이 집중되었지만, 실무자에게 알려진 데이터셋 속성이 어떻게 효율적인 모델 선택을 안내할 수 있는지에는 덜 주목해 왔습니다. 신경망 모델은 일반적으로 수천 개의 클래스가 있는 데이터셋에서 평가되지만, 많은 실제 애플리케이션은 10개 미만의 클래스를 포함합니다. 연구가 부족하지만 일반적인 이 설정을 해결하기 위해, 우리는 데이터 측면 속성에 기반한 분류 난이도 측정치를 개발하고, 기존 접근 방식이 덜 효과적인 소수 클래스 데이터셋에 대해 이것이 어떻게 더 효율적인 모델 선택을 가능하게 하는지 보여줍니다. 우리는 이 현상을 "소수 클래스 구별성(few-class distinctiveness)"이라고 명명합니다. 우리의 메트릭은 반복적인 학습 및 테스트보다 6배에서 29배 더 빠르게 모델과 데이터셋을 비교할 수 있게 합니다. 이 통찰을 활용하여, 우리는 가장 작게 발표된 모델보다 더 아래로 스케일링된 모델 계열을 확장하여, 유사한 정확도로 더 큰 효율성을 달성했습니다. 예를 들어, 모바일 로봇 작업에서 YOLOv5-nano보다 최대 42% 더 작은 모델을 구현했습니다. 자원이 제한된 애플리케이션을 목표로, 우리는 모바일 로봇, 드론 및 IoT 시나리오에 걸쳐 소수 클래스 모델 선택을 시연하며, 성능을 희생하지 않으면서 효율성의 실질적 이득을 강조합니다.
모델 크기, 특히 깊이와 너비의 스케일링은 트랜스포머 기반 언어 모델에서 상당한 진전을 이끌었습니다. 그러나 대부분의 아키텍처는 서로 다른 층이 잠재적으로 고유한 계산 역할을 수행함에도 불구하고, 모든 층에 걸쳐 일정한 너비를 유지하며 고정된 매개변수 및 연산 예산을 균등하게 할당합니다. 본 연구에서는 X자형(×-shaped) 트랜스포머 아키텍처를 제안하여 네트워크 깊이에 따른 비균일 용량 할당을 실증적으로 조사합니다. 이 설계는 매개변수가 없는 잔차 크기 조정 메커니즘을 활용하여 중간 층은 좁히고 초기 및 후기 층은 넓게 유지합니다. 2억 개에서 20억 개 매개변수(밀집) 및 30억 개 매개변수(전문가 혼합, MoE)에 이르는 디코더 전용 언어 모델 전반에서, 우리의 트랜스포머는 언어 모델링 손실 측면에서 매개변수 수가 일치하는 균일한 기준 모델들을 일관되게 능가합니다. 평균 층 너비를 줄임으로써 이 아키텍처는 전체적으로 더 적은 FLOPs를 필요로 하며(손실이 일치하도록 피팅된 스케일링 곡선 하에서 22% 감소), 더 작은 KV 캐시 메모리 및 I/O 비용(15% 감소)을 요구합니다. 분석 결과, 이 병목 구조는 잔차 스트림에서 질적으로 다른 표현을 만들어냄을 보여줍니다. 전체적으로, 우리의 결과는 비균일 너비 할당이 언어 모델의 더 자원 최적의 스케일링을 이끌어낼 수 있음을 입증합니다.
LLM 기반 다중 에이전트 시스템(MAS)의 선형 워크플로우에서 모델 스케일링(scaling)이 보안에 미치는 영향을 분석한 결과, 더 큰 모델일수록 악의적인 지시를 더 충실히 수행하지만 가벼운 Fixer 단계를 추가하면 성능 저하를 크게 완화하여 시스템의 회복탄력성(resilience)을 확보할 수 있음을 입증했습니다.
본 논문은 단일 8-GPU 노드에서 천억 개의 매개변수를 가진 희소 전문가 혼합(MoE)을 종단 간(end-to-end)으로 학습한 결과를 보고합니다. LightningLM 0.1V는 작은 조밀(dense) 시드(seed)에서 시작하여 5B 및 9B 전문가 혼합을 거쳐, top-12 라우팅 하에 460개의 라우팅된 전문가를 갖는 120B 모델로 성장한 4단계 순환(recurrence) 백본 언어 모델 계열입니다. 각 더 큰 모델은 더 작은 모델의 학습된 가중치에서 성장하며, 활성 매개변수는 조밀 시드의 1.78B에서 120B의 5.93B(저장된 118.67B의 약 5%)로 단조롭게 증가합니다. 전체 계열은 단일 노드에서 실행되며, 더 큰 단계에서는 8K 컨텍스트(context)로 120B 규모에서 1.78의 학습 손실(loss)에 도달했습니다. 이것은 시스템 및 경험 보고서입니다. 이 보고서는 세 가지 원칙을 중심으로 구성되어 있습니다. 가역성(Reversibility): 가역적 순환 스택은 활성화(activation)를 저장하는 대신 역전파 단계에서 이를 재구성하여, 모델이 성장함에 따라 활성화 메모리 사용량을 평탄하게 유지합니다. 상태 보존 성장(State-preserving growth): 각 확장(조밀에서 MoE로, 얕은 곳에서 깊은 곳으로, 소수 전문가에서 다수 전문가로)은 잘못 수행했을 때 발생하는 실패와 짝을 이루는 재현 가능한 원칙으로 제시됩니다. 여러 실패는 무음(silent)입니다. 단일 노드 경제성(Single-node economics): 120B 모델은 양자화된 기본 전문가 가중치와 학습된 저차원 어댑터 전략인 TQP를 통해 학습됩니다. 이는 라우팅된 전문가에 상주하는 100B 이상의 매개변수 대신 2.26B 어댑터 매개변수에 옵티마이저(optimizer) 상태를 유지하여 전문가 경로의 옵티마이저 상태를 약 45배 줄입니다. 새로운 점은 고립된 개별 원시 요소가 아니라 알려진 원시 요소들의 통합입니다. 즉, 단일 노드에서 종단 간으로 실행되는 하나의 성장 계열, 실무자 수준에서 문서화됨, 그리고 목표 역량(다국어 인도어족 능력, 코드)이 구성(construction)을 통해 학습되었음을 증명하는 도메인별 홀드아웃 손실(held-out loss)이 그것입니다. 모델 계열, 토크나이저(tokenizer), 학습 코드가 공개되었습니다.
생성형 모델의 최근 발전으로 추천 시스템(RS)의 유망한 패러다임인 생성형 추천(GR)이 등장했으며, 이는 풍부한 아이템 시맨틱과 협업 필터링 신호를 통합하고자 한다. 대표적인 현대적 접근 방식은 시맨틱 ID(SID)를 사용하는 것으로, 이는 모달리티 인코더(예: 대규모 언어 모델 또는 비전 모델)의 임베딩으로부터 양자화된 이산 코드이며, 자기회귀적 사용자 상호작용 시퀀스 모델링 방식으로 아이템을 표현한다(이하 SID 기반 GR). 다른 도메인의 생성형 모델들이 잘 정립된 스케일링 법칙을 따르는 반면, 본 연구는 SID 기반 GR이 모델 규모를 확장할 때 심각한 병목 현상을 보임을 밝힌다. 특히, SID 기반 GR의 성능은 모달리티 인코더, 양자화 토크나이저, RS 자체 등 각 구성 요소를 확장함에 따라 빠르게 포화 상태에 이른다. 본 연구에서는 아이템 시맨틱 정보를 인코딩하는 SID의 제한된 용량을 근본적인 병목 중 하나로 규명한다. 이 관찰에 착안하여, 더 나은 스케일링 거동을 갖는 GR 모델을 얻기 위한 초기 시도로서, 대규모 언어 모델(LLM)을 추천 시스템으로 직접 활용하는 또 다른 GR 패러다임(이하 LLM-as-RS)을 재검토한다. 실험 결과, LLM-as-RS 패러다임은 우수한 모델 스케일링 특성을 보이며, 스케일링을 통해 SID 기반 GR의 최고 달성 성능 대비 최대 20% 향상을 달성한다. 또한, LLM이 협업 필터링 정보를 포착하는 데 어려움을 겪는다는 통념에 의문을 제기하며, LLM이 스케일 업됨에 따라 사용자-아이템 상호작용을 모델링하는 능력이 향상됨을 보인다. 44M에서 14B 파라미터에 이르는 모델 크기에 걸쳐 SID 기반 GR과 LLM 모두를 분석한 결과는 SID 기반 GR의 내재적 스케일링 한계를 강조하고, LLM-as-RS를 GR을 위한 파운데이션 모델로 나아가는 유망한 경로로 자리매김한다.