시계열 추론은 실세계 문제 해결에 필수적이다. 대규모 언어 모델(LLM)과 비전-언어 모델(VLM) 모두 시계열 데이터에 대한 추론이 가능하지만, 그 능력은 상호 보완적이다. LLM은 시계열을 텍스트 시퀀스로 처리하여 정확한 수치 이해를 보존하지만 전역적 패턴 파악에 어려움을 겪는 반면, VLM은 시계열을 시각화함으로써 이러한 패턴을 효율적으로 포착하지만 세밀한 세부 정보를 손실할 수 있다. 또한 모델마다 태스크별 전문성과 추론 비용이 크게 다르다. 따라서 각 쿼리에 가장 적합한 모달리티와 모델을 동적으로 선택하는 것이 중요하지만, 이는 풍부한 문맥 신호를 지닌 태스크, 쿼리, 모달리티, 모델 간의 복잡한 상호작용을 모델링해야 하므로 어려운 과제이다. 이를 위해 우리는 그래프 기반 동적 라우팅 프레임워크인 TSRouter를 제안한다. TSRouter는 태스크, 쿼리, 모달리티, 모델 노드로 구성된 이종 그래프를 구축하여 쿼리 특성, 모달리티 속성, 모델 역량 간의 상호작용을 문맥화한다. TSRouter는 라우팅을 후보 점수화 문제로 공식화하며, 각 모달리티-모델 쌍을 사용자 정의 성능-비용 선호도에 따라 평가하여 최적 후보를 선택한다. 4가지 서로 다른 시계열 추론 태스크에 대한 종합적인 평가에서 TSRouter는 다양한 베이스라인 대비 16\%에서 46\%의 상대적 성능 향상을 달성하며 크게 뛰어난 성능을 보였다. 또한 TSRouter는 미학습 모델 및 새로운 태스크에 대해 강건한 제로샷(zero-shot) 플러그앤플레이 일반화를 보여주며, 비용 인식 최적화를 통해 연산 오버헤드를 줄이면서도 높은 성능을 유지한다. 코드는 https://github.com/tianyi-lab/TSRouter 에서 확인할 수 있다.
확산 대규모 언어 모델(dLLM)의 효율적인 서빙은 수렴 이질성(convergence heterogeneity)으로 인해 저해된다: 여러 요청을 배치 처리할 때 서로 다른 시퀀스가 상이한 속도로 수렴하여, 빠른 요청이 느린 지연 요청(straggler) 뒤에서 대기하게 되고 연산 버블(compute bubble)과 꼬리 지연(tail latency)이 발생한다. 우리는 BlockServe를 제시한다. 이는 블록 경계에서 완료된 요청을 즉시 축출하는 블록 단위 스케줄링과, 수집-분산 인덱싱(gather-scatter indexing)을 통해 이종 배치에 듀얼 캐시 및 병렬 디코딩을 확장하는 혼합 상태 실행(mixed-state execution)을 통합한 연속 배치 프레임워크이다. 나아가, 연산 인식 입력 제어기(compute-aware admission controller)가 토큰 예산 기반 보충(token-budgeted refill)을 통해 실효 배치 용량을 확대한다. Dream 및 LLaDA에 대해 5개 벤치마크에서 BlockServe는 유사한 생성 품질을 유지하면서 Fast-dLLM 대비 1.9–10.6배의 처리량을 달성하며, 블록 단위 스케줄링을 고처리량 오프라인 dLLM 추론의 토대로 확립한다.
대규모 언어 모델(LLM)의 행동적 정렬(alignment)은 종종 내부의 취약한 안전성(safety) 표현을 감추고 있다. 최근 연구에 따르면 거부 행동은 활성화 공간의 저차원 방향에 의해 매개된다고 한다. 이는 그러한 표현이 어떻게 구조화되고, 국소화되며, 최적화에 의해 접근되는지에 대한 의문을 제기한다. 우리는 적대적 접미사 공격을 표현적 정렬의 탐침(probe)으로 연구한다. 우리는 Activation-Guided GCG를 소개하는데, 이는 출력 기반 목적함수를 모델의 내부 거부 방향을 직접 겨냥하는 손실로 대체한다. 여러 목적함수 변형에 걸쳐, 모든 층(layer)과 위치에 걸쳐 전역적으로 거부를 억제하는 것이 단일 층-위치 쌍을 타겟으로 하는 것보다 더 효과적임을 발견한다. 이는 안전성 표현이 단일 위치에 인과적으로 국소화되기보다 순전파(forward pass) 전반에 걸쳐 분산되어 있음을 시사한다. 우리는 또한 Gumbel-소프트맥스(Gumbel-Softmax)를 사용한 이산 접미사 최적화의 연속 완화 방법인 Soft-GCG를 소개한다. Soft-GCG는 표준 GCG 대비 33배의 속도 향상을 달성하면서 공격 성공률도 향상시킨다. 모델 규모에 걸쳐 평가한 결과, 소규모 모델은 취약한 상태를 유지하는 반면 대규모 모델은 컴퓨팅 제약 환경에서 활성화 기반 및 접미사 기반 공격 모두에 저항함을 발견하였으며, 이는 더 크고 안전성 학습이 잘 된 모델이 탈옥(jailbreak)하기 더 어렵다는 것과 일치한다. 종합하면, 우리의 결과는 현재 모델에서 안전성 메커니즘이 어떻게 인코딩되고 어떻게 깨질 수 있는지를 명확히 한다. 이러한 통찰은 보다 강건하고 표현 인식적인 정렬 전략을 설계하기 위한 구체적인 지침을 제공한다.
인공 및 생물학적 신경망에서 개념은 종종 표현 공간 내의 일관된 선형 방향으로 인코딩된다. 심층 학습(deep learning)에서 이 아이디어는 선형 표현 가설(linear representation hypothesis)로 알려져 있으며, 개념 탐지부터 활성화 조향(activation steering)에 이르기까지 선형 프로브(linear probe)에 기반한 많은 해석 가능성 및 제어 방법의 토대가 된다. 그러나 선행 연구들이 학습 이후 이러한 방향이 존재해야 하는지를 연구한 반면, 학습 중에 이러한 방향이 어떻게 출현하는지에 관한 동역학은 아직 충분히 이해되지 않았다. 본 연구에서는 학습 중 개념 방향의 정렬을 연구하기 위한 프레임워크를 개발하며, 이 과정을 '추상화(abstraction)'라 부른다. 최소한의 선형 네트워크 환경에서 추상화의 전체 궤적에 대한 정확한 해를 도출한다. 이 해들은 추상화를 지배하는 핵심 해석적 원리를 드러낸다: (i) 데이터와 타깃 기하학이 학습 종료 시점의 추상화를 공동으로 결정하고, (ii) 추상화는 네트워크 깊이가 깊을수록 향상되며, (iii) 초기화(initialization) 스케일이 학습 중 도달하는 최대 추상화를 제어한다. 이론을 비선형 네트워크로 확장하여 비선형성의 선택이 추상화 동역학에 미치는 영향을 분석한다: erf 네트워크는 선형 이론에 근사하는 반면, 렐루(ReLU) 네트워크에서의 추상화는 타깃 기하학보다 입력 기하학에 더 의존한다. 두 경우 모두에서 우리는 놀라운 감쇠 법칙(attenuation law)을 증명한다: 두 비선형성 모두 사전 활성화(preactivation)에 비해 활성화(activation)에서의 추상화를 약화시킨다. 우리는 오픈 모델(DINOv3, Gemma 4)에서 이 법칙의 증거를 발견하고, 이론을 대규모 언어 모델(LLM)에서의 선형 프로브 일반화 향상에 적용한다. 종합적으로, 본 연구의 결과는 해석 가능성 및 제어에 함의를 지니는 추상화의 동역학적 이론을 제공한다.
생물학을 위한 대규모 언어 모델(BioLM) 연구의 발전은 모델에 생물학에 대한 진정한 이해를 부여할 수 있는 학습 코퍼스에 대한 필요성을 만들어냈다. 그러나 분자 데이터베이스, 단백질 저장소, 유전체 주석, 단일세포 아틀라스, 경로 데이터베이스 등 기존 생물학적 자원들은 이질적인 형식에 분산되어 있으며, 언어 모델 학습을 위한 통합 코퍼스로 정리되지 않은 상태이다. 본 논문에서는 이러한 분산된 자원들을 소분자, 단백질, 유전체 서열, 세포, 경로를 아우르는 통합된 학습 준비 형태로 변환한 526억 토큰 규모의 사전학습 코퍼스인 TheBioCollection을 소개한다. TheBioCollection은 기존 데이터를 통합하는 것을 넘어, 도구 기반으로 계산된 생물학적 속성으로 각 레코드를 풍부하게 하고, 현존 코퍼스가 거의 다루지 못하는 역량을 위한 새로운 인스트럭션 태스크를 도입한다. 본 코퍼스와 함께, 분자·단백질·유전체·세포·교차 도메인 환경에서의 인식, 생성, 예측을 검증하는 매칭된 평가 스위트인 TheBioCollection-Eval을 제공한다. 기반 모델인 Gravity-16B-A3B 아키텍처를 고정한 상태에서 TheBioCollection으로 학습하면 TheBioCollection-Eval의 전체 점수가 두 배 이상 향상되고 모든 도메인에서 성능 향상이 나타나는 반면, 일반 언어 능력은 거의 그대로 유지된다.
대규모 언어 모델(LLM)의 배포가 증가함에 따라 LLM 추론 비용이 핵심 과제로 부상하고 있다. 가중치 행렬에 희소성을 도입하는 가지치기 기법은 추론을 가속화할 수 있다. 그러나 모델 품질을 유지하기 위해 가지치기는 일반적으로 적당한 수준의 비정형 희소성(약 50%)으로 제한된다. 이 희소성 수준에서는 희소 행렬 곱(SpMM)을 위한 기존 GPU 커널 중 어느 것도 밀집 행렬 곱 대비 우수한 성능을 보이지 못한다. 본 논문은 적당한 희소성을 가진 LLM을 위한 효율적인 GPU 추론 방법을 제안한다. 세 층으로 구성된 행렬 저장 형식을 제안하며, 이는 (i) 희소 텐서 코어가 SpMM을 가속화하도록 하는 Sparse-TC 층, (ii) 병렬 차분 거리를 사용하여 행렬을 압축하면서 저비용 온칩 디코딩을 지원하는 Slot-Filling 층, (iii) 올바른 SpMM 연산을 보장하는 경량 Residual 층으로 구성된다. 이 형식을 기반으로, 희소 텐서 코어와 CUDA 코어를 함께 활용하는 SpMM 커널을 설계한다. 이 설계는 효율적인 실행 파이프라인을 가능하게 하고 온칩 연산과 메모리 접근을 중첩시킨다. 평가 결과, 본 연구는 고대역폭 메모리(HBM)를 장착한 최신 GPU에서 밀집 행렬 곱을 능가하는 최초의 사례임을 보여준다. SpInfer(EuroSys'25, 최우수 논문) 대비 최대 1.64배의 커널 수준 속도 향상, FlashLLM(VLDB'24) 대비 최대 1.41배의 엔드-투-엔드 속도 향상을 달성한다. 소스 코드: https://github.com/moui0/cudac.
전문가 혼합(MoE) 모델은 토큰당 희소한 전문가 부분 집합만 활성화하지만, 연속된 토큰들이 서로 다른 전문가를 빈번하게 활성화함으로써 엣지 디바이스에서 느린 저장소와 빠른 메모리 사이의 가중치 교환이 지속적으로 발생한다. 기존 해결책은 시스템 수준(캐싱 휴리스틱)이거나 사후적(라우터 미세조정) 방식으로, 사전학습 중 근본 원인을 해결하지 못한다. 우리는 StickyMoE를 제안한다. 이는 인접한 토큰 간의 급격한 전문가 전환에 패널티를 부여하는 미분 가능한 라우팅 일관성 손실로, 의미적으로 일관된 구간에 걸쳐 라우터가 동일한 전문가 할당을 유지하도록 장려한다. StickyMoE는 아키텍처 변경이 필요 없고 단일 하이퍼파라미터 λ만 추가하며, 사후적 방법과 달리 첫 학습 단계부터 전문가 표현과 라우팅 결정이 함께 적응할 수 있다. 소규모 MoE 언어 모델에 대한 실험에서 StickyMoE는 퍼플렉시티 저하 4% 미만으로 전문가 전환율을 최대 60%까지 감소시키며, 품질-지역성 프런티어에서 사후적 미세조정을 파레토 우위로 능가한다. 라우팅 시간적 지역성은 학습 시점에 가장 효율적으로 내재화된다.
부호 있는 정수 알파벳은 양수보다 음수 표현 값이 하나 더 많다. 그러나 관례적으로, 표준 대칭 정수 양자화기는 스케일을 엄격히 양수로 고정하며, 이로 인해 이 여분의 표현 값이 음의 꼬리에 할당되어 양수 이상값(outlier)의 클리핑이 강제될 수 있다. 본 연구에서는 소수 비트 정밀도에서 이러한 클리핑이 비자명한 양자화 오차의 원인임을 보인다. 비대칭 양자화는 영점(zero point)을 사용하여 그리드를 관측된 데이터 범위 쪽으로 이동시킴으로써 이 문제를 해결하지만, 이러한 유연성은 런타임 패널티를 수반하는 것으로 잘 알려져 있다. 예를 들어, AMD EPYC(TM) "Turin" CPU에서 llama.cpp를 사용할 경우, 4비트 대칭 포맷은 비대칭 방식에 비해 메모리를 최대 9% 덜 사용하고 처리량은 최대 2.45배 높다. 본 논문에서는 부호 대칭 양자화를 제3의 선택지로 제안한다. 이는 비대칭 포맷의 패널티 없이 대칭 양자화의 런타임 특성을 그대로 유지한다. 제안하는 부호 absmax 그리드는 원칙적이고 경량화된 부호 선택 규칙을 통해 여분의 표현 값을 지배적 이상값 꼬리에 배치하는 동시에 영점을 0으로 유지한다. 이론적 분석을 통해 두 가지 주요 결과를 제시한다. 첫째, 부호 absmax 그리드가 ℓ₂ 양자화 오차에 대해 조건부 경계 최적임을 증명하고, 해당 조건이 낮은 비트 폭에서 사전학습된 대규모 언어 모델(LLM)의 가중치 그룹 중 88~99%에서 성립함을 보인다. 둘째, 표준 대칭 양자화기의 스케일을 음수로 전환하는 것이 동일한 부호 있는 정수 알파벳에서 단위 영점 이동과 해석적으로 동치임을 보인다. Qwen3, Qwen3.5, Llama3 계열 모델에 대한 실험을 통해 제안 방법을 검증하며, 추가적인 추론 비용 없이 표준 비부호 대칭 양자화기 대비 퍼플렉서티 및 다운스트림 퓨샷 정확도의 향상을 확인한다.
알츠하이머병(AD)은 전 세계 수백만 명에게 지속적인 영향을 미치는 복잡한 신경퇴행성 질환입니다. 전구기(prodromal stage)에서의 AD 전환 예측은 질병 이해와 환자 관리에 있어 매우 중요합니다. 이에 따라 생존 모델이 AD 위험 예측에 널리 활용되고 있으나, 기존 모델들은 일반적으로 정적 예측기에 머물러 해석 가능성이 제한되고 자연어 추론 능력이 없습니다. 본 연구에서는 AD 전환 생존 예측을 위한 전문가 혼합(MoE) 기반의 해석 가능한 대규모 언어 모델(LLM) 가이드 프레임워크인 iLENS를 제안합니다. 우리의 접근 방식은 LLM을 활용하여 구조화된 신경영상 측정값과 비구조화된 정보를 통합함으로써 전문가 라우팅을 안내합니다. 제안된 프레임워크는 경쟁력 있는 예측 성능과 환자 하위 유형 분류 능력을 입증합니다. 나아가, 본 프레임워크는 라우팅 결정에 대한 투명하고 생물학적으로 근거한 설명을 제공함으로써 고성능 생존 분석과 해석 가능한 임상 의사결정 지원 사이의 간극을 메웁니다.
대규모 언어 모델(LLM)에서 지식 증류(KD)의 성공에도 불구하고, 그 효과를 뒷받침하는 근본적인 메커니즘은 여전히 불분명하다. 본 논문에서 우리는 상호작용을 활용하여 다양한 KD 방법들의 공통 메커니즘을 탐구하는 통합적 접근법을 제안한다. 구체적으로, LLM의 출력 점수를 수많은 상호작용의 합으로 분해한다. 각 상호작용은 입력 변수들의 집합(예: 단어들)을 포함하는 비선형 관계를 나타낸다. 분해된 상호작용을 기반으로, 다양한 KD 방법들의 공통 메커니즘이 상호작용의 희소화(sparsification)임을 발견한다. 즉, 학생 모델은 추론 시 더 적은 수의 상호작용을 유지하면서 나머지 상호작용을 영향력이 없도록 억제한다. 나아가, 서로 다른 KD 방법들 간의 성능 차이는 복잡한 상호작용을 처리하는 능력에서 비롯됨을 발견한다. KD 방법은 일반적으로 학생 모델이 복잡한 상호작용에서 더 높은 희소성을 달성할 수 있도록 할 때 더 나은 성능을 발휘한다. 이러한 통찰에 착안하여, 증류 과정에서 복잡한 상호작용의 희소성을 명시적으로 강화하는 플러그 앤 플레이 손실 함수인 복잡 상호작용 페널티(CIP, Complex Interaction Penalty)를 제안한다. 광범위한 실험을 통해 CIP를 통합하면 도메인 내(in-domain) 및 분포 외(out-of-distribution) 벤치마크 모두에서 다양한 KD 방법의 성능이 일관되게 향상됨을 입증한다.
분산 에너지 시장에서 강화학습(RL) 에이전트가 물리적 제약을 위반하거나 인위적 유동성을 생성하는 신뢰성 문제를 해결하기 위해, SolarChain-Eval이라는 물리 제약 기반 벤치마크를 제안하며 시장 효용, 물리적 안전성, 공정성, 감사 가능성 등 다차원 평가를 Gymnasium 호환 마르코프 결정 과정(MDP)으로 정식화한다. LLM 기반 Planner/Auditor 레이어를 통합한 실험 결과, RL 에이전트는 시장 효용을 개선하지만 물리 페널티 제거 시 유효하지 않은 발전량을 악용하며, LLM 감사자는 감사 가능성을 높이지만 잘못 설계된 보상 함수를 완전히 보완하지는 못함을 보였다.
쿼리별 예산 내에서 기존 모델을 재샘플링할지 다른 모델로 재라우팅할지를 동적으로 결정하는 온라인 정책(RoR)을 제안하며, 단위 비용당 추정 한계 정확도를 기준으로 예산을 배분한다. 11개 오픈 가중치 모델 풀과 4개 벤치마크에서의 재현 실험 결과, RoR 정책이 단일 라우터·best-of-K·캐스케이드 등 기존 기준선 대비 비용-품질 파레토 프론트에서 우위를 보였으며, 특히 모델 이질성이 높은 벤치마크에서 성능 향상이 두드러졌다.
현대의 대규모 언어 모델(LLM)은 검색-증강 생성(RAG), 저장소 수준 코딩, 에이전트 워크플로우 등 장문 컨텍스트 응용에 점점 더 많이 배포되고 있으며, 이러한 응용에서 누적된 추론 및 도구 추적이 입력을 사전학습 윈도우보다 수십 배 이상 초과시키는 경우가 흔해 제로샷(zero-shot) 컨텍스트 확장이 오픈 가중치 체크포인트의 주된 배포 경로로 자리잡고 있다. 대표적인 제로샷 방법들(YaRN, Self-Extend, DCA)은 단일 재조정 인수를 사전에 고정하기 때문에, 공격적인 인수를 사용하면 단문 컨텍스트 충실도가 저하되고 보수적인 인수를 사용하면 장문 컨텍스트에서 성능이 무너진다. 최근의 길이 인식 변형들은 매핑을 적응시키지만 피팅된 또는 거리 의존적 스케줄에 의존한다. 우리는 튜닝이 필요 없는 제로샷 방법인 Jet-Long을 제안한다. Jet-Long은 RoPE에 충실한 로컬 윈도우와, 현재 시퀀스 길이에 따라 매개변수 없는 해석적 스케줄을 통해 재조정 인수가 동적으로 적응하는 장거리 윈도우를 결합하여, 단문 입력에서는 기반 모델을 정확히 복원하면서 장문에서는 깔끔하게 외삽한다. 포함-제외 어텐션 병합과 즉석 RoPE 보정 회전을 통해 이중초점 구조의 추론 비용을 사실상 무료로 만들며, 단일 CuTe 커널로 융합하여 H100에서 장문 컨텍스트 프리필이 FA2 처리량의 최대 1.39배에 달하고(Hopper 전용 FA4에 근접), 단일 배치 생성 시 모든 길이에서 오버헤드가 4% 이하이다. 128K 컨텍스트까지의 Qwen3-1.7B/4B/8B에서 Jet-Long은 1.7B/4B/8B 각각의 가장 강력한 기준선 대비 RULER에서 +4.79/+2.18/+2.03 pp 우위를 기록하며, HELMET-RAG(HELMET이 다운스트림 장문 컨텍스트 성능의 가장 효율적인 예측 지표로 식별한 벤치마크)에서 최고 전체 정확도를 달성하고 PG-19 퍼플렉서티에서 최저값을 기록한다. Jet-Long은 재학습 없이 추가적인 장문 컨텍스트 향상을 위해 Jet-Nemotron과 같은 하이브리드 어텐션 아키텍처에도 일반화되며, 배포 용이성을 위해 하이퍼파라미터에 강건하다.
Amazon Prime Video에서는 라이브 이벤트 및 신속한 기능 릴리스 중 서비스 중단 없이 코드 배포를 관리해야 하는 중요한 운영 과제에 직면해 있습니다. 현재의 변경 통제 방식은 위험도와 무관하게 모든 변경을 차단하는 일괄 배포 동결을 사용하여 개발자에게 상당한 부담을 야기합니다. 기존 연구에서 위험 변경 예측기를 탐구했으나, 이는 개발자별 메타데이터나 방대한 과거 데이터에 의존하여 개인정보 보호 문제를 초래하고 신규 프로젝트 적용을 제한합니다. 본 논문에서는 코드 수정으로부터 직접 도출된 특징인 diff 인식 특징(diff-aware features)을 중심으로 한 프레임워크를 소개합니다. 핵심 기여는 위험 예측에 필요한 정량적 지표(코드 수준 및 변경 수준 지표)와 정성적 지표(코딩 스타일 위반, 변경 유형 분류)를 체계적으로 식별한 것입니다. 대규모 언어 모델(LLM)을 다중 언어 특징 추출기로 활용하여 생성 작업을 넘어선 코드 분석에서의 효과를 입증하고, 언어별 툴링의 필요성을 제거했습니다. 본 프레임워크를 두 데이터셋, 즉 Prime Video의 프로덕션 환경과 공개 ApacheJIT 데이터셋에서 평가했습니다. 최고 성능 모델은 두 데이터셋 전반에 걸쳐 위험 코드 변경 탐지에서 평균 재현율 0.83, F1 점수 0.81을 달성했습니다. 특히, 절제 분석(ablation analysis)을 통해 변경 수준 볼륨 지표(예: 추가/삭제된 코드 라인 수)는 노이즈가 많은 예측 변수인 반면, 구조적 코드 복잡도는 실질적으로 더 강력한 위험 신호를 제공함을 확인했습니다. 이러한 결과는 신중한 특징 선별이 개인정보 보호 문제를 피하면서 다양한 프로그래밍 언어 및 조직적 맥락에 걸쳐 효과적인 변경 위험 평가를 가능하게 함을 보여줍니다.
지난 수십 년간 기계학습 알고리즘 설계에서는 초기의 과제별 얕은 모델 연구에서부터 더 범용적인 심층 대규모 언어 모델(LLM)에 이르기까지 괄목할 만한 발전이 있었다. 즉각적인 예측이나 문맥 내 학습(ICL)이 필요한 과제에서 유망한 결과를 보이고 있음에도 불구하고, 기존 모델들은 지속적으로 학습하고 일시적인 문맥 내 지식을 장기 파라미터로 효과적으로 전이하는 능력이 부족하다. 인간의 학습 과정에서 영감을 받아, 우리는 모델이 지속적으로 학습하고, 단기적이고 취약한 기억을 리플레이(replay)를 통해 안정적인 장기 지식으로 증류하며, '드리밍(Dreaming)' 과정을 통해 재귀적으로 스스로를 개선할 수 있게 하는 '수면(Sleep)' 패러다임을 제안한다. 구체적으로, 수면은 두 단계로 구성된다: (1) 기억 통합(Memory Consolidation): 지식 시딩(Knowledge Seeding)이라 불리는 상향식 지식 증류(distillation) 과정으로, 더 작은 자아(smaller-self)의 기억을 더 큰 네트워크로 증류하여 지식을 보존하면서 더 많은 용량을 확보한다. 개념 증명으로, 우리는 지식 시딩을 위한 새로운 일반화 지식 증류 과정(온-정책(on-policy) 증류와 강화학습(RL) 기반 모방 학습의 결합)을 제시한다; (2) 드리밍(Dreaming): 모델이 강화학습을 활용하여 인간의 감독 없이 새로운 지식을 연습하고 기존 능력을 정제하기 위한 합성 데이터 커리큘럼을 생성하는 자기 개선 단계. 장기 수평선(long-horizon), 지속 학습(continual learning), 지식 통합(knowledge incorporation), 퓨샷(few-shot) 일반화 과제에서 수행한 실험들은 수면 단계의 중요성을 뒷받침한다.
트랜스포머 모델로 긴 시퀀스를 효율적으로 처리하려면 일반적으로 컨텍스트 병렬성(context parallelism)을 통해 가속기 간에 연산을 분할해야 합니다. 이 방법군에서 주류를 이루는 Ring Attention이나 DeepSpeed Ulysses와 같은 접근법은 컨텍스트 차원에서의 스케일링을 가능하게 하지만 메모리 효율성에는 초점을 맞추지 않아, 지원 가능한 시퀀스 길이가 제한됩니다. Fully Pipelined Distributed Transformer나 활성화 오프로딩(activation offloading)과 같은 더 발전된 기법은 학습 처리량을 희생하면서 가능한 컨텍스트 길이를 추가로 확장할 수 있습니다. 본 논문에서는 어텐션 헤드 수준에서 세밀한 청킹을 수행하는 단순하면서도 효과적인 컨텍스트 병렬성 기법인 UPipe를 제안합니다. 이 기법은 셀프-어텐션의 활성화 메모리 사용량을 크게 줄여 활성화 메모리 장벽을 극복하고 훨씬 더 긴 컨텍스트 길이를 가능하게 합니다. 우리의 접근법은 32B 트랜스포머에서 어텐션 층의 중간 텐서 메모리 사용량을 최대 87.5%까지 줄이면서, 학습 속도 면에서는 기존 컨텍스트 병렬성 기법과 동등한 성능을 달성합니다. UPipe는 단일 8×H100 노드에서 Llama3-8B를 학습할 때 5M 토큰의 컨텍스트 길이를 지원할 수 있으며, 이는 기존 방법 대비 25% 이상 개선된 수치입니다.
대규모 언어 모델(LLM)은 정적인 경우가 드물며 실제로 자주 업데이트된다. 점점 증가하는 정렬(alignment) 연구들은 초기에 '정렬된' 것으로 간주된 모델들이 미세조정(fine-tuning) 이후 정렬되지 않은 행동을 나타낼 수 있음을 보여왔다. 이러한 연구들은 일반적으로 초기 모델이 정적 블랙박스 평가, 즉 고정된 질의 집합에 대한 바람직하지 않은 응답의 부재를 근거로 정렬되어 있다고 가정한다. 그러나 업데이트 후 시나리오에서 블랙박스 평가의 한계는 충분히 탐구되지 않았다. 본 연구에서는 정적 및 업데이트 후 설정 모두에서 모델 정렬을 형식화하고 블랙박스 평가의 근본적인 한계를 밝힌다. 우리는 과매개변수화(overparameterization)로 인해 정적 정렬이 어떠한 업데이트 데이터셋에 대해서도 업데이트 후 정렬을 보장하지 못함을 이론적으로 보인다. 나아가, 정적 블랙박스 프로빙(probing)은 진정으로 업데이트 후에도 강건한 모델과 단 하나의 양성(benign) 그래디언트 업데이트만으로도 활성화될 수 있는 임의의 적대적 행동을 숨기고 있는 모델을 구별할 수 없음을 증명한다. 우리는 이러한 발견들을 프라이버시(privacy), 탈옥 안전성(jailbreak safety), 행동적 정직성(behavioral honesty)의 세 가지 핵심 정렬 영역에서 LLM을 통해 실험적으로 검증한다. 모든 표준 블랙박스 정렬 테스트를 통과하면서도 단 하나의 양성 업데이트 이후 심각하게 정렬이 해제되는 LLM이 실제로 존재함을 입증한다. 마지막으로, 이러한 잠재적 적대 행동을 숨기는 능력이 모델 규모에 따라 증가함을 보임으로써, 업데이트 후 정렬 실패가 매개변수 수에 따라 증가한다는 이론적 예측을 확인한다. 종합하면, 본 결과는 정적 평가 프로토콜의 부적절성을 부각시키고 업데이트 후 강건한 정렬 평가의 긴급한 필요성을 강조한다. 코드는 https://github.com/Ybakman/safety_benign_update 에서 확인할 수 있다.
사물 인터넷(IoT) 시스템은 제한된 하드웨어, 구식 펌웨어, 안전하지 않은 기본 설정으로 인해 본질적으로 취약하며, 이는 확장 가능하고 적응적인 보안 테스트 접근 방식의 필요성을 야기한다. 최근 대규모 언어 모델(LLM) 에이전트가 침투 테스트 및 Capture-the-Flag(CTF) 환경에서 가능성을 보여주고 있으나, IoT 특정 취약점에 대한 적용은 아직 탐구되지 않은 상태이다. 본 논문은 LLM 기반 추론 및 공격적 보안 도구를 활용하여 IoT 환경에서의 취약점 발견 및 활용을 위한 자율 다중 에이전트 프레임워크인 VEXAIoT(Vulnerability EXploitation using AI Agents)를 제시한다. 이 프레임워크는 취약점 탐지 에이전트와 공격 실행 에이전트를 결합하여 취약한 IoT 서비스에 대한 정찰 수행, 공격 시퀀스 계획 및 익스플로잇 실행을 수행한다. 본 시스템은 OWASP IoT 취약점에 매핑된 10개의 공격 시나리오에 걸쳐 IoTGoat 및 Metasploitable 환경에서 평가된다. 실험 결과, 대부분의 공격에서 낮은 토큰 오버헤드와 평균 2분 미만의 실행 시간으로 최대 100%의 공격 성공률을 보였다. 260회의 공격 실행에 걸쳐 VEXAIoT는 IoTGoat에서 94.5%, Metasploitable2에서 96.7%의 성공률을 포함하여 전체 95.0%의 성공률을 달성하였다. 이러한 결과는 통제된 환경에서 IoT 취약점 평가 및 공격적 보안 워크플로를 자동화하는 LLM 기반 에이전트의 가능성을 입증한다.
대규모 언어 모델(LLM) 에이전트의 추론 능력을 향상시키려면 다양한 전문가 모델과 도구를 효과적으로 조율해야 한다. 그러나 기존 프레임워크는 대체로 태스크와 전문가 모델 또는 도구의 기능 간 거친 수준의 매칭을 기반으로 API를 호출하며, 기능적으로 유사한 대안들 사이의 성능 변동성과 비용 효율성 같은 중요한 요소를 간과한다. 이를 해결하기 위해 우리는 Agora를 제안한다. Agora는 전문가 모델과 도구에 태스크를 동적으로 할당하기 위한 인센티브 호환 경매 메커니즘을 도입한 프레임워크다. 추론 단계를 거래 가능한 항목으로 취급함으로써, Agora는 에이전트가 교정된 역량을 기반으로 입찰할 수 있게 하여—가장 과신하는 해결자가 아닌 가장 유능한 해결자에게 핵심 논리가 라우팅되도록 보장한다. 다섯 가지 벤치마크에 걸친 평가 결과, Agora는 유사한 후보 풀 조건에서 단일 모델 매칭, 라우팅, 캐스케이드 기준선 대비 성능이 향상되었으며, 단일 경매 매개변수를 통해 제어 가능한 비용-품질 트레이드오프를 제공한다.
기업 및 공공 부문 전반에 걸친 에이전틱 AI 시스템의 급증은 이를 분류하고 관리할 범용 AI 위험 프레임워크의 수용 능력을 앞질러 왔다. 본 논문에서는 기존 AI 거버넌스 프레임워크를 기반으로 하며 7가지 유형의 에이전틱 AI 시스템에 적용 가능한 구조적·반복 가능한 도구인 TrustX 에이전트 위험 분류 프레임워크를 소개한다. 프레임워크의 핵심은 위험을 견고하게 정량화하는 12개 차원 채점 루브릭이다. 이 루브릭은 GPA + IAT 분류 모델 및 기존 문헌에서 도출한 5단계 자율성 프레임워크 등 다른 구성 요소와 결합된다. 이러한 입력들은 매핑된 통제 권고사항을 포함하는 3단계 거버넌스 출력을 생성한다. 해당 에이전틱 AI 시스템 유형에 특유한 세부 사항을 반영하기 위해 특화된 코딩 어시스턴트 확장도 포함되었다. 이후 실례를 통해 프레임워크의 실제 적용을 제시한다. ARC는 AI 거버넌스 실무자, 위험 담당자, 개발자, 규제 기관을 대상으로 하며, 프레임워크를 지속적으로 확장하고 견고성을 높여 나가면서 정기적인 반복 개선이 이루어질 예정이다. 커뮤니티는 인터랙티브 프레임워크에 다음 주소에서 접근할 수 있다: https://arc.responsible.ai/