대규모 기초 모델(foundation model) 시대에 자율적으로 자기 개선하는 모델을 추구하는 연구는 점점 더 많은 관심을 받고 있다. 인간 뇌의 "깨달음(enlightenment)" 또는 "아하 순간(aha moment)" 개념에서 영감을 받아, 우리는 대규모 모델이 유사한 깨달음 현상—갑작스러운 능력 향상을 위한 잠재적 역량—을 보인다고 가설한다. 그런 다음, 우리는 대규모 모델을 위한 새로운 학습 없는(training-free) 사후 튜닝(post-tuning) 패러다임인 Enlightenment를 제안한다. 우리의 접근법은 가중치 업데이트 없이 핵심 모듈/레이어에 대한 shortcut을 수정하는 반면, 기존의 학습 없는 방법들은 주로 어텐션 가중치를 조작한다. 우리는 아키텍처별 두 가지 구체화를 도입한다: i) 대규모 언어 모델(LLM)의 경우, 초기 어텐션 head의 출력을 다른 모든 타깃 head에 연결하여 어텐션 가중치를 재보정하는 attention head-mixing shortcut을 제안하며, 이는 적응형 스케일링 계수 초기화 전략으로 조절된다. ii) 비전-언어(vision-language) 모델의 경우, 디코더 레이어의 잔차 연결(residual connection)에 경량 스칼라-변조 인자를 적용하여 정보 흐름을 조절한다. 광범위한 실험을 통해 Enlightenment가 사전학습된 네트워크의 잠재적 가능성을 효율적으로 발휘하며, 다양한 벤치마크와 모델에서 현저한 성능 향상을 가져온다는 것을 보여준다.
강화학습(RL) 사후 학습은 추론, 계획, 그리고 피드백 기반 로봇 학습 파이프라인에 기반 모델을 적응시키는 데 점점 더 많이 사용되지만, 제한된 사후 학습 자원은 종종 단일 총 FLOP 예산으로 요약된다. 우리는 이러한 관행 뒤에 있는 고정 예산 의사결정 문제를 연구한다: 같은 사후 학습 예산 하에서 더 큰 정책을 쓸 것인지, 더 작은 정책을 더 오래 학습할 것인지, 더 많은 롤아웃 탐색을 생성할 것인지, 아니면 연산을 더 강력한 보상 피드백에 쓸 것인지. 우리는 GRPO 사후 학습을 위한 FLOP 회계 프레임워크를 도입하며, 이는 연산을 롤아웃/탐색, 정책 업데이트/학습, 그리고 보상 또는 피드백 모델 평가로 분해한다. LoRA로 적응된 Qwen2.5 정책들에 걸쳐, 우리는 조건부 할당 프론티어를 발견한다: 관측된 최적 할당은 모델 크기, 연산 예산, 보상 시스템, 평가 대상에 따라 달라진다. 동일 FLOP 모델 크기 비교는 모델 선택과 학습 할당이 결합되어 있음을 보여준다. 더 큰 정책이 토큰당 더 많은 연산을 소비하기 때문에 같은 예산 하에서 더 적은 업데이트나 롤아웃을 확보할 수 있기 때문이다. 보상 시스템도 회계를 바꾼다: 규칙 기반 보상은 업데이트 외 연산의 거의 전부를 정책 롤아웃에 쓰는 반면, PRM 스타일 피드백은 예산의 눈에 띄는 부분을 보상 모델 추론에 할당한다. 우리는 비용이 큰 검증 실행 이전에 할당 체제를 식별하기 위한 진단용 파일럿 그리드 프로토콜로서 RACE를 제시한다. 이는 홀드아웃 개선을 보장하지는 않는다. 우리 결과는 RL 사후 학습 논문들이 총 FLOP와 함께 연산이 모델 크기, 탐색, 학습, 피드백 사이에서 어떻게 분배되는지를 보고해야 함을 시사한다.
수십억에서 수조 매개변수 규모의 대규모 언어 모델(LLM) 학습은 데이터센터에 국한되며, 여기서 데이터 병렬(DP) 및 모델 병렬(MP) 기법은 동종 가속기, 고속 상호 연결, 단일 조율 주체를 전제로 한다. 이로 인해 프론티어 모델 개발은 그러한 클러스터를 구축할 수 있는 소수 그룹에 집중된다. 한편, 학습에 활용되지 못하는 막대한 연산 자원이 존재한다: 이종(preemptible)이고 선점 가능하며 개별 소유이고 인터넷으로만 연결된 소비자 및 전문가용 GPU들이다.
Agora를 제안한다. 이는 해당 연산을 효율적으로 활용하는 시스템이다. Agora는 인터넷급 링크를 통한 대역폭 효율적 파이프라인 병렬 모델 샤딩과 다자간·내결함성 집합 통신 연산을 결합한다. 각 참여자는 모델의 한 단계(stage)만 보유하며, 어떤 단일 주체도 전체 가중치를 소유하지 않는다. 이 구성을 Protocol Learning이라 부른다: 집단적으로 학습되고 집단적으로 소유되는 모델을 가능하게 하며, 경제적 지속 가능성을 갖춘 오픈소스 프론티어 학습으로 가는 길을 연다.
이 보고서는 통신 효율적 병렬 처리, 비동기 최적화, 내결함성 시스템 설계에 걸친 연구 노력의 결과를 제시한다. 그 정점은 유형상 최초의 실증이다: Pluralis-8B—FineWeb-Edu의 500B 토큰으로 86억(8.6B) 매개변수 모델을 오픈·무허가 방식으로 사전학습한 실행(run)이다. 이 모델은 40일에 걸쳐 330개 기여자 노드—주로 인터넷 연결上的 소비자 GPU—가 수시로 참여하고 이탈하며 학습되었다. 해당 실행은 ~170k tokens/s와 풀링된 연산당 TFLOP당 4.2 토큰을 유지했으며, 중앙집중식 H100 기준선 대비 효율의 63%를 달성했고, 중앙집중식 기준(reference) 실행과 작은 마진 내에서 수렴했다.
구조적 가지치기(structured pruning)는 대규모 언어 모델(LLM)을 압축하는 하드웨어 친화적인 방법이지만, 대부분 객관식 인식 과제에서 검증되는 반면, 동일한 압축 체크포인트는 실제 배포에 필요한 자유 형식 생성에서 붕괴할 수 있다. 이 격차를 설명하는 두 가지 관찰이 있다. 첫째, 탐욕적 pass@1은 압축 후 거의 사라지지만, pass@k는 반복 샘플링에서 상당히 회복된다: 유용한 생성은 지워진 것이 아니라 순위가 낮아진 것이다. 둘째, 회복 가능한 영역은 주로 접미사 반복을 통해 실패한다. 따라서 복구는 압축된 모델 자체의 온-정책 상태에서 밀집한 토큰 수준 감독으로 학습해야 하며, 온-정책 지식 증류(On-Policy Distillation, OPD)는 압축 이전 모델을 고정 교사로 재사용하여 이를 제공한다. 그러나 긴 온-정책 롤아웃은 초기 복구 예산을 정보가 적은 반복적 접미사에 소비하여 손실 하강을 지연시킨다. 이 낭비를 완화하기 위해, 교사가 확인한 반복적 접미사를 감지하고, 남아 있는 접두 문맥을 각 롤아웃의 유효 길이로 취급하며, 향후 롤아웃 예산을 정책이 현재 사용할 수 있는 유효 길이에 할당하는 짧은-에서-긴(short-to-long) OPD 스케줄인 ShortOPD를 제안한다. 수학, 코드, 개방형 생성 전반에 걸쳐, ShortOPD는 압축 모델의 점수를 복구되지 않은 값의 약 9배로, 표준 복구 기법(SFT w/o KD, KD, SeqKD) 대비 1.6–4.4배로 끌어올리며, 고정 8192-토큰 롤아웃 horizon을 2점 이내로 맞추면서 학습 시간의 4분의 1(8.5 vs. 35.9시간)과 71% 더 적은 롤아웃 토큰을 사용한다. 이 방법이 구조적 가지치기가 perplexity와 객관식 벤치마크에서의 미미한 향상을 넘어, 배포 가능한 생성 품질에 한 발 더 다가가도록 돕기를 바란다.
대규모 언어 모델(LLM)은 연구 환경에서 빠르게 실전 환경으로 이동하고 있으며, 기업 인프라, 개인 기기, 엣지 플랫폼에 배포되고 있다. 클라우드 배포는 확장 가능한 컴퓨팅을 제공하지만, 데이터 주권, 규정 준수, 지연 시간, 제3자 의존에 대한 우려가 조직들을 엣지 및 온프레미스 LLM으로 이끌고 있다. 이러한 전환은 새로운 보안 및 프라이버시 과제를 야기한다. 제한된 연산 및 메모리는 양자화, 가지치기, 모델 분할, 매개변수 효율적 적응을 포함한 공격적인 최적화를 강요하며, 각각은 취약점을 도입하고 위협 환경을 재편할 수 있다. 우리는 이러한 긴장을 보안-효율성 역설(Security-Efficiency Paradox)로 설명한다. 즉, 효율성을 높이는 메커니즘이 견고성을 약화시키거나, 새로운 공격 표면을 노출하거나, 프라이버시 위험을 증가시킬 수 있다. 우리는 압축이 안전성 정렬(alignment)을 어떻게 저하시킬 수 있는지, 분할 추론이 재구성 공격을 어떻게 가능하게 하는지, 지속적인 로컬 적응이 프라이버시 누출과 모델 드리프트를 어떻게 유발할 수 있는지 검토한다. 이러한 위험을 분석하기 위해, 메모리 벽(Memory Wall), 이차 벽(Quadratic Wall), 연산 벽(Compute Wall)이라는 세 가지 아키텍처 제약을 중심으로 구성된 배포 중심 분류체계를 도입한다. 우리는 불안전한 최적화가 피할 수 없게 되는 시점을 정량화하는 통합 제약 모델을 도출하고, 각 벽을 특정 공격 표면에 연결한다. 이 모델을 바탕으로, 작업 정확도, jailbreak 저항, 프라이버시를 에너지, 메모리, 지연 시간과 균형 맞추는 전체론적 지표인 Secure Operational Efficiency Score(SOES)를 제안하여, 실제 하드웨어 한계 하에서 엣지 LLM을 구성할 수 있게 한다. 또한 각 최적화 유발 취약점에 대한 실용적 의사결정 절차와 표적 완화 방안을 제시한다. 이러한 기여를 종합하면, 보안, 프라이버시, 효율성을 공동 평가하기 위한 공동 설계 프레임워크를 제공하며, 엣지 네이티브 지능 시스템을 보호하기 위한 기반을 마련한다.
문맥은 주제나 표면 형태를 바꾸지 않으면서도 요청이 해로운지 여부를 바꿀 수 있다. 우리는 잔차 스트림(residual-stream) 프로브가 유용한 운영 지점에서 해로운 요청을 표면적으로 일치하는 양성(benign) 대조군과 구별할 수 있는지 조사한다. 세 가지 7-8B 모델 계열 전반에서, 활성화 센서는 분류체계로 선정된 집합에서 판정기(judge)가 분류한 준수(compliant) 공격의 95.5-97.7%를 차단한다. 또한 XSTest 프롬프트의 59.6-68.4%를 차단한다. 완전히 분리된 감사(audit)는 거의 상한에 가까운 소스 대비(source-contrast) AUROC(0.996-0.999)를 재현하지만, 고정 전이(transfer)를 일치 쌍(matched pairs)에 적용하면 성능이 더 약하다: guard가 선정한 Twin-n70 부분집합에서 0.656-0.819, 전체 Twin-n163 코호트에서 0.590-0.690이다. 우리는 기준(reference) 계열에서 10개 축, 모든 계열 전반에서 7개 축을 누출(leakage), 홀드아웃(hold-out), 순열(permutation) 통제와 함께 테스트한다. Twin-n163에서, 직접적인 쌍 경계(pair-boundary) 적합(fitting) 없이 평가된 어떤 축도 지정된 수치 임계값에 도달하지 못한다. 해당 전체 코호트에 대한 지속성(persistence) 요구 조건은 분석 시점에 추가되었다. 별도로 명시된 24B/32B 확장 실험에서도 동일한 결과를 얻는다. 쌍으로 학습된 분류기는 범주(category) 및 생성 배치 홀드아웃 하에서 성능이 약화되며, 코퍼스 내 TPR 95%에서 XSTest의 79.6-100%를 오차 차단(false-block)한다. 테스트된 판독(read) 지점에서, 이 활성화 점수들은 독립적인 문맥 판정기라기보다 광범위 위험 탐지기로 동작한다.
TriAttention은 장기 추론 LLM의 KV 캐시를 축소하기 위한 최근 방법으로, 캐시된 각 키(key)가 받을 가능성이 있는 어텐션(attention)의 양을 점수화하고 가장 낮은 점수의 키들을 제거(evict)한다. 키는 미래 쿼리(query)가 얼마나 멀리 있을지 알 수 없기 때문에, 점수는 17가지 가능한 미래 거리의 사다리(ladder)에 대해 평균을 낸다. 우리는 이 평균이 '공짜'임을 지적한다: 미래 거리는 위치 의존적 회전(position-dependent rotation)을 통해서만 점수에 들어가므로, 17번 평균 전체가—정확히, 한 줄의 대수적 항등식(algebraic identity)에 의해—오프라인으로 한 번만 계산되는 밴드(band)당 단일 가중치(weight)로 축약된다. 키 점수화는 17번이 아닌 1번의 평가만 필요하며, 가지치기(pruning)되는 키의 집합은 바뀌지 않는다. 절감 효과는 크지 않으며 TriAttention의 가지치기 점수 계산 전체에 국한되고 어텐션 커널(kernel)은 건드리지 않는다; 우리는 이를 기존 방법에 대한 작은 정확한 보완으로 제시하고, 항등식을 수치적으로 검증한다.
스트리밍 추론 파이프라인은 점점 더 경량의 빠른 모델과 풍부한 의미 이해를 제공하지만 상당한 비용이 드는 대규모 언어 모델(LLM)을 함께 사용하고 있다. LLM을 언제 호출할지에 대한 핵심 질문은 형식적인 다루어짐이 제한적이었다. 우리는 이를 위험(risk) 기반의 순차적 정지(sequential stopping) 문제로 정식화하며, 관측 이력에 대한 위험 함수(risk functional)가 임계값을 초과할 때 트리거 정책(trigger policy)이 작동한다. 이 프레임워크 내에서 우리는 여섯 가지 결과를 증명한다: 트리거 채터링(trigger chattering)을 배제하는 최소 이벤트 간 시간 하한; smooth pasting을 통한 임계값 정책의 최적성; 추정 파라미터 하에서의 근사 SPRT 보장; 정상(stationary) 스트림에 대한 O(√(T log T)) regret, C_T개 changepoint 하에서는 O(√((C_T + 1) T log T))로 확장; 적응형 임계값에 대한 온라인 경사하강법(online gradient descent)의 O(1/√T) 수렴; 그리고 calibration-to-miss-rate 전이 부등식. 이벤트 트리거, 최적 정지, SPRT, CUSUM, 베이지안 트리거를 포함한 여러 고전적 트리거 패밀리가 이 프레임워크의 특수 사례로 표현될 수 있다. 실제 LLM 호출을 사용한 터보팬 열화 데이터(CMAPSS)에서, 우리는 이론적 가정을 실증적으로 검증하고, 위험 함수 설계에 대한 ablation을 수행하며, RouteLLM 스타일 라우터와 문맥적 밴딧(contextual bandit)을 포함한 6개 baseline과 비교하고, 비용 민감도와 LLM 실패 모드를 분석한다. 결과는 모든 원칙적(principled) 트리거에 대해 alpha < 1인 sublinear regret을 확인하고; 당사 rubric 하에서 1600건 LLM 진단 중 92.9%가 그라운딩 점수(grounding score) >= 0.75에 도달하는 높은 진단 품질; 그리고 Pareto AUC에서 anomaly-score 기반 위험 함수가 대안들보다 대략 한 자릿수(order of magnitude) 우세함을 보인다.
매개변수 분해(PD)는 신경망을 원본 네트워크의 연산을 충실히 반영하는 해석 가능한 계산 구성요소로 분해한다. 그러나 대규모 모델에 PD를 확장하려면 막대한 연산 자원이 필요하여 비용이 크고 위험한 시도가 된다. 본 논문에서는 표적 PD(tPD)를 제안하는데, 이는 비표적 데이터를 모두 처리하는 고랭크(high-rank) 만능(catch-all) 구성요소를 도입함으로써 고립된 프롬프트부터 대규모 하위 과제에 이르는 관심 대상 특정 입력을 처리하는 구성요소만을 식별한다. 우리는 tPD를 toy 모델과 The Pile에서 학습된 트랜스포머 언어 모델에 대해 검증하였으며, 재현 가능하고 메커니즘적으로 충실한 회로를 복원함을 보였다. 4블록 트랜스포머에서 공개된 분해 대비 7%의 FLOP만으로 CSS-only 하위 모델을 추출하였고, 12블록 트랜스포머에서는 암기된 시퀀스를 수술적으로 제거(ablate)하고 재배선(rewire)하여 다른 입력에는 무시할 만한 부작용만을 남겼다.
대규모 언어 모델(LLM) 기반 AI 교육 콘텐츠 생성 시스템이 점점 더 개발되고 있지만, 이를 체계적으로 평가할 표준화된 벤치마크는 아직 존재하지 않는다. 본 연구는 수학, � physics, 화학, 컴퓨터 과학에 걸친 240개 STEM 주제에서 647개의 사람이 작성한 수업과 LLM 기반 역공학(reverse-engineered) 수업 계획이 쌍을 이루는 벤치마크 데이터셋인 LessonBench-V1을 소개한다. 수업은 LibreTexts, Brilliant.org, GeeksForGeeks 등 97개의 신뢰할 수 있는 오픈 소스에서 가져왔다. 각 수업 계획은 사람의 검토를 거쳤으며, Bloom's Taxonomy, Gagné's Events, Merrill's First Principles, 5E Instructional Model을 종합하는 교육학적으로 근거 있는 방법론을 통해 생성되었다. 수업 계획은 교육학적 메타데이터와 함께 3,620개의 학습 목표를 포함하며, 수업 생성 AI 에이전트의 체계적이고 재현 가능한 평가와 추가 연구를 지원한다. 본 연구는 이 데이터셋과 함께 사용할 3차원 평가 파이프라인을 추가로 제안한다.
다중 과제 모델 병합(multi-task model merging)은 공동 학습(co-training) 없이 별도로 학습된 전문가(expert) 모델들을 모든 과제를 처리하는 단일 모델로 결합한다. 표준 관행은 전문가를 최적 검증 손실에서 병합한다. 우리는 도메인 전문가의 학습 기간이 병합된 모델의 품질에 어떻게 영향을 미치는지 체계적으로 연구함으로써 이 관례에 이의를 제기한다. 우리는 세 가지 모델 크기(Qwen 3.5 0.8B, 2B, 4B)에서 다섯 도메인(Math, Code, Instruction Following, Multilingual, Safety)에 대해 전문가를 파인튜닝하고, 최적 학습 스텝의 25%에서 500%까지의 체크포인트를 저장한 뒤, 각 기간마다 다섯 가지 병합 방법을 평가한다. 우리의 결과는 주목할 만한 방법 의존적 패턴을 보여준다: 단순 평균화는 과적합과 함께 급격히 성능이 저하되는 반면, 희소화(sparsification) 기반 방법은 검증 최적점을 훨씬 지난 시점에서 최고 성능을 달성한다. 우리는 바이어스-분산(bias-variance) 분해 분석을 통해 이를 형식화하고, 평균화가 높은 분산의 개별 학습기로부터 이익을 얻는 랜덤 포레스트(random forests)와의 유사성을 제시한다. 이 결과는 학습 기간과 병합 방법을 독립적으로가 아니라 함께 선택해야 함을 시사한다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 희소한 검증 가능 최종 답변 보상을 이용해 대규모 언어 모델(LLM)을 최적화한다. 이 희소한 앵커는 궤적의 성공 여부를 신뢰성 있게 검증하지만, 그 궤적을 생성한 추론 경로에 대한 직접적인 피드백은 제공하지 않는다. 성공 이전 단계에서는 어려운 문제에 대한 사전 진행이 보상 신호를 전혀 받지 못하고, 성공 이후 단계에서는 결과 보상이 잘 구성된 올바른 궤적과 중복되거나 국소적으로 결함이 있는 궤적을 구별하지 못한다. 본 논문에서는 SCOPE-RL(Scaffolded Chain Optimization with Process Efficiency)을 제안한다. 이는 GRPO 업데이트를 유지하면서 이 앵커를 밀도화하는 2단계 프레임워크로 구성된다. Adaptive Scaffolded RL은 성공 이전에 답변이 은닉된 하위 질문 체인에 접두 문맥 분해 방식의 검증 가능 보상을 추가하고, Quality-Aware Process RL은 성공 이후 올바른 궤적을 정제하기 위해 정확성 게이팅 방식의 프로세스 형태 보상을 적용한다. 전문가 검증 기반의 단계 품질 평가 프로토콜(Step-Quality Evaluation Protocol)은 최종 답변 정확도를 넘어 유용한 단계 밀도, 오류 위치 파악, 토큰 효율성을 평가한다. DAPO-Math 및 Big-Math로 학습된 Qwen3-8B-Instruct에서 SCOPE-RL은 결과만 사용하는 GRPO 대비 평균 정확도를 최대 11.2 pp 향상시키고 추론 토큰을 최대 27.1% 감소시켰으며, GSPO 및 Qwen3-0.6B-Instruct에서도 성능 향상이 유지되어 보상 신호 밀도화가 정책 업데이트 수준의 RLVR 발전과 상보적임을 나타낸다. 코드와 데이터는 https://github.com/tokencraft-lab/SCOPE-RL 에서 확인할 수 있다.
양자화된 가중치로 학습하면 비용을 절감할 수 있지만, 특히 고정밀도 복사본을 저장하지 않고 저정밀도로 최적화를 수행할 경우 정확도가 저하되는 경우가 많습니다. 우리는 핵심 실패 모드를 규명합니다: 저정밀도 환경에서 표준 옵티마이저는 특히 거친 가수부(mantissa) 해상도로 인해 큰 가중치 크기에서 정체되어 진전을 이루지 못할 수 있습니다. 이를 극복하기 위해, 표준 옵티마이저의 가산 업데이트 대신 승산 업데이트가 기존에 제안된 바 있습니다. 로그 수 체계(logarithmic number system)와 같은 극저정밀도 환경에서는 효과적이지만, 이러한 방법은 0 근방 및 부호 변환 시 실패 문제를 겪습니다. 따라서 가산 업데이트와 승산 업데이트의 실패 모드는 상호 보완적입니다. 이를 활용하기 위해, 우리는 두 가지 업데이트 유형을 결합한 M+Adam을 제안합니다: 가산 스텝은 부호 변환과 작은 크기를 처리하고, 승산 스텝은 반올림 시 가산 업데이트가 소거되는 큰 가중치 크기에서 진전을 보장합니다. 우리는 표준 평활성 가정 하에서 M+Adam의 단조 감소(monotone descent)를 증명합니다. 60M–1B 규모 모델을 사용한 LLaMA 스타일 사전학습, 1x–8x Chinchilla 예산, BF16·FP8·FP4 마스터 가중치만을 사용하는 조건 전반에서 M+Adam은 저정밀도 학습을 일관되게 개선합니다.
AI 에이전트가 양자 회로 다이어그램을 시각적으로 이해하고 실행 가능한 검증된 코드를 생성할 수 있는가—그리고 그 비용은 얼마인가? 본 논문에서는 양자 회로 시각적 이해를 위한 멀티모달 AI 에이전트의 비용 인식 평가 프레임워크인 Quantum Circuit Vision을 제안한다. 우리는 실행 가능한 Amazon Braket 코드와 유니터리 충실도(unitary-fidelity) 검증을 갖춘 13개 카테고리($1$--$10$ 큐비트)에 걸친 132개 회로 벤치마크를 구축하였다. 서로 다른 성능-비용 계층의 Claude 패밀리 프런티어 모델 3종을 $n=5$ 반복 시험으로 평가한 결과, 중간 계층 모델(Sonnet 4.6, $1.30\times$ 크레딧)이 비용-정확도 프런티어에서 가장 유리한 균형을 제공함을 발견하였다: 핵심 서브셋에서 91% 통과율을 기록하면서 가장 강력한 모델(Opus 4.6)의 호출당 비용의 18%에 불과하였으며, Opus 4.6의 정확도 우위는 통계적으로 유의하지 않았다(대응 $t$: $p=0.083$). 로지스틱 회귀 분석을 통해 회로 깊이가—큐비트 수가 아닌—실패의 주요 예측 변수임이 확인되었다($p<0.001$). 사고의 연쇄(Chain-of-Thought) 프롬프팅은 통계적으로 유의미한 효과를 보이지 않아(모든 $p>0.18$, $n=5$), 구조적으로 결합된 다이어그램에서는 명시적 추론 전략보다 시각적 패턴 인식이 더 중요함을 시사한다. 우리는 저렴한 모델에서 고가 모델로의 캐스케이드 라우팅 전략(cheap $\rightarrow$ expensive models)을 제안하며, 이 전략은 단일 모델 비용의 38%로 84% 정확도를 달성함으로써 모델 라우팅이 프롬프트 엔지니어링보다 비용 절감의 핵심 수단임을 입증한다. 우리는 발견 가능성, 상호운용성, 책임 있는 AI 문서화를 위한 구조화된 메타데이터를 갖춘 개방형 평가 인프라로서 QCV-Dataset(132개 회로, 5개 모달리티, 1,931개 파일)을 Hugging Face Hub에 공개하고, 완전한 재현성을 위한 모든 평가 코드, 비용 로그, 검증 스크립트를 GitHub에 공개한다.
임베딩 테이블과 LM-head의 그래디언트 기하학이 일반 밀집 가중치와 다르다는 점에 착안하여, Fisher 정보 행렬을 기반으로 $\mathcal{O}(V+D)$ VRAM만 사용하는 경량 최적화기 Ember를 제안한다. Ember는 Adam 대비 메모리를 대폭 절감하면서도 지도 파인튜닝, 강화학습, 사전학습 전반에서 동등하거나 더 나은 성능을 달성하며, 토큰의 최적화 궤적이 1D 직선으로 근사될 수 있음을 실증적으로 보인다.
현대 LLM 배포에서는 비용, 지연 시간, 또는 반복을 줄이기 위해 양자화와 더 높은 샘플링 온도를 종종 함께 사용하지만, 안전성 평가는 보통 이를 고정된 구현 세부 사항으로 취급한다. FP16과 greedy decoding에서 안전한 모델이 양자화 및 확률적 샘플링 이후에도 안전한지, 아니면 두 요인이 서로를 증폭하는지 검증한다. 다섯 개 모델 계열의 인스트럭션 튜닝 모델 8개를 3가지 정밀도와 6가지 온도에 걸쳐 평가하여, 7개의 유해성 벤치마크에서 144개 구성을 다루고 약 200만 개의 응답을 생성하며, 이를 6개 심사 위원으로 구성된 안전성 앙상블이 채점한다. 저비트 배포가 정렬을 약화시킨다는 우려와 달리, 표준 양자화는 대략 안전성 중립적임을 확인한다. 8개 모델 중 7개에서는 AWQ INT4가 공격 성공률을 FP16 대비 약 1.6퍼센트 포인트 이내로 유지하거나 더 낮추며, 뚜렷한 성능 저하는 SmolLM3-3B(34.5%에서 44.1%)에서만 나타난다. 그러나 더 큰 위험은 샘플링에서 비롯된다. 더 높은 온도는 결정 불안정성을 급격히 증가시키며, 평균 ASR 변화는 완만할 때에도 T = 1.0에서 DFR이 41.9%에 달한다. 두 요인은 복합 작용하지 않는다. 복합 저하 지수(Compound Degradation Index)는 가법적(sub-additive) 범위(-0.071~+0.018)에 머무르며, 이는 양자화가 온도 유발 저하를 증폭하기보다 부분적으로 상쇄함을 나타낸다. 마지막으로, 벤치마크별 분석은 단일 벤치마크 평가가 위험을 심각하게 과소평가함을 보여준다. AdvBench에서 0%를 기록한 여러 모델이 ManyHarm에서는 80%를 초과한다. 따라서 표준 INT4/INT8 양자화는 잘 정렬된 모델에 대해 합리적일 수 있으나, 안전성 주장은 greedy decoding에서 단일 벤치마크에 의존하기보다 여러 벤치마크에 걸친 다중 샘플 안정성을 보고해야 한다.
예측 모델이 신용 승인과 같은 고위험 환경에 점점 더 배포됨에 따라, 영향을 받은 개인에게 구제(recourse)를 제공하는 사후(post-hoc) 방법에 대한 수요가 증가하고 있다. 이러한 모델 중 다수는 특징이 실세계 속성에 대응하는 표형(tabular) 데이터에서 동작한다. 최근 문맥 내 학습(ICL)은 추론 시점에 레이블이 있는 예시에 조건화함으로써, 명시적 학습 없이 대규모 언어 모델(LLM)이 표형 예측을 수행할 수 있게 했다. 그러나 ICL 하에서의 표형 의사결정을 위한 알고리즘적 구제는 아직 대부분 탐구되지 않았다.
본 연구에서는 ICL 하에서 표형 데이터에 대한 알고리즘적 구제에 대한 최초의 연구를 제시한다. 우리는 이론적 분석을 수행하여 구제가 잘 정의되고 유계(bounded)임을 보이며, 컨텍스트 크기가 증가함에 따라 구제가 고전적(classical) 해법으로 수렴하는 방식을 특성화한다.
실제로 우리는 블랙박스 ICL 모델에 대해 실행 가능하고 희소(sparse)한 구제를 효율적으로 생성하는 새로운 0차(zeroth-order) 구제 프레임워크인 문맥 내 학습을 위한 적응형 부분공간 구제(Adaptive Subspace Recourse for In-Context Learning, ASR-ICL)를 제안한다. 제안된 프레임워크는 다중 클래스 표형 작업으로 자연스럽게 확장된다.
다수의 실세계 데이터셋과 모델에 걸친 실험은 ASR-ICL이 더 적은 쿼리로 기존 방법과 비슷한 구제 품질을 달성함을 보여주며, 예측된 수렴 거동을 실증적으로 확인하여 우리의 이론적 분석을 뒷받침한다.
테스트 시간 학습(TTL)은 언어 에이전트가 추론 시점에 환경과 반복적으로 상호작용함으로써 성능을 반복적으로 개선할 수 있게 한다. TTL의 핵심은 이전 에피소드의 경험을 바탕으로 액터 정책을 업데이트하여 이후 행동을 개선하는 적응 정책이다. 기존 방법들은 하위 개선을 위해 최적화하기보다는 고정된, 수작업으로 설계된 적응 정책에 의존한다. 우리는 최적의 적응 정책이 인간의 직관에 기반하여 수작업으로 설계되는 것이 아니라 과제 환경으로부터 학습되어야 한다고 주장한다. 이를 위해 우리는 효과적인 적응 정책의 발견을 이중 수준 최적화 문제로 공식화하는 프레임워크인 Meta-TTL을 제안한다. 이 프레임워크 내에서, 내부 루프는 표준 TTL 과정을 실행하며, 후보 적응 정책이 순차적 에피소드에서 에이전트가 오류를 교정하는 데 얼마나 효과적으로 도움을 주는지 측정한다. 에이전트의 성능에 따라 외부 루프는 다양한 학습 과제 분포에 대한 진화 탐색을 통해 적응 정책을 지속적으로 최적화한다. 우리는 Meta-TTL을 Jericho, WebArena-Lite, $τ^2$-bench에서 분포 내(ID) 및 분포 외(OOD) 설정 모두에 대해 평가한다. 세 벤치마크 모두에서 Meta-TTL은 단일 에이전트, 프롬프트 최적화, 최적화되지 않은 메타-에이전트 기준선들을 일관되게 능가하며, 최적화된 적응 정책이 학습 과제 분포를 넘어 일반화되는 전이 가능한 전략을 인코딩함을 시사한다.
사고의 연쇄(Chain-of-Thought) 프롬프팅은 대규모 언어 모델(LLM)에서 단계별 추론을 대중화했지만, 문제 복잡도와 컨텍스트 길이가 증가함에 따라 모델 성능은 여전히 저하된다. 긴 컨텍스트를 가진 어려운 작업을 더 짧고 관리 가능한 작업으로 분해함으로써, 최근의 다중 에이전트 패러다임은 이 문제에 대한 유망한 단기적 해결책을 제공한다. 그러나 이러한 시스템의 근본적 역량은 잘 이해되지 않았다. 본 연구에서는 다중 에이전트 시스템의 표현력을 분석하기 위한 이론적 프레임워크를 제안한다. 우리는 이 프레임워크를 세 가지 알고리즘군—상태 추적(state tracking), 회상(recall), $k$-hop 추론—에 적용한다. (i) 작업을 정확히 풀기 위해 필요한 에이전트 수, (ii) 에이전트 간 통신의 양과 구조, (iii) 문제 크기와 컨텍스트 규모에 따른 달성 가능한 가속화에 대한 상한을 도출한다. 우리의 결과는 통신이 증명 가능하게 유익한 영역을 식별하고, 에이전트 수와 대역폭 간의 트레이드오프를 구분하며, 어느 한 자원이 제약될 때 내재적 한계를 드러낸다. 우리는 통제된 합성 벤치마크를 사용하여 사전학습된 LLM에 대한 일련의 실험으로 이론적 분석을 보완한다. 실증 결과는 우리 이론이 예측한 핵심량 간 트레이드오프를 확인한다. 종합적으로, 우리의 분석은 확장 가능한 다중 에이전트 추론 시스템을 설계하기 위한 원칙적 지침을 제공한다.
강화학습(RL)은 언어 모델의 능력을 확장할 잠재력을 지니지만, 현재 RL 기법이 새로운 행동의 발견을 촉진하는지, 아니면 베이스 모델에 이미 존재하는 행동을 단순히 날카롭게 다듬는 것인지는 불분명하다. 본 논문에서는 의도적인 탐험—모델이 새롭고 다양한 행동을 발견하도록 명시적으로 인센티브를 부여하는 것—의 가치를 조사하고, 사전학습된 모델에 담긴 지식이 이러한 탐색을 어떻게 이끌 수 있는지 이해하는 것을 목표로 한다. 우리의 주요 발견은, 사전학습 언어 모델의 은닉 상태에서 유도한 단순하고 원칙적인 표현 기반 보너스를 통한 탐험이 다양성과 pass@k 비율을 크게 향상시킨다는 것이다—사후 학습과 우리가 새로 제안하는 추론 시 스케일링 설정 모두에서. 추론 시에는 표현 기반 다양성을 활용한 탐험이 효율성을 높이며, 다양한 모델과 추론 과제에서 pass@k 비율을 일관되게 향상시킨다. 예를 들어 Qwen-2.5-14b-Instruct에서는 거의 모든 과제에서 검증기 효율이 50% 이상 개선된다. 사후 학습에서는 이 탐험 전략을 RL 파이프라인에 통합하면 초기 모델과 표준 RL 사후 학습 대비 추론 성능이 향상됨을 보인다. 예를 들어 AIME 2024에서, 사후 학습한 Qwen-2.5-7b-Instruct의 pass@80은 동일 모델에 GRPO를 적용한 pass@256과 맞먹으며, 테스트 시간 샘플 효율에서 3배 향상을 보여준다. 전반적으로, 우리의 발견은—적절한 다양성 개념을 갖춘—의도적 탐험이 날카롭게 다듬기를 넘어 새로운 행동을 발견하는 실용적인 경로임을 시사한다.