결정론적 KV-cache 축출은 중요도 점수 하에서 상위 $k$개 토큰을 유지하고 나머지를 삭제한다. 우리는 이 설계가 무엇을 파괴했는지 알 수 없음을 증명한다: 축출된 값을 변경하여 서빙 시스템이 유지하는 모든 것은 변하지 않은 채로 실제 어텐션 출력 오류가 임의로 커질 수 있으므로, 해당 오류에 대한 서빙 시점 추정량은 일관되지 않다. 무작위화된 축출은 식별 가능성을 회복한다. 알려진 포함 확률로 포아송 샘플링된 꼬리(tail)를 사용하면, 하나의 로짓 오프셋이 소프트맥스 내부에서 Hájek 보정을 수행하고, 유지된 집합에 대한 표본조사(survey-sampling) 분산 추정량이 정확도 비용 없이 0.97의 경험적 커버리지를 갖는 단계별 오류 인증서가 된다. 실제 워크로드에서 우리는 7개의 주장을 사전 등록했고 그중 3개는 기각했다: 25--50% 예산에서 질문 인식(question-aware) 축출은 거의 무상(nearly free)이다; 출력 로그 확률이 인증서보다 실패를 더 잘 예측한다; 인증서 기반 예산 확장은 아무 것도 추가하지 않는다. 살아남는 것은 귀속(attribution)이다: 인증서는 캐시 유발 실패와 고유(inherent) 실패를 분리한다(AUC 0.73--0.75, 출력 신뢰도의 0.47--0.54 대비) 그리고 무작위 또는 신뢰도 게이팅보다 재계산을 더 잘 스케줄링한다. 무작위화는 예측이 아니라 귀속을 얻는다.
LoRA 어댑터는 몇 메가바이트에 불과하지만, 거의 모든 사람이 이를 뒤에 있는 데이터의 기록이 아니라 일종의 능력으로 취급한다. 우리는 그 가정을 검증한다. 압축 기반 기억화(memorization) 분석을 고정 베이스(frozen-base) 설정으로 확장하여, 저랭크(low-rank) 어댑터가 전혀 변경하지 않는 모델에 몇 비트만큼 기록하는지를 직접 측정한다. 그 답은 전체 미세조정보다 작으며, 매개변수 개수로 예측하는 것보다 덜 규칙적이다. 어댑터는 학습 가능한 매개변수당 몇 비트 정도를 저장하며, 이는 전체 모델의 예산에 훨씬 못 미치지만, 그 수치는 어댑터가 얼마나 많은 매개변수를 갖는지보다 어디에 위치하는지에 더 크게 좌우된다. 동일한 매개변수 예산을 어텐션에서 MLP로 옮기면 거의 두 배 가까이 담을 수 있고, 고정 베이스의 구조를 제거하면 용량은 거의 사라진다. Qwen2.5에 대한 현실적인 미세조정에 적용하면, 동일한 측정 도구는 프라이버시 누출이 어댑터가 명목상 갖는 매개변수 수가 아니라 어댑터가 기록하는 비트 수에 따라 증가함을 보여 주며, 지도 미세조정과 강화학습 사이에 뚜렷한 경계를 그어 준다. 지도 미세조정이 그대로 복사해 내려 놓는 비밀은, 검증 가능한 보상으로 학습된 어댑터는 결코 기록하지 않는다. 사후에 공격하는 대신 미세조정이 무엇을 기록하는지 측정하는 것은, 일종의 미신을 설계에 대응할 수 있는 정량으로 바꾼다.
대규모 언어 모델(LLM)은 점점 더 튜터와 사고 파트너로 사용되어 사용자가 문제를 추론하도록 돕고 있다. AI 어시스턴트의 안내는 사고를 비계화하고 학습을 촉진할 수 있지만, 이러한 이점은 그들이 어떻게 돕느냐에 달려 있다. 예를 들어, 너무 이르거나 너무 자주 개입하면 진정한 학습과 인지적 참여를 저해할 수 있다. 그러나 문제 해결 과정에서 AI 시스템이 개입 결정을 어떻게 탐색하는지는 여전히 잘 이해되지 않고 있다. 본 연구에서는 학습 중 LLM 개입을 평가하기 위한 시뮬레이션 기반 벤치마크인 Int-Bench를 제안한다. Int-Bench는 "학생"이 문제를 풀고 "교사"가 학생의 추론을 모니터링하며 개입 여부, 시점, 방식을 결정하는 상황을 시뮬레이션한다. 코드 디버깅, 수학, 두뇌 퍼즐이라는 세 가지 영역에서 LLM 교사의 개입 빈도와 시점, 그리고 즉각적인 과제 성공과 새로운 문제로의 일반화에 미치는 영향을 평가한다. LLM과 인간을 비교한 결과, LLM이 인간보다 더 자주, 더 일찍 개입하는 것으로 나타났다. 게다가 인간과 달리, LLM은 표적화된 힌트보다는 완전한 해답을 제공하는 경향이 있다. 이러한 결과는 현재 LLM 어시스턴트가 더 깊은 학습과 장기적 성공에 필요한 추론 과정을 지원하기보다는 단기적 성공을 최적화하는 경우가 많음을 시사한다.
희소 보상(sparse reward)의 장기 지평(long-horizon) LLM 에이전트에 대해 단계별 밀집(dense) 감독은 매력적인 해결책이다. 에이전트가 다음 관측을 예측하도록 보상하면 기억(memory)이 따라올 것이라는 것이다. 우리는 그룹 정규화(group-normalized) 강화학습(RL), 즉 GRPO 하에서 이 방법이 단순히 실패하는 것을 넘어 정책(policy)을 파괴한다는 것을 보인다. ALFWorld에서 Qwen3-1.7B/4B/8B 전반에 걸쳐, 잠재 기반(potential-based) 예측 보상은 모든 실행을 퇴화된 흡수 상태(degenerate absorbing state)로 몰아넣는다(예측 정확도 → 1.0, 과제 성공률 → 0, 에피소드 길이가 지평(horizon)에 고정): 옵티마이저가 자동으로 구축한 "어두운 방(dark room)" 병리(pathology)이다. 단일 요인 절제(ablation) 실험이 원인을 특정한다. GRPO의 표준편차(std) 정규화만 제거하면 동일한 보상이 재앙적(0%)에서 기준선과 동등한 수준으로 바뀐다. 두 줄의 명제(proposition)가 그 이유를 설명한다. 전부 실패(all-fail) 그룹에서 z-점수화(z-scored) 이점(advantage)은 보상 형성(shaping) 계수에 불변(invariant)하므로, 유계(bounded) 보상이 무계(unbounded) 압력이 되고 어닐링(annealing)도 도움이 되지 않는다. 우리의 핵심 통찰은 이를 일반화한다. z-점수화가 증폭하는 것은 밀집 신호의 그룹 내 분산이며 전부 실패 그룹이 지배적이므로, 숙련(mastery)에 따라 분산이 감소하는 신호는 구조적으로 증폭기-안전(amplifier-safe)하다. 이 분산 프로필(variance-profile) 기준은 우리의 붕괴를 사후 예측(retrodict)하고, 아직 실행되지 않은 실험 arm에 대한 사전 등록(preregistered) 예측을 담으며, 게재된 보상 채널 성공 사례와 일치한다(독립적 검증이 아닌 호환성 점검). 마지막으로, 통제된 신호 전달(signal-delivery) 행렬(동일한 신호, 소비(consumption) 메커니즘만 변화)은 보상 채널이 기껏해야 중립적이고 보조 손실(auxiliary-loss) 채널이 ~20점을 얻는다는 것을 보여준다. 셔플된 정답(shuffled-gold) 위약(placebo)이 정답(true-gold) arm과 일치하므로, 정답 레이블 없이도 격차는 유지된다. 최종 측정값(endpoint)은 단일 시드(single-seed)이며, 시드 복제(seed replication)와 그룹 크기(group-size) 통제는 사전 등록되어 진행 중이다.
자동화된 연구 시스템은 경험적 분석을 가속할 것을 약속하지만, 무음 실패(silent failures)에 취약하다. 즉 분석 코드는 성공적으로 실행되지만 잘못된 인과 가정에 의존하는 경우가 있다. 우리는 인공지능(AI) 기반 역학 연구 보조 도구(ARA)를 제안한다. 이 프레임워크는 인과 설계 원칙, 연구별 가정, 방법론적 제약을 명시적으로 인코딩함으로써 이러한 실패를 가시화한다. ARA는 프로토콜 구성, 합성 데이터 생성, 적대적 검증을 통합 파이프라인으로 통합한다. 이 프레임워크는 먼저 프로토콜을 구성한 다음, 알려진 그라운드 트루스(ground-truth) 효과를 갖는 구조적 인과 모델(SCM)을 사용하여 합성 데이터셋을 생성함으로써, 자연어 연구 질문을 구조화된 인과 프로토콜과 실행 가능한 분석 코드로 변환한다. 이 합성 데이터 단계는 의료 데이터와 같이 기밀 데이터에 대한 접근이 제한된 경우 파이프라인 개발을 지원할 수도 있다. 생성된 분석은 식별(identification) 가정의 통제된 위반 하에서 평가된다.
우리는 ARA를 Automated Causal Reasoning Benchmark에서 평가하며, 식별 전략, 인과량, 처치 및 결과 변수, 생성된 코드와 승인된 프로토콜 간의 일관성 회복을 평가한다. 프로토콜 구성과 적대적 검증은 표준 LLM 기반 생성과 비교했을 때 벤치마크 추정치와의 수치적 일치를 일관되게 개선하지는 못했다. 그러나 이들은 실패 양식을 바꿨다. 무음으로 인과 추정치를 반환하는 대신, ARA는 종종 프로토콜 우려, 진단 실패, 불완전한 추론, 또는 격하된 비인과적 해석을 드러냈다. 이러한 결과는 타당성 우선(validity-first) 자동 과학 시스템이 답변 정확도뿐 아니라, 인과 주장이 정당하지 않을 때 이를 표시하는지 여부로도 평가되어야 함을 시사한다.
우리는 자기설명(self-explanation)의 충실성(faithfulness)—모델이 생성한 추론이 내부 의사결정 과정을 얼마나 정확히 반영하는지—을 직접 최적화하는 강화학습(RL) 방법을 제안한다. 기존 연구는 충실성 평가에 초점을 맞추거나 추론 시점 프롬프팅(inference-time prompting) 프레임워크를 이용해 대규모 언어 모델(LLM)의 자기설명 추적 가능성(tractability)을 개선하는 데 집중하지만, 이러한 접근법은 충실한 자기설명을 생성하도록 모델 파라미터를 직접 최적화하는 메커니즘을 제공하지 않는다. 우리는 기존 충실성 지표를 RL 학습 목표로 수정하여 이 격차를 메운다. 우리는 (1) 모델이 자신의 결정에 영향을 미치는 요인을 정확히 탐지하도록 학습될 수 있는지, (2) RL이 이러한 요인의 공개(disclosure)를 직접 최적화하여 LLM 자기설명의 충실성을 향상시킬 수 있는지를 조사한다. 우리는 Phi-CCT 상관 지표에서 파생된 샘플별 보상을 사용하여 무작위 단어 삽입과 사용자 바이어스(user-bias) 삽입이라는 두 가지 개입 유형으로 실험한다. RL로 파인튜닝한 Llama3.1-8B와 Qwen3-8B는 Phi-CCT 충실성 지표에서 상당한 개선을 보이며, 분포 내(in-distribution) 점수는 거의 0에서 최대 0.664까지 상승하고, StrategyQA와 같은 홀드아웃 태스크에서 분포 외(out-of-distribution) 점수는 최대 0.691에 이른다. 개입 간 일반화(generalization)는 더 약하지만 더 흥미롭다: 사전적으로 무작위 단어 삽입만으로 학습된 모델이 사용자 바이어스 구문으로 일반화될 것으로 기대하지 않겠지만, Llama3.1-8B는 이 방향으로 0이 아닌 전이(transfer)를 보인다. 역방향과 Qwen3-8B는 이를 재현하지 않으며, 아직 설명할 수 없는 모델 의존적 및 설정 의존적 효과를 시사한다. 마지막으로 우리는 RL 학습에서 흔히 문제가 되는 보상 게이밍(reward gaming) 행동을 배제하기 위해 모델 행동을 분석한다. 궁극적으로 우리는 모델이 영향력 있는 요인을 암묵적으로 식별하고 이를 공개하도록 학습될 수 있음을 보여주며, LLM에서 불충실한 추론을 줄이는 확장 가능한 경로를 제시한다.
원래 ALPHA 벤치마크는 Python에서 CWE 수준 취약점 예측을 평가하기 위한 분류체계 인식 페널티를 도입했으며, 이 페널티가 이론적으로 학습 신호로도 사용될 수 있다고 제안했다. 본 논문은 그 검증을 제공한다. 우리는 세 가지 전달 메커니즘을 비교한다: 지도 미세조정, 이중 헤드 분류 손실, 그리고 정규화된 페널티에서 유도된 밀집 보상을 사용한 강화학습. 분포 이동 하에서 지도 방식은 일관되게 제로샷 기준선 아래로 퇴화하는 반면, GRPO는 성공한다. 최적 정책은 탐욕 디코딩에서 SVEN(Security Hardening and Adversarial Testing) 데이터셋의 Qwen2.5-Coder-7B 누적 ALPHA 페널티를 27.9% 줄이고, 샘플링 디코딩에서는 25.5% 줄인다(p = 0.005, Welch's t-test). 4.5배 더 큰 제로샷 교사 모델과 통계적 동등성에 도달한다. 계층적 페널티를 학습 신호로서의 가치는 크게 그 전달 방식의 직접성에 달려 있다고 결론짓는다.
잠재(latent) 또는 침묵(silent) 추론은 언어 모델이 중간 계산을 단어 대신 연속적인 벡터 공간에서 수행하게 하며, 추론 중 모델이 능동적으로 참조하는 내부 스크래치패드(scratchpad)로 기능한다고 널리 가정된다. 그 가정이 강화학습 이후에도 성립하는지는 직접 검증되지 않았다. 기존 잠재 추론의 인과 분석은 수학 및 논리 과제에 한정되어 있으며, 단일 체크포인트 내에서 모델의 사고 의존도만 비교할 뿐 강화학습 단계 전후를 비교한 적은 없다.
단계적 잠재 추론 커리큘럼과 이어지는 강화학습을 통해 체스 플레이 모델을 학습시킨 결과, 합법성은 강화학습 전 기준선 48%에서 단조롭게 61%까지 상승하고 체크메이트 날조(confabulation)는 완전히 사라졌다. 이 이득의 원인을 규명하기 위해 동일 모델에 대해 강화학습 전후로 6조건 인과 개입 실험을 수행했다. 잠재 사고 벡터를 대체하거나 동일한 노이즈를 추가해도 성능은 변하지 않고, 이를 제거(ablate)하면 경미한 저하만 발생하며, 정확히 영(zero) 벡터일 때만 붕괴가 일어난다. 이 견고성 격차 자체가 발견이다. 정확한 영 벡터 손상 하에서 합법성은 강화학습 전 1%, 강화학습 후 9%로 붕괴하며, 이 격차는 전체 검정 배터리에 대한 다중 검정 보정 후에도 유지된다. 더 완화된 조건들도 유사한 경향을 보이나 개별적으로는 유의성에 이르지 못한다. 강화학습은 사고 내용에 대한 의존이 아니라 교란에 대한 견고성을 더하는 것으로 보인다.
이 결과는 잠재 사고가 추론 시점에 능동적으로 참조되는 스크래치패드로 기능한다는 분야의 기본 가정에 반론을 제기하며, 대신 여기서 잠재 추론의 주된 효과는 학습 중 모델의 매개변수를 형성하는 데 있다는 점을 시사한다. 또한 수학·논리 설정 밖의 영域인 체스에서 작동하는 강화학습 이득을 입증했는데, 여러 그룹이 동일한 잠재 추론+강화학습 레시피가 SFT(지도 미세조정) 대비 정확도를 개선하지 못한다고 보고한 바로 그 맥락과 대비된다.
검증 가능 보상 강화학습(RLVR)은 최적화된 코드 생성을 위해 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 강력한 기법으로 부상했다. 그러나 기존 RLVR 접근법은 주로 정확성과 속도 향상(speedup)과 같은 결과 기반 신호에 의존하여, 최적화된 코드 생성에 필수적인 프로그램의 성능에 중요한 구조적 특성을 간과한다. 본 연구에서는 검증 가능한 실행 보상과 병렬화 특성(예: memory coalescing, occupancy, Arithmetic Intensity, 동기화 패턴)에서 파생된 구조적 코드 인식 보상을 모두 통합하는 반성적(reflective) 강화학습 프레임워크인 CudaPerf를 제안한다. CudaPerf는 두 단계로 동작한다: (1) 대조 비교를 통해 강한 프로그램 후보와 약한 프로그램 후보를 구별하도록 학습하는 오프라인 pairwise 순위 모듈, (2) 통합 보상 신호를 통해 정확성, 성능, 구조적 효율성을 공동 최적화하는 온라인 강화학습 학습 단계. 학습을 더욱 향상시키기 위해 CudaPerf는 실행 피드백을 활용한 반복적 정제(iterative refinement)를 통해 생성된 후보의 점진적 개선을 가능하게 한다. 또한 다양한 입력 구성과 다양한 최적화 전략을 포괄하는 여러 CUDA 구현이 짝지어진 C to CUDA 2.9k개 및 PyTorch to CUDA 1k개 프로그램으로 구성된 데이터셋을 도입한다. CudaPerf는 C to CUDA 및 PyTorch to CUDA 변환을 모두 포함하는 여러 벤치마크에서 평가된다. 실험 결과, CudaPerf는 C to CUDA에서는 Qwen-3-32B, PyTorch to CUDA에서는 CUDA 에이전트를 포함한 강력한 기준선들을 크게 능가하며, 각각 속도 향상에서 최대 5배 및 3.32배, 정확성에서 17% 및 7%의 개선을 달성한 것으로 나타난다.
고급 지속 위협(Advanced Persistent Threats, APT)은 대규모 로그에서 공격 관련 이벤트가 극히 일부에 불과하고, 조사 비용이 크며 확장하기 어렵기 때문에 탐지가 여전히 어렵다. 기존 머신러닝 접근법은 분석가의 업무량을 줄일 수 있지만, 종종 대량으로 큐레이션된 학습 데이터와 정교한 전처리 파이프라인에 의존한다. 이러한 파이프라인을 구축하고 유지하려면 상당한 도메인 전문성과 엔지니어링 비용이 필요하다. 강력한 APT 탐지 기준선에 대한 연구에서 얻은 통찰에 영감을 받아, 우리는 CAPTAIN(Context-Augmented Perplexity-based Threat Activity log detectIoN)을 제안한다. 이는 perplexity 기반 탐지기로, 최소한의 도메인 비의존적 전처리와 함께 범용 사전학습 언어 모델을 활용하여, 최소한으로 전처리된 긴 로그 항목에 대한 강건한 점수화를 가능하게 한다. CAPTAIN은 인코더 모델과 Q-Former 스타일 브리지로 최근 이력을 인코딩한 뒤, 압축된 컨텍스트 토큰을 디코더 입력에 주입하여 perplexity가 시간적 컨텍스트를 반영하도록 한다. 안정성을 높이기 위해 CAPTAIN은 추가로 perplexity 시계열에 평활화 필터를 적용한다. APT 중심 벤치마크 전반에서 CAPTAIN은 강력한 기존 기준선과 경쟁력을 보이며, 훨씬 덜 큐레이션된 입력에서도 강건성을 유지하여 고급 로그 전처리의 개발 및 운영 비용을 절감한다.
대규모 언어 모델(LLM)의 능력이 향상됨에 따라, LLM은 협업 에이전트(collaborative agent)로 점점 더 배치되어 반복적 상호작용을 통해 사용자가 위임한 작업을 수행하고 있다. 그러나 진정한 상호작용은 본질적으로 동적인데, 사용자는 의도를 처음부터 명시하는 경우가 드물고, 대화가 진행되면서 이를 점진적으로 드러내고, 수정하고, 재구성한다. 그럼에도 불구하고 LLM은 여전히 주로 단일 턴(single-turn), 의도가 완전히 명시된 설정에서 평가되거나 학습(training)되어, 근본적인 질문이 남는다: LLM은 대화가 진행되는 동안 변화하는 사용자 의도를 얼마나 잘 추적하고 그에 따라 행동하는가? 이를 연구하기 위해, 우리는 정적 단일 턴 작업을 동적 다중 턴(multi-turn) 대화로 변환하는 프레임워크를 제안한다. 이 대화에서는 사용자의 의도가 턴마다 점진적으로 드러나고, 수정되며, 때로는 대화 중간에 전환되기도 한다. 동시에 각 작업의 원래 평가(evaluation) 프로토콜을 유지하여, 새로운 어노테이션 없이 기존 벤치마크(benchmark)를 통제된 테스트베드로 재사용할 수 있게 한다. 여러 작업에 걸쳐 일관된 현상을 드러낸다: 정적 설정에서의 강한 성능은 변화하는 의도 설정으로 이전되지 않으며, 모델 패밀리 전반에 걸쳐 상당한 하락이 나타난다. 우리의 발견은 근본적인 격차를 가리킨다: 오늘날의 LLM은 아직 사용자의 변화하는 의도를 충실히 추적하고 그에 따라 행동하지 못하며, 이 능력은 정적 평가에서는 드러나지 않지만 미래의 협업 에이전트에게는 결정적이다.
본 연구는 LeakyLMs를 제시한다. 이는 프로덕션 언어 모델로부터 독점 모델, 아키텍처, 배포 정보를 유출하는 일련의 공격이다. LeakyLMs는 원격 API를 통한 상호작용만으로도 토큰 생성 타이밍만으로 핵심 모델 및 배포 세부 정보를 추론할 수 있음을 최초로 입증한다. LeakyLMs는 두 가지 핵심 공격을 도입한다. 첫 번째 공격은 추론 최적화와 배포 전략을 겨냥한다. 예를 들어, 본 공격은 널리 배포된 추론 시점 최적화인 speculative decoding 사용 여부를 탐지하고, 파이프라인에서 사용되는 draft 모델의 컨텍스트 길이까지 식별한다. 측정 결과 Google Gemini Flash 2.5는 약 128K 토큰의 draft 컨텍스트 윈도우를 갖는 speculative decoding을 사용하는 것으로 나타났다. 두 번째 공격은 트랜스포머 레이어 수, hidden dimension 크기, 어텐션 헤드 수를 포함한 핵심 아키텍처 속성을 복원한다. 이를 위해 LeakyLMs는 최신 NVIDIA GPU에서 토큰 생성 타이밍에 대한 상세하고 정확한 모델을 구축하여, 지연 시간이 모델 구성 및 하드웨어 매개변수에 따라 어떻게 스케일링되는지 특성화한다. 공격은 이 타이밍 모델을 사용하여 아키텍처 공간을 탐색한다. Llama 모델 실험에서 거의 정확한 아키텍처 구성이 상위 10개 추측 중 90% 이상의 경우에 나타난다.
희소 오토인코더(SAE) 특징은 대규모 언어 모델(LLM)을 해석하고 조종하는 데 사용되지만, SAE 계열 간 특징의 인과적 역할이 안정적인지는 아직 검증되지 않았다. 하나의 어휘 항목에서만 활성화되는 단일 토큰 특징은 정답(ground truth)을 통해 직접 비교가 가능한 진단 사례를 제공한다. 우리는 전 층 깊이에서 제로 소거(zero-ablation)를 사용하여 6개 모델과 3개 SAE 계열에 걸친 390만 개의 특징을 분석한다. 단일 토큰 특징은 디코더 공간에서 4.7배 더 촘촘하게 군집화되며 초기 층에 집중된다(GPT2-Small에서는 Layer 0; Gemma에서는 L0-L4). 이들을 소거하면 208개 전층 조건 중 178개에서 Benjamini-Hochberg 유의성을 갖는 로짓 감소가 나타나며, 깊이는 손상이 하류로 전파되는지 아니면 출력을 직접 형성하는지를 결정한다. 계열 간 인과적 차이는 계열 내 규모 효과를 초과한다: 동일한 기본 모델에서 GemmaScope와 BatchTopK 특징은 인과적으로 고정되어 있는 반면, LlamaScope 특징은 국소적으로 중복적이다. 동일한 소거 후 대상 토큰의 순위는 96-98%의 경우 기준선의 2배 이내로 회복되며, 통제된 활성화 함수 비교는 동일 모델 내에서 부호를 반전시켜 학습 레시피를 잔여 후보로 남긴다. 따라서 계열 간 해석 가능성 주장은 활성화 함수나 규모뿐 아니라 학습 방법론에 민감하다.
AI 어시스턴트는 의료나 정부 서비스와 같은 고위험 환경에 점점 더 배포되고 있다. 그러나 강한 문맥 의존성 때문에 그들의 실제 세계 행동은 여전히 잘 이해되지 않는다. 현재 평가 프로토콜은 전통적인 벤치마크부터 실시간 또는 적대적 테스트에 이르는 다층적 안전장치가 누적되는 심층 방어(defense-in-depth) 패러다임을 따른다. 이러한 벤치마크는 대체로 정적이고 단일 턴(single-turn)으로 남아 있어, 대화형 설정에서 실제 세계의 변동성을 포착하는 능력을 제한한다. 우리는 StabilityBench를 제안한다. 이는 원칙에 기반하고 일반적이며 모델에 구애받지 않는(model-agnostic) 벤치마크 연산자로, 단일 턴 벤치마크 쿼리를 다중 턴(multi-turn) 상호작용 이력으로 변환한다. StabilityBench는 인구통계학적 대리 변수(demographic proxies)나 아부적(sycophantic) 미끼를 통한 현실적인 사용자 시뮬레이션을 주입하면서 원래 과제 의도를 보존함으로써 기존 벤치마크를 보강한다. 우리는 StabilityBench를 수학적 추론, 건강 질의응답, 안전성(safety)을 아우르는 네 가지 벤치마크에 적용하고, 이러한 조건에서 아홉 개의 대규모 언어 모델(LLM)을 평가한다. 결과는 이러한 주입 하에서 모델 성능이 일관되게 불안정하며, 연구한 네 벤치마크 중 세 곳에서 상당한 성능 저하가 나타남을 보여준다. 이는 정적 평가의 중요한 한계를 부각하고 더 현실적인 평가 설정의 필요성을 제기한다. 이를 위해 우리는 StabilityBench-Mini를 제안한다. 이는 StabilityBench의 크기를 유지하는 변형으로, 다양화 축(diversification axes)을 가로질러 샘플링하여 비용을 늘리지 않고도 더 현실적인 평가를 가능하게 한다.
Muon과 SOAP 같은 고차 옵티마이저는 AdamW보다 더 빠른 수렴을 제공하지만, 계산 비용과 수치적 안정성 문제로 인해 대규모에서의 채택이 제한되어 왔다. 본 연구에서는 대규모 LLM 사전학습의 실질적 과제를 극복하기 위해 전처리(preconditioned) 그래디언트 방법을 적용하고 개선한다. 먼저 대규모 배치에서 SOAP의 불안정성을 확인하고, 단계별 QR 직교화(per-step QR orthogonalization) 및 개선된 전처리(preconditioning) 전략 등 알고리즘적 수정을 제안하여 손실 급등을 제거하고 해당 영역에서 안정적인 학습을 가능하게 한다. 이어서 옵티마이저 간 공정한 학습률 전이를 보장하기 위해 update-RMS matching을 사용하여 SOAP, Muon, AdamW에 대한 통합 실증 연구를 제시한다. 이 분석의 일환으로 Muon의 직교화(orthogonalization) 품질을 실증적으로 평가한다. 수조 토큰으로 학습된 수십억 매개변수 규모 모델에 대한 실험 결과, 테스트한 규모에서 SOAP과 Muon이 AdamW보다 지속적으로 우수한 성능을 보인다. 특히 다음 토큰 예측(next-token prediction)에서 최대 1억 토큰 배치 크기까지, 이들 옵티마이저는 학습 안정성과 품질을 유지하는 반면 AdamW는 성능이 저하된다. 대규모에서 효율적인 학습을 위해 Megatron-LM과 호환되는 층별(layer-wise) 분산 옵티마이저를 도입한다. 우리 구현은 메모리를 균형 있게 사용하고 통신을 숨기면서, 옵티마이저 계산에 대한 근사를 피하여 수렴 이점을 유지한다. 또한 층별 구현을 더욱 가속하기 위한 특정 시스템 수준 개선 사항을 확인하고 구현한다. 연구 커뮤니티를 지원하기 위해 최적화를 위한 신흥 알고리즘을 포함한 코드베이스를 공개한다: https://github.com/NVIDIA-NeMo/Emerging-Optimizers
검증 가능 보상 강화학습(RLVR)은 단일 샘플 정확도를 향상시킬 수 있지만, 반복 샘플링에서는 모델을 더 나쁘게 만들 수 있다. 우리는 이 pass@k inversion을 연구한다: 학습 후 정책은 큰 $k$에서 베이스 모델보다 더 적은 수의 서로 다른 문제를 풀 수 있다. 실패는 경계 프롬프트에 집중되는데, 여기서 베이스 모델은 샘플링으로는 복구 가능하지만 유한한 RLVR 롤아웃 그룹에서 신뢰할 만큼 자주 나타나기에는 너무 희소한 드문 정답 궤적을 포함한다. 우리는 이중 모드 설명이 이를 증거 부재(absence-of-evidence) 실패로 설명한다고 주장한다: 드문 정답 궤적은 RLVR이 이를 충분히 자주 샘플링하고 강화하기 전에 사라질 수 있다. 주요 기여는 이러한 진단적·기제적 프레이밍이다. 문제별 베이스 앵커링(PBA)은 의도적으로 단순한 개념 증명이다: 충분한 고정 베이스 정답 증거로 프롬프트를 선명화하고, 위험한 프롬프트를 베이스 분포에 앵커링한다. Omni-MATH-Test에서 세 가지 학습 시드에 걸쳐, MATH500을 보조 고커버리지 검증 벤치마크로 사용할 때, PBA는 매칭된 GRPO 대비 \PassK{1}과 고예산 커버리지 모두를 개선한다. 3000-프롬프트 체제 통제 진단 연구는 시드 전반에서 예상된 특성과 일치한다: 일반 GRPO는 베이스에서 풀 수 있는 경계 프롬프트를 잃지만, PBA는 드문 검증기-양성 궤적을 보존한다. 우리는 수학적 검증기를 검증기 안내 최적화의 통제된 테스트베드로 사용한다; 동일한 pass@k inversion 위험은 반복적인 시각, 공간, 또는 차트 추론 시도가 외부 도구나 검증기로 확인될 때 ECCV 관련 비전-언어 에이전트에도 적용된다. 추론 사후 학습은 얼마나 강하게 최적화할지뿐만 아니라, 어떤 프롬프트를 안전하게 최적화할 수 있는지도 결정해야 한다.
긴 컨텍스트 트랜스포머 추론은 점점 KV 캐시 압축 또는 양자화에 의존하고 있다. 이전 회전(rotation) 및 변환 코딩(transform-coding) 결과는 각 key/value 벡터의 채널 기저(channel basis)가 고정된 백엔드가 모델 동작을 얼마나 충실히 보존하는지에 영향을 미친다는 것을 시사한다. 우리는 기존 압축 및 양자화 백엔드 주변에서 작은 직교 채널 변환을 학습하는 사후 학습 캐시 좌표층인 Codec-Gauge를 제안한다. 그 주파수 분포 목적 함수는 토큰-채널 DCT 스펙트럼 중심 손실과 부드러운 비율(rate) 프록시를 결합하여 KV 에너지를 저주파 코덱 대면(codec-facing) 레이아웃에 집중시킨다. 우리는 측정된 바이트와 롤링 압축 히스토리 스코어링을 사용하여 실제 압축 및 압축 해제를 평가한다. 6개 모델에서 value당 3, 4, 6비트 조건에서, 학습된 게이지는 원시 좌표 대비 zfp KL 발산을 평균 44.0% 감소시키며 random, Hadamard, DCT, PCA/KLT 대조군을 능가한다. 동일한 게이지는 block-uniform 및 KIVI 스타일 양자화에 대해서도 품질 보존을 개선한다. 27B 모델과 긴 컨텍스트 작업 프롬프트에 대한 실험은 품질 추세를 재현하며, 직렬 저장 및 타이밍 측정은 구현된 압축 캐시 경로를 검증한다. 이러한 결과는 모델 가중치, 어텐션 의미, 또는 백엔드 코딩 규칙을 변경하지 않고 압축 충실도를 개선하기 위한 실용적인 사후 학습 변수로서 캐시 좌표 기하학(cache-coordinate geometry)을 확립한다.
ReliableTableQA를 소개한다. 이는 표 형식 QA(tabular QA) 결과의 통계적 신뢰성을 주석하는 LLM을 학습하기 위한 프레임워크로, 쿼리가 답변 가능한지 여부가 아니라 계산된 답변이 통계적으로 의미 있는지를 판단한다. 실제 기업 분석 환경에서는 문법적으로 올바른 SQL 쿼리가 표본이 너무 작거나, 신뢰 구간(confidence interval)이 과도하게 넓거나, 행동을 뒷받침하기에 교란(confounding)이 너무 심한 값을 반환할 수 있다. 기존 시스템은 이러한 모든 경우에 자신 있게 답변하며, 이 실패를 Unreliable Confident Answer Rate(UCAR)로 정량화한다. 본 연구의 기여는 다음과 같다: (1) 소표본 집계, 다중 비교(multiple-comparison) 팽창, 분포 꼬리 불일치(distribution-tail mismatch) 등의 위험을 포괄하는 10개 범주 신뢰성 분류체계(R1–R10); (2) 공개 소매 스키마에 대한 문맥 자유 문법(context-free grammar)으로 50,000개의 신뢰성 라벨 학습 예시를 생성하고 스키마 계층화 SFT/GRPO 분할을 적용한 프로그램 우선(program-first) 데이터 파이프라인; (3) 보정된(calibrated) 신뢰성 주석에 실제로 얼마나 많은 감독이 필요한지에 대한 통제 연구. 소규모의 스키마 계층화 SFT 세트가 놀랄 만큼 충분함을 확인했다: 200개 예시로 신뢰성 플래그 F1을 0.61에서 0.98로, 파싱률(parse rate)을 0.52에서 1.00으로 높이고 UCAR을 0으로 낮추며, 보지 못한 소매 도메인으로 일반화되는 모델을 얻는다(held-out H&M에서 Rel-F1 0.997). 이 강력한 SFT 기준선에 대해, 필수적이라고 일반적으로 가정되는 GRPO는 SFT가 과소 학습(under-trained)된 경우에만 도움이 되며(100개 예시에서 in- 및 out-of-distribution 모두 exact-flag-set match +0.06–0.16), SFT가 충분하면 측정 가능한 이득을 제공하지 않는다. 이 null 결과는 어려운 복합 플래그 슬라이스, 엄격한 exact-match 지표, out-of-distribution 평가 전반에서 확인했다. 본 결과는 신뢰성 주석을 데이터 효율성 문제로 재구성하고, 강화 미세조정(reinforcement fine-tuning)이 효과가 있는 경우와 없는 경우를 정확히 구분한다.
대규모 언어 모델(LLM) 앙상블은 여러 LLM의 예측을 결합하여 신뢰성을 향상시키는 데 점점 더 많이 사용되고 있다. 그러나 기존 집계 방법은 일반적으로 모든 모델이 동일하게 신뢰할 수 있다고 가정하여 불확실성 품질의 차이를 간과한다. 이러한 가정은 신뢰성과 역량이 크게 달라지는 이질적 LLM에 잘 맞지 않으며, 순진한 집계는 신뢰할 수 없거나 적대적인 전문가(expert)에 취약해진다.
본 연구에서는 다중 LLM 집계를 불확실성 인식 신뢰 추정 문제로 공식화한다. 우리는 의사결정 이론의 구조화된 전문가 판단(structured expert judgment)을 적용하여, 맥락 인식 보정 질문을 사용해 확률적 예측의 품질에 기반하여 전문가 신뢰성을 추정한다. 구체적으로, 과신하는 잘못된 예측에 페널티를 부과하고 잘 보정된 전문가를 선호하는 Cooke 방식 로그 가중치(Cooke-style log weighting)를 사용한다.
MMLU와 MMLU-Pro에서 동질적, 이질적, 오염된 전문가 패널에 걸쳐 우리 접근법을 평가한다. 결과에 따르면 집계 방법들은 동질적 설정에서 유사하게 수행되지만, Cooke 가중치는 이질성과 오염 하에서 핵심적이 된다. 이는 우수한 정확도-신뢰성 균형을 달성하며, 신뢰할 수 없는 전문가가 도입되었을 때에도 견고함을 유지한다. 이러한 발견은 다중 LLM 집계가 단순히 예측을 결합하는 것이 아니라, 불확실성 하에서 신뢰를 보정하는 것을 요구함을 시사한다.
Looped Transformer는 공유 순환(recurrent) 블록을 반복 적용하여 테스트 시점 계산량을 늘린다. Looped Transformer의 학습된 정지(halting) 목적 함수는 일반적으로 단일 출구(exit) 분포를 추론 시점 정지 규칙과 깊이별 손실의 학습 시점 가중치 모두에 사용한다. 이는 출구 선택과 궤적(trajectory) 형성을 얽히게 한다: 게이트는 어떤 순환 상태를 사용할지 선택할 뿐만 아니라, 각 중간 상태가 얼마나 강하게 지도되는지도 결정한다. 결과적으로, 적응형 계산(adaptive-compute) 성능 저하는 리드아웃, 유도된 궤적, 또는 그 둘의 상호작용에서 비롯될 수 있다.
우리는 이 궤적-리드아웃 관점을 통해 Looped Transformer의 적응형 깊이를, 통제된 합성 과제(모듈러 산술 및 이진 패리티)와 대규모 Ouro-1.4B 및 2.6B 체크포인트에서 연구한다. 우리는 입력 의존적 정지 정책 없이 궤적을 형성하는 고정 사전(prior) 깊이 지도가 난이도 인식(difficulty-aware) 궤적을 생성하며, 그 중간 상태가 유용한 정지 신호를 드러낸다는 것을 발견한다. 또한 단순한 사후(post-hoc) 신뢰도 리드아웃이 학습된 선형 및 MLP 게이트와 대등하거나 더 나은 성능을 보이는 경우가 많다. 고정된(frozen) 궤적에 게이트를 적합화하면 실패 원인을 국소화할 수 있다: 이는 제한된 게이트 표현력보다는 공동 게이트 학습에 의해 유도된 궤적에서 주로 기인하는 것으로 보인다. 동일한 패턴이 Ouro 평가에서도 나타나며, 여기서 사전학습된 ponder 게이트는 경쟁력이 있지만 균일하게 파레토(Pareto) 최적은 아니다. 측정된 지연 시간(latency)은 평균 출구 깊이 감소가 실질적인 추론 시점 절감으로 이어짐을 확인한다.
우리의 체계적 진단 평가는 Looped Transformer의 적응형 깊이를 게이트 학습만이 아니라 궤적 형성과 출구 리드아웃의 공동 문제로 재구성하며, 이전 학습된 정지 연구가 종종 암묵적으로 남겨두었던 구분을 부각한다.