상호작용형 동영상 세계 모델에서는 텍스트와 카메라 조작으로 세계를 탐색할 수 있다. 물체와 직접 상호작용하려면 더 세밀한 제어가 필요하다. 손은 자연스러운 조작 수단이지만, 손과 물체 사이의 복잡한 동역학을 다루고 실시간으로 많은 연산을 수행해야 하므로 연속적인 손동작을 일관된 시각적 반응으로 바꾸기는 어렵다. 이 문제를 해결하기 위해 정밀한 상호작용 모델링과 효율적인 스트리밍 생성을 결합한 손 제어 동영상 세계 모델 LynnReal-Hand를 제안한다. 다양한 실제 및 합성 환경에서 상호작용 영상 클립 10만 개를 선별하고, 세밀한 손동작과 물체 상호작용의 품질을 높이기 위해 손 정보를 반영하는 지도 신호를 설계했다. 이를 바탕으로 적은 단계로 영상을 생성하는 인과적 흐름 맵을 학습한다. 이어 영상과 이미지의 상호 보완적인 사전 정보를 결합하는 영역 인식 점수 증류로 상호작용의 움직임과 시각적 외형을 개선한다. 추론 지연 시간을 더 줄이기 위해, 훨씬 적은 연산 비용으로 높은 재구성 충실도를 유지하는 소형 동영상 디코더 Ultra-Fast-VAE를 제안한다. HandBench에서 폭넓게 평가한 결과, 기존 방법보다 손동작을 따르는 정확도와 시각적 품질이 높았다. 전체 시퀀스 모델은 FVD 181.67과 MANO Dice 점수 93.02를 기록했으며, 3단계 인과 모델은 MANO Dice 점수 92.49를 유지했다. 단일 H200에서 540p 해상도로 실시간 스트리밍하면 초당 18.03프레임과 741ms의 지연 시간을 달성한다. 최적화 후 최대 GPU 메모리 사용량은 34.89GB다. 손으로 제어하는 동영상 세계 모델 연구를 지원하기 위해 데이터셋, 모델 가중치, 전체 학습 및 추론 코드를 공개할 예정이다.
We introduce Sage S2.1 Flash, a 320-billion-parameter general-purpose mixture-of-experts model designed to reason over scientific evidence and act in interactive environments. Sage Sci-Perception uses dedicated encoders for molecular graphs and biological sequences and represents spectra as ordered patches of measurements. Modality-specific projectors map these representations into the input space of a shared backbone, which processes them alongside text and images. To develop the model's agent capabilities, we construct verifiable environments for tool use, search, and coding, as well as specialized workflows involving machine learning experiments and scientific software. Task completion is checked against execution results, changes in environment state, or submitted artifacts. We evaluate Sage S2.1 Flash on 33 benchmarks across seven domains. In the primary comparison against five baselines, it ranks first on OfficeQA Pro (72.2), MLE-bench Lite (90.3 HumanRank), Harvey LAB, and SpreadsheetBench 2, and second on OSWorld-Verified (85.2), WebArena-Verified (67.6), and DeepResearch Bench II (54.2). These results show particular strengths in using documentary evidence, producing verifiable workbooks, and carrying out machine learning tasks, alongside competitive performance in desktop and browser workflows that require the model to act on visual feedback.
자율 음성 에이전트가 일상적인 임상 추적 통화를 맡으면서 일부 분류 작업도 자동화할 수밖에 없다. 환자가 답답함을 느끼는지 파악하는 것이 그중 하나다. 이런 시스템은 대개 실제 음성 대신 음성 인식으로 만든 전사문만 읽는다. 실제 임상 통화에서 전사문만으로 충분한지는 거의 검증되지 않았다. 본 연구는 실제 배치된 임상 음성 에이전트가 환자와 통화할 때 발화 차례별로 답답함을 탐지하는 성능을 살폈다. 주석자 세 명이 레이블을 붙인 통화 6건의 발화 150개와 길이를 맞춘 연기 음성 말뭉치를 대조용으로 사용했고, 통화 30건의 발화 714개를 평가했다. 실제 환자 발화는 대부분 매우 짧았다. 실제 통화에서는 약 59%가 한두 단어였고 전체 연기 말뭉치에서는 13%였다. 연기 말뭉치의 길이를 맞추고도 두 말뭉치의 정확도 차이는 남았다. 한 단어 발화를 전사문만으로 탐지한 성능은 우연 수준일 가능성을 배제하지 못했다. 음성을 처리할 수 있는 언어 모델 다섯 개를 평가했을 때, 전사문만 사용하면 통화 30건에서 답답함을 나타낸 한 단어 발화 39개 가운데 3개 또는 4개를 찾아냈다. 단어 수만 사용한 분류기의 정확도는 57.3%였다. 음성이 도움이 되는지는 모델과 지시에 따라 달랐다. 말하는 방식에 주의를 기울이라고 지시하면, 두 Gemini 2.5 모델의 통화 30건 성능은 전사문만 사용했을 때보다 3.0%포인트 높았다(−1.0~7.5%포인트). 두 모델이 답답함이 없다고 확신한 발화 가운데 실제로 답답함이 있었던 비율은 음성 사용 시 6.9%, 전사문 사용 시 13.0%였다. 차이는 6.1%포인트였다(2.2~10.4%포인트). 통화 30건에서 두 입력에 같은 프롬프트를 사용하면 어떤 모델도 음성-전사문 차이의 구간에서 0을 배제하지 못했다. 입력별 프롬프트를 사용했을 때는 더 새로운 Gemini 모델 하나와 더 작은 공개 모델 두 개가 전사문보다 음성에서 성능이 낮았다(−3.5, −8.6, −10.6%포인트). 임상 통화로 학습한 WavLM 프로브는 전체에서 가장 좋은 프롬프트 기반 모델과 같은 정확도 71.6%를 냈지만, 추가한 통화 24건의 답답함을 나타낸 한 단어 발화를 모두 놓쳤다. 환자의 발화가 짧을 때는 전사문만으로 답답함이 없다고 판단하기 어렵다.
프로세서 구현 세부 사항을 알 수 없을 때 블랙박스 마이크로아키텍처 역공학은 보안 연구자가 취약성과 관련된 하드웨어 조건을 파악하는 데 도움이 된다. 그러나 프로세서마다 실험을 설계하고 테스트 프로그램을 작성하며 결과를 분석하는 데 수작업이 많이 필요하다. 본 연구는 이 과정을 자동화하는 다중 에이전트 시스템 ProcReverser를 제안한다. ProcReverser는 실행 결과의 피드백으로 실험 계획과 테스트 프로그램을 개선하고, 측정값에서 마이크로아키텍처의 특성을 식별한다. Spectre 계열 공격과 관련된 하드웨어 메커니즘의 특성을 식별하는 과제 모음을 구성했다. 추측 실행, 분기 예측, 메모리 의존성, 캐시 동작을 포함한다. XuanTie C910, gem5 RISC-V O3 CPU 모델, SiFive P550에서 ProcReverser를 평가했다. C910에서 Pass@1과 Pass@5는 각각 81.3%와 93.8%였고, gem5 O3에서는 각각 83.0%와 100.0%였다. SiFive P550에서는 제안한 과제 모음에 포함된 마이크로아키텍처 특성도 파악했다. 이 결과는 자동화된 마이크로아키텍처 역공학이 프로세서의 취약성 분석과 방어 평가를 지원할 가능성을 보여 준다.
Forecasting models that read the price and promotion plan explain each forecast as a baseline, what would sell with nothing planned, plus the lift the plan adds, and merchants order stock and plan promotions on that lift. We show that an explanation can pass the checks used to trust it and still be wrong enough to cost money. We define eight checks for any forecaster that states a plan lift, six with a pass rule fixed before any result, and run them on a world model and on LightGBM. In generated store data with known effects, the world model passes the checks of construction, stability, price direction and agreement with sales and with LightGBM, yet when merchants plan into high-demand weeks it states 1.33 to 1.40 times the true lift, and 1.23 to 1.42 times in eight variants of that world; LightGBM overstates it too (1.26, and 1.16 to 1.35). Both still pick the right weeks to promote, but stock ordered to the world model's lift is off by 0.44 to 0.48 of the true lift. The world model's stated response to a lasting regular-price change is 4.7 to 6.5 times the true -0.5, an error in kind that only a measured cause finds. Sanity checks for explanations test whether an explanation depends on the model; a decision needs to know whether it is right about the world, and these results show the first does not give the second. For the final tuned world models of our companion paper on nine data sets, baseline and lift add up under each model's own plan on every window, but a deeper price cut lowers the forecast in 29% to 83% of item-week steps on Dominick's. Across 703 configurations from the settings searches, checks passed were not related to accuracy (Spearman 0.02, 95% interval -0.02 to 0.05). A noisy benchmark of price episodes in Dominick's data is reported as a check of direction only.
Large language models (LLMs) provide semantic features for uplift estimation, but treatment-revealing text can induce prediction shortcuts that do not transfer to deployment. We propose \emph{LLM-based Uplift Leakage Regularization} (\textsc{LULR}) to address this risk. With the LLM encoder frozen, \textsc{LULR} penalizes dependence between the causal head's trainable shared representation and treatment while retaining separate outcome heads. The penalty uses a variational approximation to the contrastive log-ratio upper bound (CLUB) of mutual information, targeting treatment dependence rather than generic parameter shrinkage. Controlled proxy experiments provide exploratory evidence of improved ranking scores under injected treatment information relative to no regularization and the tested weight-decay setting. Structured-only benchmarks show modest, dataset-dependent effects. On an industrial pricing randomized controlled trial, mean offline $\text{lift@}0.3$ is $0.258$ for \textsc{LULR}, compared with $0.106$ for the same-backbone baseline. A separate one-week online A/B test of the complete deployed pricing policy records $5.45\%$ higher sales volume and $1.91\%$ higher gross merchandise value than the control arm. These short-term policy-level gains do not isolate the regularizer's effect.
이력서 선별을 대규모 언어 모델(LLM)에 맡기려면, 조직은 시스템이 직무에 관련된 자격을 기준으로 지원자를 구분할 수 있는지, 선별 규칙 변경이나 예외 승인 권한이 있는 사용자만 그런 조치를 취할 수 있는지 확인해야 한다. 이를 위해 지원자에 관한 근거, 평가, 권한 제어, 평가 기록을 분리하는 시스템 아키텍처를 개발하고, 배포 준비도를 두 가지 상호 보완적인 측면에서 실증적으로 조사한다. 첫째, 14개 직무의 이력서 210개와 여섯 가지 의사결정 인터페이스를 사용하는 통제 실험으로 LLM 네 종의 운영 준비도를 평가한다. 둘째, 권한이 없는 사용자의 요청과 이력서에 삽입한 지시를 어떻게 처리하는지 시험해 규칙 준수 준비도를 평가한다. 운영 성능은 평가 인터페이스에 따라 달랐다. 수치 점수는 대체로 단순한 합격·불합격 판단보다 자격 요건의 차이를 잘 구분했으며, 비교 판단은 제시 순서에 민감했다. 명시적인 권한 규칙을 적용하고 이력서 내용과 지시를 분리하면 권한 없는 요청을 따르는 일이 줄었다. 효과의 크기는 LLM과 사용 문맥에 따라 달랐다. 또한 LLM 평가기의 결정이 제시한 판단 근거와 일치하지 않는 경우가 많았다. 본 프레임워크는 채용 과제에서 LLM 자체의 성능 평가를 넘어, 구성을 마친 이력서 평가 시스템을 감사해 실제 배포 여부를 판단할 수 있도록 한다.
플라톤적 표현 가설은 서로 다른 모달리티로 학습한 모델들이 공통된 표현으로 수렴한다고 본다. 관련 연구는 짝지은 데이터 없이 자연 이미지에서 가중치를 고정한 이미지 인코더와 텍스트 인코더를 정렬했다. 본 연구는 자연 이미지, 환경 소리, 흉부 방사선 영상, 3차원 컴퓨터 단층촬영(CT) 등 네 가지 모달리티를 다루는 다섯 데이터셋으로, 데이터 쌍을 전혀 사용하지 않는 정렬을 평가한다. 정렬은 COCO에서만 성공했고 나머지 네 데이터셋에서는 실패했다. 실패를 분석한 결과, 먼저 모달리티가 함께 변하는 부분공간을 찾고 그 안에서 매핑의 방향을 정해야 한다. 선행 연구와 일치하게, 의료 영상의 정렬이 가장 어려웠다. 공유 부분공간이 설명하는 분산의 비율이 가장 낮기 때문이다. 이 비율이 낮으면 정렬에 이미지-텍스트 쌍이 필요하며, 무작위 행렬 이론으로 필요한 쌍의 수를 예측할 수 있다. 이 결과를 바탕으로 LightAlign을 제안한다. 데이터 쌍 몇 개만으로 가중치를 고정한 두 인코더 사이에서 릿지 회귀를 수행하면 매핑의 부분공간과 방향을 함께 찾을 수 있다. 보고서 텍스트로만 학습한 분류기는 이렇게 매핑한 이미지에서 소견을 예측한다. 3차원 CT에서 LightAlign은 소견별 레이블 없이 영상-보고서 쌍으로 종단 간 학습한 모델을 앞섰다. 200쌍만으로 CT-RATE에서 CT-CLIP보다 높은 AUROC를 기록했고(0.754 대 0.733), CT-RATE의 100쌍만으로도 다른 병원에서 수집한 분포 외 데이터셋 RAD-ChestCT에서 CT-CLIP을 앞섰다. CheXpert에서는 MIMIC-CXR로 학습한 모델이 사용한 데이터 쌍의 약 5%만으로 평균 AUROC 0.862를 달성했다.
순환 모델을 교체할 때 기존 모델의 상태만으로는 새 모델이 같은 이력을 처리했을 때의 상태를 결정하지 못할 수 있다. 본 연구는 어떤 모델로 교체할지 알기 전에 보존해야 하는 정보를 규명한다. 시간 불변 아핀 선형 계열에서 $k$차 국소 이전에 필요한 최소 연속 인과 메모리는 확장 계수 시스템의 도달 가능 차원에서 기준 상태가 담은 정보를 뺀 값이다. 스칼라 입력을 받고 제어 가능한 $d$상태 모델은 스트리밍이 끝난 뒤 임의의 행렬 교체 방향이 알려져도 실수 좌표를 최대 $kd$개 더 저장하면 된다. 단일 랭크 1 방향에서도 $kd$개 모두가 필요할 수 있다. 조건부 특잇값과 보조 비트 수의 경계로 이 국소 정보 법칙을 허용 오차가 고정된 복원 문제와 구분한다. 불변 부분공간 및 미래 출력에 기반한 구성법도 제시한다. 통제 실험에서 얻은 표현들을 비교했다. 소형 언어 모델에서는 메모리 크기를 같게 맞춘 3차 보간이 3차 계수 방식보다 평균 상태 충실도가 높았으나 의미 있는 예측 개선은 없었다. 결합 식별 과제에서는 해석적으로 구한 이력 기저가 유용한 적응 정보를 더 적은 메모리로 보존했다. 느린 극점이 중복된 경우에는 전체 상태의 오차가 커도 이력 좌표 여덟 개로 적합 시드 다섯 개에서 정규화 출력 오차 $10^{-4}$ 기준을 충족했다. 극점을 서로 다른 값으로 나누면 시험한 폭 중 처음으로 기준을 충족한 값은 64였다.
가중치 공간 프로그래밍은 경사하강법 없이 순전파 신경망의 모든 매개변수를 직접 정한다. 기존의 모든 시연은 목표 함수를 규칙으로 모델에 줬기 때문에 컴파일 문제에 해당했다. 지도학습 데이터셋에는 그런 명세가 없다. 따라서 통계적 추론부터 수행한 뒤 주어진 매개변수화 안에서 결과를 표현해야 한다. 본 연구는 대규모 언어 모델이 두 작업을 모두 할 수 있는지 조사한다. 작은 데이터셋 전체와 순전파 신경망의 아키텍처를 보여 주고, 모델이 모든 가중치와 바이어스를 숫자로 직접 작성하도록 했다. 옵티마이저, 그래디언트, 코드 실행, 사전 평가 기회는 제공하지 않았다. 각 결과를 확정해 변경하지 않도록 하고 예상 점수를 사전 등록했다. 단계별 과제 모음은 장난감 문제 두 개에서 시작해, 숨겨진 회전으로 구조를 가린 합성 문제 아홉 개를 거쳐, 고전적 벤치마크와 실제 공학 회귀 문제 하나까지 이른다. 가중치를 고정한 신경망은 최적해가 선형인 모든 문제에서 닫힌 형태의 최적해와 일치했다. 최적해가 비선형인 세 단계에서는 데이터 생성 과정의 비가역적 오차 한계에 도달했으며, 그중 두 단계에서는 경사하강법으로 학습한 동일 아키텍처를 포함해 적합한 모든 기준선을 앞섰다. 두 단계에서는 찾아야 할 구조가 분석한 좌표축에 비스듬히 놓여 실패했다. 다른 모델 세 종으로 구성 실험을 해 보니 점수 하나로는 구분할 수 없는 두 실패 유형이 드러났다. 한 모델은 가장 어려운 단계에서 매개변수 벡터를 반환하지 못했다. 다른 모델은 모든 단계에서 벡터를 냈지만 평균값을 예측하는 것보다 성능이 낮은 신경망을 작성했다. 실패 사례 중 하나는 피할 수 있었다. 또 다른 모델은 비스듬한 힌지 과제를 다중 비교 보정 후에도 유의한 차이로 해결했다. 은닉층이 실제로 유용한지는 선형 분리기의 학습 오차로 예측할 수 있었지만, 종합 복잡도 지수는 이를 포착하지 못했다.
We introduce Gamer, a generalist agent framework built for long-horizon tasks in complex interactive environments. Its end-to-end architecture combines perception, memory management, and multi-step reasoning. A shared training and deployment pipeline supports interaction with both conventional 2D graphical interfaces and complex 3D simulated worlds. We first continue pre-training on a dataset constructed from tens of thousands of hours of device-level keyboard and mouse interaction. These trajectories span simulated games and embodied environments, allowing the model to learn environmental dynamics across both physical and virtual domains. Sparse-thinking instruction tuning then substantially reduces redundant computation while preserving the reasoning needed for complex decisions. We train the policy for long-horizon interaction with a stable multi-turn reinforcement learning method that addresses finite context windows, accumulated rollout errors, and sparse rewards. For real-time interaction, a cloud-edge inference engine serves numerous simulated game environments concurrently, supports unbounded-context execution, and keeps online inference latency low. Across multiple challenging 3D open-world games, Gamer demonstrates solid generalization and operational efficiency comparable to skilled players. It also achieves competitive results on a range of conventional 2D game benchmarks. These results suggest that even repetitive keyboard and mouse trajectories can support substantial gains from scaling data and learning algorithms. Training on these trajectories helps Gamer learn complex skills more steadily in environments with both physical and digital properties. This approach offers a path toward generalist agents that can interact across digital and physical worlds.
Efficient sequential recommendation has emerged as a promising paradigm for providing real-time personalized service. To deploy models under resource-constrained environment, model compression becomes a necessity, yet existing methods typically apply uniform compression ratios, overlooking the heterogeneity in user intent complexity. This "one-size-fits-all" approach leads to a fundamental Capacity-Complexity Mismatch, where computational resources are either wasted on simple instances or insufficient for complex ones. To address this, we propose RACE (Ranking-uncertainty Aware Capacity-Adaptive Customization for Efficient Sequential Recommendation), a framework that dynamically adapts both model structures and input sequences with uncertainty-aware compression ratios. To ensure capacity-adaptive inference, RACE captures the model's intrinsic uncertainty of its predictions and transforms it into a proactive resource allocator. Specifically, we derive a list-wise ranking-uncertainty metric from the distributional stability of top-$K$ predictions, which serves as a measurable proxy for instance complexity. A lightweight predictor is then trained via self-supervision to anticipate this uncertainty from early-layer features. Guided by this signal, RACE performs instance-specific slimming in two dimensions: a hypernetwork-style channel sensitivity extractor identifies parameter redundancy, while importance-aware progressive sequence filtering mitigates data redundancy. Extensive experiments on four popular datasets demonstrate that RACE outperforms state-of-the-art baselines on accuracy, efficiency, and adaptability.
Generalist manipulation policies can benefit from the complementary experience of humans, real robots, and simulated agents. However, differences in morphology, sensing, and control interfaces make it difficult to learn effectively from their combined demonstrations. We introduce EgoX, an egocentric cross-embodiment learning framework that shares manipulation structure through fine-grained, semantically corresponding observation and action modalities while keeping sensing and control interfaces embodiment-specific. EgoX pretrains a Modular Embodiment Dreamer (MED) on this mixture and fine-tunes it on target-embodiment demonstrations. Within each embodiment, MED assigns a dedicated tokenizer to each observation modality and a dedicated expert to each action modality, with a Transformer trunk shared across embodiments. A training-only embodiment-dreaming objective predicts latent representations of future visual and proprioceptive states, encouraging the shared trunk to model each embodiment's dynamics. Across 13 task-embodiment pairs spanning five tasks and six robot embodiments, including five physical robots and one simulated humanoid, cross-embodiment pretraining raises MED's average normalized task progress from 0.63 to 0.80 over training from scratch. The gains are particularly pronounced under out-of-distribution conditions, where average task progress increases from 0.53 to 0.77. Ablations demonstrate the benefits of broader pretraining mixtures, modular interfaces, and embodiment dreaming, with dreaming producing more similar latent geometry across embodiments. Project page: egox-dream.github.io.
Software is increasingly written by AI agents that produce an implementation from a natural language specification, a practice known as agentic coding. Code is now produced faster than it can be reviewed, and has been shown to exhibit its own characteristic failure patterns. Property-based testing (PBT), a long-standing technique in which invariant properties of a program are checked against many generated inputs, has recently been revisited with LLM agents authoring the properties, thereby removing the high-effort derivation of invariants that has long hindered its adoption. Existing methods, however, derive these properties from the implementation alone (Code-driven PBT). At the same time, a thorough specification such as a product requirements document has become routine within agentic coding, yet its role in testing the resulting code remains underexplored. We study the value of the specification as a source of properties for testing agent-written code. Our key insight is that the specification, unlike the implementation, records what the code was meant to do, and invariants derived from it are not biased by particular implementation choices. We propose Spec-Driven PBT, an agent that first expresses invariants in natural language from the specification and only then inspects the implementation to translate them into concrete tests. Across 25 applications from ViBench, Spec-Driven PBT finds a novel set of bugs that Code-driven PBT misses, while writing 2.4x fewer property tests. Though the two approaches surface a roughly equivalent number of bugs, there is little overlap: nearly 60% of the 169 total bugs are found by only one. Qualitatively, we find that the bugs unique to Spec-Driven PBT tend to violate documented product workflows whereas those to Code-driven PBT instead concentrate on implementation robustness, offering complementary value for bug discovery in agent-written code.
Deep Reinforcement Learning (RL) plays a crucial role in tackling complex tasks, yet its reliance on deep neural networks makes the learned policies opaque. To enhance the trustworthiness of RL policies, existing work (e.g., the SILVER framework [Li et al., 2025]) has focused on Shapley-based interpretability, but is typically restricted to low-dimensional state spaces, binary-action settings, and a single class of linear surrogate. We propose ReShap, a policy-distillation framework that extends Shapley-based interpretability to high-dimensional, multi-action environments. ReShap extracts compact feature representations from raw image observations, performs SHAP-based feature attribution to characterize how each feature contributes to the policy's decisions, and distills the deep RL policy into an interpretable surrogate trained on the full set of (state, policy-action) pairs along the policy's visited distribution. We instantiate the surrogate with three interpretable model families (decision trees, linear regression, and logistic regression) and compare their fidelity and task return. We evaluate ReShap on Atari and Box2D environments using three deep RL algorithms and conduct a human-subject study to assess the clarity and trustworthiness of the resulting policies. Results show that ReShap preserves competitive task performance, that decision trees generally outperform linear and logistic regression, and that linear regression is weakest in most settings.
Recently developed remote sensing (RS) agents execute real-world tasks with complex workflows through multi-step tool invocation. These agents, however, typically rely on predefined expertise or parameter updates. They thus require updating expert knowledge or retraining models whenever new tools, tasks, or execution patterns emerge, limiting their continual adaptability in dynamic Earth environments. In this work, we seek to equip general-purpose agents with RS tool-call knowledge that can be automatically extracted from demonstrated trajectories without expert intervention or parameter updates. Specifically, we propose SkillEarth, a self-evolving skill extraction method that externalizes RS tool-call knowledge as reusable, retrievable, and evolvable skill files and refines them through observation-grounded evolution. Unlike existing automatic skill extraction methods that rely on outcome-based reflection to refine skills holistically, SkillEarth grounds skill evolution in real tool-chain execution and combines dual-judge feedback with a grounded observation routing graph for precise component-level refinement. The resulting skills are generalizable, reliable, and transferable: they improve overall RS tool-call performance across three frontier LLMs and four open-source LLMs, are refined through real tool execution feedback, and support cross-model reuse without retraining. Experiments on OpenEarth-Bench and Earth-Bench demonstrate that SkillEarth achieves better tool selection, argument correctness, execution-order consistency, and task completion than existing RS agents and skill extraction methods.
Large language models trained with Reinforcement Learning (RL) with verifiable rewards exhibit strong reasoning ability and broad generalization, whereas models trained with Supervised Fine-Tuning (SFT) are often viewed as more prone to memorization and limited transfer. This paper rethinks this distinction through the lens of SFT training data on widely used Qwen2.5 and Qwen3 series models. First, we study the role of data source and show that it is critical: a carefully mixed SFT dataset substantially outperforms data generated solely by a larger model. Second, we study the role of data scale and show that matching the number of correct rollouts between SFT and RL greatly improves SFT generalization, while matching the total rollout budget enables SFT to generalize as well as RL. Combining these two factors further enables SFT to generalize even better than RL. Third, by using LLM annotations to characterize the solution methods in training rollouts, we show that larger datasets cover more tail methods and that these tail methods provide generalizable reasoning signals. Finally, we support these empirical findings theoretically by analyzing the training dynamics of shallow transformers under both RL and SFT.
Advances in large language models (LLMs) are enabling software-as-a-service (SaaS) providers to automate longer business workflows with agents. In subscription-based SaaS deployments, model and tool calls consume provider resources without additional customer payments. Because the agent autonomously decides when to stop, a malicious tenant can send a prompt to the agent, exploiting its completion decisions to extend execution and waste provider resources. In this paper, we present OverServe, a multi-agent framework for constructing such attacks against SaaS agents. OverServe co-designs Model Context Protocol (MCP) status tools and completion-confirmation prompts for the attacker. Each tool call returns accurate status and terminates normally, yet the agent may repeatedly check an unfinished condition to satisfy the prompt. This consumes the SaaS provider's resources even after the original business task is completed. OverServe constructs service-specific tool--prompt pairs and uses separate tool and prompt reviews to guide candidate pair selection. Tested tool specifications trigger no alerts in the evaluated MCP scanners. We evaluate Qwen, Nemotron, DeepSeek, and Sonnet on selected tasks from nine benchmarks. All OverServe runs pass the original task checks. OverServe can reach a maximal amplification of API requests by $93.88\times$ while preserving the original task goal and collateral checks.
Attention scores candidate supports of an answer, which we call witnesses, and reads the scores at a temperature. We build a higher-order attention layer whose state lives on pairs of items: for a pair (a, b), each third item k is a witness judged through its legs (a, k) and (k, b). It reads witnesses at zero temperature, keeping the best and the number tied with it, passes on only bits comparing such counts, rebuilds its pair state from the input and these bits at every loop, and is trained from answers alone. Each choice removes one way soft attention fails at size: dispersed weight, unresolved gaps between learned scores, and a drifting soft state. In maximum retrieval it is right on at least 99.95% of sets 1,000 times larger than in training, on all ten seeds; trained with a soft count, the same network falls to 42% at 4,096 items. On CLRS-30 without hints, a general form of the layer (half its channels read at zero temperature, numbers embedded, state carried) beats the best published model, which uses hints on some tasks; the full cold layer is exact on every test input of 9 of the 12 tasks whose answers depend on numbers only through comparisons. From yes-or-no answers it decides 2-SAT and two-colouring exactly at 500 variables and, as our theory predicts, not parity equations. Beside a frozen 7B language model it chains family relations exactly at 1,000 statements after training on 16, where the model alone falls to 44%; finite checks on the weights prove every block that learned correct at every size, on acyclic contexts and given what the model reads. On CLUTRR it is right on every story of five to ten relations given the graphs, learning the 62 rules exactly; from text, with the model frozen, no hand-written rule and only a small read-in trained, it lifts an open 7B model from 33% to 65%, above every system we found without hand-written rules except frontier reasoning models.
Graph-based retrieval-augmented generation (GraphRAG) improves multi-hop question answering, but deployed systems pay costs that research comparisons rarely measure: model calls at query time, building the graph, and removing documents correctly. We present Lightfoot, a GraphRAG system in which every entity, link, fact and synonym edge is a deterministic function of per-passage extractions that carry chunk-level provenance. Retrieval makes no language-model call, indexing makes one per passage, and deleting a document is a database transaction with no model calls: 14 seconds for 10% of an 11,402-passage corpus, after which the graph is identical to a fresh index of the surviving documents. On a corpus of near-duplicate names, HippoRAG 2's capped synonym lists leave 565 fewer edges than a rebuild, while Lightfoot remains exact. Under identical extraction, embedding and answer models on held-out questions of MuSiQue, 2WikiMultiHopQA and HotpotQA, Lightfoot is competitive with HippoRAG 2: with Holm-corrected paired tests it is better on MuSiQue at recall@5 and recall@10 (+4.8 and +5.5 points) and on 2WikiMultiHopQA at recall@10 (+3.4), and tied on HotpotQA, while HippoRAG 2 keeps a non-significant 3.0-point edge at 2WikiMultiHopQA recall@2. Seeding the walk from entities named in the question accounts for most of the 2WikiMultiHopQA gain. Answers tie on all three datasets, and the retrieval pattern holds with three larger embedders, up to Qwen3-Embedding-8B. The gain is not the reranker's: with the same cross-encoder, dense retrieval trails Lightfoot by 9.3 and 17.8 points recall@5 on the two multi-hop sets. Lightfoot also builds the cheapest index, 26-31% below HippoRAG 2; LightRAG needed 2,187 model calls and 3.7 hours for the same deletion, and fast-graphrag cannot delete.