PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11760v1cs.LG

표현력에서 샘플 복잡도로: C-RASP를 통한 트랜스포머의 협소한 교사 모델

From Expressivity to Sample Complexity: Narrow Teachers for Transformers via C-RASP

트랜스포머(Transformer)에 대한 이론적 이해는 대규모 언어 모델(LLM)의 역량과 한계를 더 잘 파악하는 데 필수적이다. 어텐션(attention) 기반 모델의 표현력을 분석하는 연구는 상당히 축적되어 있다. 수작업으로 설계된 가중치를 제안하거나 계산 복잡도 논증을 활용함으로써, 다수의 기존 이론 연구들은 어떤 과제가 트랜스포머 모델의 가설 클래스(hypothesis class)에 속하고 어떤 과제가 속하지 않는지를 규명하고자 했다. 그러나 이러한 해(solution)들의 학습 가능성(learnability)을 탐구하는 연구는 거의 없다. 본 연구에서는 이 목표를 향한 진전을 이룬다. 최근의 손실(loss) 지형 분석 연구에서 영감을 받아, 트랜스포머로 C-RASP 구성을 학습하기 위한 예비적 샘플 복잡도 경계를 제안한다.

arXiv:2607.11493v1cs.LG

리 대수로이드 기반 에이전틱 스킬 최적화

Agentic Skill Optimization over Lie Algebroids

에이전틱(Agentic) 시스템은 프롬프트, 루브릭, 계획, 도구 계약, 예시, 검증기, 트레이스 등의 스킬을 편집함으로써 점점 더 스스로를 개선하고 있다. 스킬 편집은 벡터 공간의 독립적인 좌표가 아니라, 롤아웃, 검증, 비평 이후에만 효과를 관찰할 수 있는 구조화된 아티팩트에 대한 국소적 수정이다. 서로 다른 편집이 라우팅 컨텍스트, 템플릿 상태, 가드레일 범위, 또는 향후 합성 가능성에서 차이가 있으면서도 동일한 즉각적인 가시 효과를 가질 수 있다. 편집의 순서 역시 중요할 수 있다: 스키마를 정규화 규칙보다 먼저 수정하는 것은 동일한 편집을 역순으로 적용하는 것과 반드시 동등하지는 않다. 이 논문은 리 대수로이드 스킬 최적화(Lie Algebroid SKill Optimization)를 의미하는 LASKO라는 새로운 스킬 최적화 프레임워크를 소개한다. LASKO는 타입이 지정되고 앵커된 Markdown 스킬을 기반 카테고리로, 사용 가능한 편집 정책을 앵커 $ρ$를 가진 제어된 리 대수로이드의 섹션으로 모델링한다. 앵커는 편집 정책을 가시적인 Markdown 효과에 매핑하고, 커널 $\ker(ρ)$는 잠재적인 템플릿, 라우팅 또는 구현 구조를 나타내며, 대수로이드 브래킷은 비가환적 편집 합성을 측정한다. 논문에서 보여주듯이, LASKO는 예비 벤치마크 결과에서 스킬 최적화의 수십 배 속도 향상을 달성하는데, 이는 주로 대규모 언어 모델(LLM)을 실행해야 하는 비용이 큰 검증에 투자하기 전에 마이크로초 단위로 실행되는 저렴한 리 브래킷 스크리닝 테스트로 대체하기 때문이다. 자연어에서의 인과 추출 태스크에서, LASKO는 671B 파라미터를 가진 DeepSeek V3.1 4-bit 모델을 통해 모든 편집을 검증하는 브루트포스 방식 대비 거의 $15\times$의 속도 향상을 달성했다.

arXiv:2607.11475v1cs.LG

HyperSafe: 미세조정된 언어 모델을 위한 추론 시점 안전성 복구

HyperSafe: Inference-Time Safety Recovery for Fine-Tuned Language Models

대규모 언어 모델의 안전성 정렬(safety alignment)은 미세조정(fine-tuning) 과정에서 취약해질 수 있으며, 무해한 태스크 적응조차 유해한 응답 준수율을 높일 수 있다. 기존 방어 기법은 주로 두 가지 방향을 따른다. 하나는 미세조정 중 또는 이후에 재학습이나 가중치(weight) 수정을 통해 개입하는 방식으로, 비용이 많이 들고 태스크 성능을 저하시킬 수 있다. 다른 하나는 모델에 무관한 안전성 분류기(classifier)를 사용하는 방식으로, 특정 미세조정 체크포인트(checkpoint)에 고유한 실패 사례를 놓칠 수 있다. 이러한 한계들은 사후(post hoc), 모델 특화적, 비침습적인 안전성 복구 접근법의 필요성을 제기한다. 이 요구사항들을 충족하기 위해 우리는 HyperSafe를 제안한다. HyperSafe는 각 미세조정 체크포인트에 대해 모델 특화된 안전 사이드 네트워크(Safe Side Network, SSN)를 생성하여 안전성 동작을 복구하는 프레임워크다. HyperSafe는 층(layer)별 활성화 핑거프린트(activation fingerprint)를 사용하여 미세조정이 모델의 내부 표현을 어떻게 변화시키는지 포착한다. 소수의 보정 프롬프트(calibration prompt)가 주어지면, 하이퍼네트워크(hypernetwork)는 이 핑거프린트들을 단일 순전파(forward pass)로 SSN의 파라미터에 매핑한다. 생성된 SSN은 동결된 미세조정 모델과 병렬로 실행되며 프롬프트(prompt) 수준의 안전성 분류(classification)를 수행한다. 유해한 프롬프트는 거절 응답으로 라우팅되고, 안전한 프롬프트는 원래의 미세조정 모델이 답변한다. 따라서 HyperSafe는 그래디언트(gradient) 업데이트, 배포 시점의 안전성 데이터, 배포된 모델(model) 가중치 수정을 일절 필요로 하지 않는다. 우리는 HyperSafe를 두 모델 패밀리인 Qwen2-7B와 LLaMA-3-8B에서 다수의 안전성 벤치마크(benchmark)로 평가한다. HyperSafe는 모든 held-out 체크포인트에서 유해 응답률을 19–31%에서 1% 미만으로 줄이면서, 평균적으로 다운스트림 태스크 정확도를 미세조정 기준선(baseline)의 1% 이내로 유지한다. 코드는 https://github.com/nokronim/project-safety-remedy에서 확인할 수 있다.

arXiv:2607.11364v1cs.LG

BackgroundMellow: 내러티브 기반 풍부한 영화적 사운드스케이프 생성을 위한 멀티모달 통합 프레임워크

BackgroundMellow: A Multi-Modal Cohesive Framework for Narrative-Driven Rich Cinematic Soundscape Generation

장문의 텍스트 내러티브에 대해 몰입감 있고 동기화된 영화적 오디오를 생성하는 것은 멀티모달 AI에서 여전히 중요한 과제로 남아 있다. 현재의 텍스트-투-오디오(TTA) 프레임워크는 개별 음향 효과 합성에는 성공적이지만, 내러티브 응집성, 시간적 정렬, 영화적 감성 깊이 구현에 어려움을 겪고 있다. 우리는 스토리-투-오디오 생성을 정밀한 오케스트레이션 및 신호 처리 문제로 다루는 프레임워크인 BackgroundMellow를 제안한다. 이 프레임워크는 마스터-스페셜리스트 에이전트 아키텍처를 통해 정답 데이터 없이 구현되며, 텍스트를 정밀하고 다층적인 오디오 큐로 분해하고, 각 카테고리의 음향을 적합한 스페셜리스트 모델로 생성한 뒤, 사운드스케이프를 중첩하여 통합되고 정렬된 오디오 세그먼트를 만든다. 우리의 파이프라인은 환경음 합성을 위한 Tango2 잠재 확산 모델과 전문 사운드트랙에서 수집한 새로운 영화적 BGM 검색기를 기반으로 구축되었다. 사운드 믹싱 과정을 자동화하기 위해 내러티브 타임라인을 기반으로 시작 시간, 지속 시간, 상대적 음량 등 정밀한 오디오 파라미터를 예측하는 자연어 처리(NLP) 기반 모듈을 사용한다. 또한 시간적 동기화, 커버리지, 스펙트럼 풍부도를 측정하기 위해 엄선된 유튜브 영화 트레일러 데이터셋 대비 최근접 이웃 검색을 활용하여 제안된 프레임워크의 효과를 실증적으로 평가하고 입증한다.

arXiv:2607.11211v1cs.LG

FastTPS: AI 가속기를 위한 LLM 토큰 단계 최적화 방법

FastTPS: An Optimized Method for LLM Token Phase for AI accelerators

대규모 언어 모델(LLM)의 인기가 높아지면서 효율적인 추론에 대한 지속적인 수요가 증가하고 있다. 그러나 디코더 전용 LLM 추론의 토큰 단계에서 토큰이 순차적으로 처리되기 때문에, 내재적인 낮은 병렬성으로 인해 처리량이 감소하고 인공지능(AI) 가속기의 연산 유닛 활용도가 저하된다. 특히 상당한 메모리 오버헤드를 수반하는 긴 시퀀스 입력을 처리할 때 이러한 문제가 두드러진다. 최근 다수의 방법이 잠재적 해결책으로 제안되었으나, 수치적 편차가 발생한다는 문제가 있다. 본 논문은 일반 AI 가속기에서 LLM 추론의 토큰 단계를 가속화하기 위한 고성능이면서 정밀도 손실이 적은 방법인 FastTPS를 제안한다. FastTPS는 세 가지 핵심 구성 요소를 포함한다: (1) 메모리 접근 오버헤드를 줄이고 어텐션의 완전 융합을 가능하게 하는 AI 가속기 기반 리로딩 없는 KV Cache 연결, (2) 타일링 최적화된 FLAT 기반의 고효율·고정밀도 'RoPE' 어텐션, (3) 세밀한 파이프라인 스케줄링을 적용한 고도 융합 MLP. 실험 결과, FastTPS는 토큰 단계의 메모리 병목 현상을 크게 완화하며, AMD Ryzen AI 300 시리즈 NPU에서 BF16 정밀도로 Phi3-mini-4k-instruct 추론 시 미융합 대비 6배의 속도 향상을 달성하면서 피크 메모리 대역폭 활용률 93%를 유지함을 확인하였다.

arXiv:2607.11126v1cs.LG

ToolAtlas: Learning Once, Reusing Everywhere with Tool-Side Memory

Large language model (LLM) agents increasingly rely on external tools served by shared providers and accessed by heterogeneous downstream agents. Existing approaches improve tool use on the agent side through parameter updates, prompt refinement, or agent-side memory, making tool knowledge difficult to share and limited to behaviors observed in past tasks. We argue that reusable tool knowledge should instead be maintained by the tool provider. We introduce ToolAtlas, a graph-based framework that builds a persistent provider-side tool memory of tool capabilities, failure boundaries, and cross-tool compositions through execution-verified probing. At inference time, agents query the tool memory via adaptive graph traversal. Across two MCP-based benchmarks spanning eight services, ToolAtlas outperforms existing tool-side optimization and agent-side memory baselines by up to 21.61% in pass@1 and 18.61% in pass@4. The same tool memory also transfers across environment instances and agent frameworks without retraining or task-time exploration, yielding up to 24.16%/16.22% and 17.49%/14.27% relative gains in pass@1/pass@4, respectively. Ablation studies show that these gains arise from combining tool-centered memory organization with capability-guided execution probing. These results establish provider-side tool memory as an effective and reusable paradigm for tool servers. Our code is in: https://github.com/PuppyKnightUniversity/ToolAtlas.

arXiv:2607.11052v1cs.LG

Domain-Aware Scaling Laws Uncover Data Synergy

Machine learning progress is often attributed to scaling model size and dataset volume, yet the composition of data can be just as consequential. Empirical findings repeatedly show that combining datasets from different domains yields nontrivial interactions. For instance, adding code improves mathematical reasoning, while certain mixtures introduce interference that reduces model performance. We refer to these effects collectively as data synergy, where the contribution of multiple domains exceeds or falls short of the sum of their isolated contributions. In this work, we formalize and quantify data synergy in language model pretraining. Leveraging observational variation across open-weight LLMs with diverse pretraining mixtures, we estimate both direct domain-to-benchmark synergy (how one domain contributes to performance on another) and a second-order domain-domain synergy (capabilities that require co-occurrence of multiple domains). Our framework improves predictive accuracy over domain-agnostic scaling laws and recovers stable synergy estimates. We validate these estimates by training models on predicted optimal and predicted anti-optimal mixtures and confirm that our synergy estimates correctly predict performance rankings.

arXiv:2607.11022v1cs.LG

When the Reward Suite Is Leaky: A Preregistered Causal Contrast of Natural Verifier False Positives in RLVR

The test suites used as RLVR rewards for code have natural false positives: per-task, persistent, asymmetric errors that accept the same wrong programs every time they appear, unlike the symmetric or resampled noise assumed by existing noise-robustness analyses. We run a preregistered two-arm causal contrast on a deployed suite: GRPO on identical MBPP tasks, seeds, and compute, rewarded by the original MBPP tests (leaky) versus the MBPP+ extra tests (hardened). Two further families replicate the design under a preregistration frozen before their data existed. [C] The average held-out effect is bounded: non-inferior under a preregistered 1.5-pt margin (gap 0.20 pt, one-sided 95% upper bound 0.75 pt). [C] Rewarded false-positive mass tracks a cheap static leakiness audit computed before training (Spearman 0.80), and the registered train-side test puts the leak-stratum FP share +43.8 pt above clean tasks. [E] Auditing every rewarded FP under signed, human-adjudicated rules finds a large residual of verified genuinely wrong code: 47.57% record-weighted; both replication families reproduce a large share. The reward paid for real bugs, not merely suite artifacts. [E] Mechanism evidence is consistent with selection of pre-existing error modes rather than learned exploitation: FP incidence does not grow within our horizon, and untrained base models already produce the same wrong outputs under the leaky filter. We then turn the same instrument on the frontier judges themselves: on their own false positives they self-assess only weakly, a same-author test is unresolved, and even the highest-scoring reader we probe stays far below its score on a weaker policy's errors -- two subjects on MBPP, licensing nothing about frontier models in general. A cheap static audit locates exposure before training; hardening the reward removes the measurement inflation, though here it buys little capability.

arXiv:2607.10994v1cs.LG

A Multi-Agent Framework for Zero-Dimensional Reduced-Order Model Planning

Zero-dimensional reduced-order models (0D ROMs) are central to multi-dimensional design workflows for high-end complex equipment. However, the planning process currently relies on manual expertise, limiting topological exploration and prolonging iterations. Even traditional optimization methods such as Genetic Algorithms (GA) are typically confined to local parameter tuning. Although Large Language Model (LLM) agents have shown promise in exploring large sample spaces, and frameworks such as Chain of Thought (CoT) and Reason and Act (ReAct) improve reasoning reliability, while Retrieval-Augmented Generation (RAG) overcomes domain knowledge barriers, a single agent still falls short for the long-horizon and highly coupled nature of complex 0D ROM planning. This paper proposes the Zero-dimensional reduced-order model CO-Planning framework (Z-COPA), a multi-agent architecture featuring a Symbolic Action Graph Engine (SAGE) and a MILP-Guided Navigation (MGN) optimizer. Its core innovation is a dedicated graph representation method that accurately encodes the 0D flow network topology, converting the empirical planning process into a rigorous graph structure optimization problem. We validate the forward and inverse design capabilities and generalization performance of Z-COPA on two real aircraft engine secondary-air systems, two IEEE power-distribution reconfiguration benchmarks, and two water-distribution network benchmarks. The results show superior task completion quality, obtaining the best performance in both forward and reverse design of air systems. Z-COPA disrupts the traditional 0D model planning paradigm, providing a new technical approach for exploring broader topological space and achieving highly automated, globally optimal air system architectures.

arXiv:2607.10959v1cs.LG

WSqD: A Horizon-Free Learning Rate Schedule for Large Model Training

Standard learning rate schedules such as cosine annealing are tied to a fixed training horizon, limiting their ability to accommodate post hoc horizon extension. Warmup-stable-decay (WSD) partially addresses this issue by maintaining a long constant-rate phase before a short linear cooldown, allowing training to resume from a pre-decay checkpoint. However, its peak learning rate is still tuned based on the original training horizon and can become suboptimal when training is extended. Motivated by stochastic convex optimization, we propose WSqD (Warmup with Square-root base and linear Decay), a learning rate schedule that replaces WSD's constant stable phase with a shifted inverse-square-root base while retaining the final linear cooldown. In the stochastic convex setting, WSqD provably attains the minimax-optimal $O(1/\sqrt{T})$ last-iterate convergence rate. Importantly, its base learning rate schedule is horizon-independent, and the training horizon is needed only to determine when to begin the final cooldown. Empirically, on language-model pretraining using the SlimPajama corpus, WSqD matches or outperforms carefully tuned WSD and other baselines across multiple training horizons while reusing a single peak learning rate.

arXiv:2607.10923v1cs.LG

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

Large language models exhibit remarkable emergent behaviors, yet the physical mechanism governing their collective dynamics remains poorly understood. Cognitive Field Theory predicts that learning reorganizes the time-scale density of states (TDOS) through the infrared accumulation of slow relaxation modes, thereby enhancing the memory self-energy, reducing the cognitive forgetting gap, and strengthening the collective susceptibility. Using publicly available Pythia language models, we extract relaxation spectra directly from Transformer layer Jacobians throughout training, network depth, and model scale, allowing the TDOS, memory self-energy, forgetting gap, memory kernel, and infrared critical exponent to be measured quantitatively. The measurements reveal progressive infrared accumulation of slow relaxation modes, producing an approximately flat infrared TDOS with \( ρ(λ)\simλ^{-0.1} \) and scale-free memory kernels \( K(t)\sim t^{-1}. \) The memory self-energy exhibits a pronounced transient maximum during early optimization before relaxing toward a metastable near-critical regime, corresponding to the smallest cognitive forgetting gap and the largest collective susceptibility predicted by Cognitive Field Theory. These observations provide quantitative experimental evidence that Transformer dynamics are governed by infrared collective organization. The reproducibility of the same dynamical behavior across training, network depth, and model scales suggests that infrared slow-mode organization represents a universal collective principle of Transformer dynamics.

arXiv:2607.10855v1cs.LG

Reliability Scaling Laws for Quantized Large Language Models

Quantization is a powerful strategy to build capable and resource-efficient large language models (LLMs) by reducing the bitwidth of the parameters. While quantized LLMs achieve state-of-the-art performance on unperturbed inputs using standard predictive metrics, their performance on perturbed inputs, measured using reliability metrics, remains underexplored, despite its importance for reliable deployment. To address this gap, we first conduct a comprehensive reliability evaluation of quantized LLMs consisting of three key components: (1) Uncertainty: We assess the trustworthiness of LLMs quantized to 2, 3, 4, and 8 bits using six different quantization methods, employing established uncertainty metrics. (2) Calibration: We assess how well-calibrated the uncertainty estimates of quantized models are across model scales and bit precisions. (3) Robustness: We design character-level and word-level input perturbations to evaluate the reliability of quantized models under semantically-preserving variations in the inputs that arise in real-world applications. Second, we characterize how reliability scales with the total number of model bits. Our study reveals that while the performance scales monotonically with the total number of bits, the reliability scalings are nonlinear. A reliability peak occurs for 4-bit quantized models, indicating that quantizing moderately sized models offers the best reliability-efficiency trade-off. Additionally, our empirical findings reveal that quantization enhances the robustness of LLMs to natural input perturbations.

arXiv:2607.10848v1cs.LG

Predictive Divergence Masks for LLM RL

Reinforcement learning for large language models (LLMs) typically relies on trust-region masks to stabilize off-policy updates. The dominant PPO-style approach uses the sampled-token importance ratio for two criteria: a proximity criterion, which asks whether the policy has moved too far from the behavior policy, and a direction criterion, which asks whether the update pushes it farther away. Recent work DPPO improves the proximity criterion by replacing PPO's ratio-based test with a probability divergence between the behavior and training policies. However, its direction criterion is still inherited from PPO. A token can be masked only when the sampled-token importance ratio moves away from one. We observe that this ratio-based direction criterion is a single-sample proxy that can disagree in sign with the change of the divergence that defines the proximity criterion. We therefore propose the predictive divergence mask, which asks whether the next policy-gradient step will increase or decrease the same divergence used by the trust region. For the discrete softmax policies used in LLM RL, we derive this prediction in closed form. Because production rollout engines expose only a truncated (top-K) view of the vocabulary, we develop two lightweight top-$K$ estimators for this prediction. Detailed analysis shows the divergence-based direction is better aligned with the realized change of the divergence than the sampled ratio, and the resulting masks improve RL training across model scales and precision settings.

arXiv:2607.10803v1cs.LG

Weight-Adjusted Gradients Reveal Parameter Importance and Failure Modes in LLMs

Understanding which parameters are influential in Large Language Models (LLMs) is central to improving their efficiency, reliability, and interpretability. We introduce Weight-Adjusted Gradients (WAG), a simple yet effective approach for estimating parameter importance that explicitly captures the interaction between model weights and first-order gradient information and identifies parameters that disproportionately influence model behavior, such as those responsible for collapse phenomena in LLMs. Across a range of models and settings, we show that WAG surfaces a tiny but critical subset of parameters whose modification leads to dramatic degradation in performance, a failure mode that existing importance metrics overlook. These findings reveal a previously underexplored interplay between weights and gradients, suggesting that parameter importance cannot be fully understood through either signal alone. The surprising effectiveness of WAG points to fundamental structural properties of trained networks and motivates new open questions about the role of zeroth-order and first-order information in deep learning. We demonstrate the practical utility of WAG across multiple applications, including expert allocation in mixture-of-expert architectures, parameter-specific unlearning, mixed-precision quantization, and layer selection for knowledge editing. Our results position WAG as a unified approach for analyzing, debugging, and controlling LLMs, and opens new directions for principled model-level interpretation.

arXiv:2607.10738v1cs.LG

답변할 것인가, 기권할 것인가: 기권 인식 강화학습을 통한 검색 에이전트 환각 완화

To Answer or to Abstain: Mitigating Search-Agent Hallucinations via Abstention-Aware Reinforcement Learning

대규모 언어 모델(LLM)에 검색 도구와 결과 보상 강화학습(RL)을 결합하는 최근의 발전은 오픈 도메인 QA 태스크에서 새로운 최첨단 결과를 달성했습니다. 그러나 우리는 현재의 학습 패러다임이 심각한 취약점을 내포하고 있다고 주장합니다. 즉, 정답에 대한 보상은 주로 제공하지만, 검색이 실패했을 때 조작된 답변에 대한 패널티를 부여하지 않아 암묵적으로 환각을 악화시킨다는 점입니다. 이를 해결하기 위해 우리는 기권 인식 강화학습(AWA-RL, Abstention-Aware Reinforcement Learning)을 제안합니다. AWA-RL은 모델의 쿼리별 사전 능력과 지속적인 온-정책 학습 관찰을 활용하여 기권 보상을 동적으로 조정합니다. 또한 우리는 능력-신뢰성 트레이드오프를 측정하기 위한 새로운 지표인 RA-F1을 도입합니다. 기권하지 않는 베이스라인과 비교했을 때, AWA-RL은 절대 정밀도를 최대 10.3%, 전반적인 RA-F1을 2.9% 향상시키며, 원시 정확도의 희생은 미미한 수준에 그칩니다. 이러한 결과는 AWA-RL이 높은 능력과 신뢰성을 갖춘 검색 에이전트를 성공적으로 생성함을 확인합니다. 코드, 데이터, 모델 가중치는 https://github.com/zfj1998/AWA-RL에서 공개적으로 이용 가능합니다.

arXiv:2607.10694v1cs.LG

자원 제약 환경에서 파운데이션 모델 미세조정 학습

Learning to Fine-tune Foundation Models under Resource Limitations

우리는 자원 제한 디바이스에 배포된 사전학습된 파운데이션 모델(Foundation Model)에 대한 최적의 지속적 미세조정 문제를 연구한다. 각 타임 슬롯마다 새로운 학습 데이터 배치가 도착하며, 컨트롤러는 두 가지 선택에 직면한다: 데이터를 사용하여 모델을 미세조정하고 연산 비용을 감수하거나, 모델을 미세조정하지 않고 데이터를 버리는 것이다. 결정 이후, 현재 모델의 성능은 분류 정확도와 같은 응용 특화 성능 지표로 측정된다. 우리의 목표는 유한한 연산 예산 하에서 단일 태스크(예: 감성 분석)에 대해 모델을 언제 미세조정할지를 결정하는 최적 정책을 학습하는 것이다. 우리는 이 온라인 의사결정 문제를 제약된 마르코프 결정 과정(Constrained Markov Decision Process)으로 정식화하며, 시스템 상태는 세 가지 핵심 측면을 포착한다: (i) 모델의 성능, (ii) 연산 예산, (iii) 현재까지 접한 과거 데이터와의 데이터 분포 관련성. 다음 상태로의 전이는 확률적이므로, 우리는 이 문제를 해결하기 위해 강화학습 기반 방법인 액터-크리틱(actor-critic) 알고리즘을 제안한다. 또한 주어진 모델의 미세조정 성능을 결정 이전에 예측하거나 추정할 수 있는 특수한 경우를 고려하며, 이 경우 문제는 동적 프로그래밍(Dynamic Programming) 문제가 된다. 널리 사용되는 텍스트 분류 데이터셋에서 대규모 사전학습 모델을 대상으로 한 실험 결과, 우리의 방법은 동일한 연산 예산을 가진 미세조정 방법들을 정확도 기준으로 4% 이상 일관되게 능가하며, 미세조정 단계의 25%만을 요구하면서 전체 매개변수 미세조정 정확도의 97%를 달성함을 보인다.

arXiv:2607.10617v1cs.LG

modelDNA: 샘플링된 가중치 핑거프린트로부터의 보정된 계보 검증 및 병합 분해

modelDNA: Calibrated Lineage Verification and Merge Decomposition from Sampled Weight Fingerprints

오픈 가중치 언어 모델의 계보 그래프는 자기 신고 방식에 의존한다: Hugging Face의 base_model 메타데이터 필드는 선택 사항이며 검증되지 않고, Hub 모델의 60% 이상은 부모 모델 정보를 전혀 기록하지 않는다. 가중치로부터 계보를 탐지하는 방법이 연구 문헌에 존재하지만, 각 방법은 하나의 신호와 하나의 실험에 종속된 논문 코드 형태로 제공되며, 출처 분쟁이 발생하면 분석을 매번 수동으로 다시 수행해야 한다. 이 보고서는 modelDNA를 소개한다. 이 도구는 전체 15 GB 다운로드(7B 모델 기준) 대신 약 100–300 MB의 범위 HTTP 읽기로 모델을 핑거프린팅하고, 핑거프린트를 네 가지 공개 신호 패밀리에 걸친 파운데이션 모델의 참조 데이터베이스와 비교하여, 자신 있는 오류보다 정직한 유보를 선호하는 보정된 확률과 함께 8가지 판정 클래스 중 하나를 반환한다. 조직이 문서화한 부모 정보가 있는 실제 Hub 모델 15개로 구성된 벤치마크에서, 8개의 후보 기반 모델(13개의 양성, 107개의 어려운 음성)을 대상으로 평가한 결과, 시스템은 AUROC 1.0, 보고 임계값에서 거짓 양성 0건, 13/13의 정확한 상위-1 부모 귀속을 달성했다. 이 보고서의 두 번째 기여는 병합 분해이다. 모든 주류 가중치 병합 방법은 텐서별로 (근)선형이며, 핑거프린트 샘플 위치는 텐서 식별자의 결정론적 함수이므로, 병합된 모델의 핑거프린트는 부모 모델 핑거프린트들의 동일한 선형 조합이다. 따라서 혼합 가중치는 핑거프린트만으로 합이 1인 제약 최소 제곱을 통해 복원할 수 있다. 공개된 mergekit 설정을 정답으로 삼은 병합 모델들을 대상으로, 이 방법은 slerp 병합의 층별 보간 곡선을 r = 0.999로 복원하고, dare_ties 병합의 혼합 가중치를 공개된 값과 0.011 이내의 오차로 복원하며, 핑거프린트 이외의 어떠한 가중치도 다운로드하지 않는다. 모든 핑거프린트, 벤치마크, 그리고 55개 모델의 추론된 계보 그래프는 공개되어 있으며 오프라인에서 재현 가능하다.

arXiv:2607.10582v1cs.LG

MemDecay: 효율적인 LLM 에이전트 추론을 위한 영역 인식 KV 캐시 제거

MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

대규모 언어 모델(LLM) 에이전트는 시스템 지시문, 계획, 사용자 턴, 검색된 문서, 도구 출력, 중간 추론 등 이질적인 컨텍스트를 축적하며, 이에 따른 키-값(KV) 캐시는 주요 메모리 병목 지점이 될 수 있다. 기존의 제거 정책들은 일반적으로 모든 토큰에 동일한 어텐션 기반 또는 최신성 기반 규칙을 적용함으로써, 에이전트 오케스트레이터가 이미 보유한 의미적 구조를 무시한다. 우리는 학습이 필요 없는 영역 인식 KV 캐시 제거 정책인 MemDecay를 제안한다. MemDecay는 토큰에 영역별 기본 우선순위와 감쇠율을 할당하고, 토큰이 어텐션을 받을 때 보존 점수를 갱신하며, 고정 캐시 예산 내에서 가장 낮은 점수의 페이지를 제거하는 동시에 중요한 영역은 고정(pinning)할 수 있도록 한다. 또한 측정된 어텐션 수명으로부터 감쇠율을 보정하는 절차를 제공한다. 우리는 Qwen2.5-1.5B 및 3B 모델을 사용하여 약 450 및 1,700 토큰 컨텍스트에서 MemDecay를 평가한다. 모든 설정에서 어텐션 수명은 영역에 따라 한 자릿수 규모의 차이를 보인다: 시스템 토큰의 반감기는 148~189 디코딩 스텝인 반면, 스크래치패드 토큰은 14~16 스텝에 불과하다. 고정을 적용하면 모든 설정에서 시스템 영역의 사실을 전체 캐시 수준의 정확도로 보존하는 반면, 어떤 기준선도 24개 중 13개를 초과하여 보존하지 못한다. 영역 인식 보존은 컨텍스트가 증가해도 효과를 유지하는 반면, 최신성 기반 보존은 붕괴된다. 단, 누적 어텐션 보존은 고정되지 않은 콘텐츠에서 더 나은 성능을 보이며, 어블레이션 실험은 어텐션 점수 정규화가 현재 공식의 주요 한계임을 밝힌다. 이러한 결과는 의미적 프롬프트 구조가 KV 캐시 관리를 위한 강력한 신호임을 입증하는 동시에, 어텐션 기반 중요도와 어떻게 결합되어야 하는지를 명확히 한다.

arXiv:2607.10546v1cs.LG

LLM-PDESR: 서브도메인 가중 잔차와 LLM 기반 기호 가설 생성을 통한 강건한 PDE 발견

LLM-PDESR: Robust PDE Discovery via Subdomain Weighted Residuals and LLM-Guided Symbolic Hypothesis Generation

잡음이 포함된 관측 데이터로부터 지배 편미분방정식(PDE)을 발견하는 것은 과학적 머신러닝의 근본적인 과제입니다. 전통적인 기호 회귀(SR) 방법은 광범위한 조합 탐색 공간 내에서 정확한 방정식을 식별하는 데 어려움을 겪는 경우가 많으며, 이는 주로 필수적인 도메인별 사전 지식을 통합하지 못하기 때문입니다. 또한, 점별 평가 및 이산 유한 차분에 대한 의존성은 고주파 잡음을 본질적으로 증폭시켜 최적화 과정을 방해하는 기만적인 적합도 지형을 형성합니다. 이러한 병목 현상을 해결하기 위해 우리는 대규모 언어 모델(LLM)의 구조적 가설 생성과 수학적으로 엄밀한 평가 환경을 통합하는 프레임워크인 LLM-PDESR을 제안합니다. 강건한 미분을 위한 C^4-연속 5차 스플라인과 자연 저역 통과 필터로서의 서브도메인 가중 잔차를 활용함으로써, 우리의 접근법은 기존 방법을 괴롭히는 적합도 지형 왜곡을 효과적으로 완화합니다. 파레토 기반 피드백 루프는 LLM이 후보 방정식을 반복적으로 개선하여 예측 정확도와 구조적 간결성 사이의 균형을 맞출 수 있도록 합니다. 우리는 23개의 표준 PDE와 데이터셋 암기를 배제하고 진정한 발견 능력을 검증하기 위해 특별히 설계된 5개의 구조적으로 새로운 방정식(다변량 시스템 포함)을 대상으로 LLM-PDESR을 평가합니다. 실세계 적용 가능성을 입증하기 위해, 이 프레임워크는 잡음이 포함된 ERA5 재분석 데이터로부터 해석 가능한 1D 동역학 대리 모델(1D-CACE)의 일관된 구조적 스켈레톤을 직접 추출하는 데 성공합니다. 광범위한 실험과 분포 외 테스트를 통해 LLM-PDESR이 구조적 복원, 잡음 내성, 그리고 허위 복잡성 및 방정식 비대화 방지 측면에서 최신 방법론을 크게 능가함을 확인합니다.

arXiv:2607.10517v1cs.LG

리만 활성화 조종을 위한 조건부 최적 브릿지

Conditional Optimal Bridge for Riemannian Activation Steering

활성화 조종(Activation steering)은 추론(inference) 시점에 대규모 언어 모델(LLM)을 제어하기 위한 미세조정(fine-tuning)의 경량 대안을 제공합니다. 기존의 많은 방법들은 원하는 활성화 분포와 원하지 않는 활성화 분포 사이의 로그-밀도비 목적함수를 암묵적으로 최적화하지만, 이를 원리적인 최적화 문제에서 유도하는 것이 아니라 휴리스틱하게 수행합니다. 더불어 이러한 방법들은 쿼리 독립적인 조종 방향을 생성하여 분포 내(in-distribution) 및 분포 외(OOD) 입력 모두에서 성능을 저하시킬 수 있습니다. 저희는 잔차 스트림 초구면 위의 슈뢰딩거 브릿지(Schrödinger Bridge)로 활성화 조종을 재정립함으로써 두 가지 한계를 모두 해결하는 \textsc{Cobras}(Conditional Optimal Bridge for Riemannian Activation Steering)를 소개합니다. 이 공식화는 저희가 알기로는 적합하게 정의된 최적화 문제로부터 로그-밀도비 조종 목적함수에 대한 최초의 원리적 유도를 제공합니다. 엔트로픽 최적 수송(entropic optimal transport)을 통해 브릿지를 풀고 확률 흐름 ODE(probability flow ODE)를 추출하면, 싱크혼 포텐셜이 균일한 특수한 경우에 널리 사용되는 밀도비 그래디언트(gradient)가 복원됩니다. 핵심적으로, 슈뢰딩거 포텐셜은 현재 활성화값에서 평가되므로 결과적으로 생성된 조종 방향이 본질적으로 쿼리 적응형이 됩니다. 실험적으로, 네 가지 모델과 세 가지 정렬(alignment) 축(유용성, 진실성, 무독화)에 걸쳐, \textsc{Cobras}는 기존 방법들에서 흔히 관찰되는 OOD 성능 저하를 피하면서 이전 활성화 조종 기준선들을 지속적으로 능가합니다. 코드는 https://github.com/arshandalili/cobras 에서 확인할 수 있습니다.