오디오 대규모 언어 모델(Audio LLM)이 텍스트 프롬프트의 컨텍스트를 실제로 활용하는지 검증하기 위해, 8개 인도어·23개 전문 도메인·555명 화자의 자연 음성 56시간으로 구성된 IndicContextEval 벤치마크와 7단계(L0–L6) 점진적 프롬프트 프레임워크를 제안한다. 5개 모델 평가 결과 컨텍스트 활용 방식에 큰 차이가 있어, Audio LLM의 컨텍스트 그라운딩을 명시적으로 평가할 필요가 있음을 보여준다.
대부분의 비전-언어-행동(VLA) 모델은 반응형(reactive)이다: 현재 명령과 관찰로부터 다음 행동을 예측하며, 현재 관찰이 행동과 관련된 상태를 완전히 명시한다고 암묵적으로 가정한다. 그러나 구현 제어(embodied control)에서는 카메라-로봇 간 기하학적 관계, 로봇 캘리브레이션, 또는 체계적인 작동 바이어스와 같은 구현체(embodiment)별 요인들이 단일 관찰만으로는 식별하기 어려운 경우가 많다. 결과적으로 반응형 정책은 이러한 요인들을 일반적으로 안정적으로 구분할 수 없어 학습 환경에 과적합되고 배포 시 일반화 성능이 저하된다. 우리는 각 결정을 관찰-행동-결과 삼중항(triplet)의 컨텍스트에 조건화하는 Reflective VLA를 제안한다. 각 삼중항은 로봇이 무엇을 관찰하고 실행했는지뿐만 아니라 이후 장면이 어떻게 변했는지도 기록함으로써, 행동에서 관찰된 효과로의 배포별 매핑을 드러낸다. 아키텍처 측면에서 Reflective VLA는 공유 어텐션 하에 모든 관찰 모달리티를 VLM을 통해 라우팅하므로, 행동 전문가(action expert)가 과거 삼중항과 현재 관찰에 대해 직접 추론한다. 블록 인과 마스크(block-causal mask)는 누출 없이 병렬 다중 프레임 학습을 가능하게 하고 KV 캐시 기반 실시간 추론을 지원한다. 표준 LIBERO 및 SimplerEnv-Bridge에서 Reflective VLA는 분포 내(in-distribution) 강력한 성능을 유지한다. LIBERO-Plus 및 더 어려운 LIBERO-Plus-Hard에서의 분포 변화(distribution shift) 하에서는 매칭된 반응형 기준선 대비 평균 성공률을 각각 5.4 및 4.2 퍼센트포인트 향상시킨다. 매칭된 히스토리 전용 기준선을 이용한 절제 실험(ablation)은 추가적인 컨텍스트 길이만이 아니라 행동 결과(action consequences)가 환경 간 일반화의 핵심임을 추가로 보여준다. 프로젝트 페이지: https://lianqing11.github.io/reflective-vla-page/
Despite recent successes, test-time scaling -- i.e., dynamically expanding the token budget during inference as needed -- remains brittle for vision-language models (VLMs). Unstructured visual reasoning chains entangle perception and reasoning, leading to long, disorganized contexts where small perceptual mistakes may cascade into completely wrong answers. Reasoning also requires expensive reinforcement learning with hand-crafted rewards. Here, we introduce SPARC (Separating Perception And Reasoning Circuits), a modular framework that explicitly decouples visual perception from reasoning. Inspired by sequential sensory-to-cognitive processing in the brain, SPARC implements a two-stage pipeline where the model first performs explicit visual search to localize question-relevant regions, then conditions its reasoning on those regions to produce the final answer. This separation enables independent test-time scaling with asymmetric compute allocation (e.g., prioritizing perceptual processing under distribution shift), and supports selective optimization (e.g., improving the perceptual stage alone when it is the bottleneck for end-to-end performance). It also accommodates compressed contexts by running global search at lower image resolutions and allocating high-resolution processing only to selected regions, thereby reducing visual token count and compute. SPARC outperforms monolithic baselines and strong visual-grounding approaches across challenging visual reasoning tasks, such as improving Qwen3VL 4B on the $V^*$ VQA benchmark by 6.7 points and surpassing "thinking with images" by 4.6 points in an OOD setting with a $200\times$ lower token budget.
A common belief in multimodal research is that the perceptual weaknesses of vision--language models can be compensated by stronger language reasoning (e.g., chain-of-thought, in-context learning, or external tools). We challenge this assumption. We argue that for a broad class of visual tasks hard to specify in language, failures stem from a structural fatality where the temporal decision of \textit{when} to reason strictly dictates the spatial constraint of \textit{where} reasoning takes place. When visual reasoning is deferred to language generation, current architectures do not merely delay computation; they displace it from the continuous visual representation to a discrete textual space. Consequently, the sequential ``Perception-then-Reasoning'' paradigm degenerates perception into a passive, one-off feature encoding process, rendering it functionally equivalent to ``Reasoning-in-Text-Space'', where task-critical spatial signals are collapsed before reasoning begins. We substantiate this claim with the Turing Eye Test (TET): tasks that must be resolved in \emph{visual space} and are hard to verbalize; results show text-only reasoning cannot remedy these perceptual failures. Our findings suggest rethinking the architectural divide: shifting from reasoning \textit{about} perception to reasoning \textit{within} perception. This facilitates actively reasoning-driven perception that operates directly on pixel-level visual representations, rather than within a collapsed textual space.
Tabular foundation models are commonly assumed to present limited privacy concerns as they are often pre-trained on large collections of synthetic data. However, these models leverage in-context learning, where sensitive records may be provided directly at inference time as labelled context examples. In this paper, we demonstrate that predictions generated via the attention mechanism leak sufficient information to enable effective Membership Inference Attacks (MIAs). To highlight this vulnerability, we propose AMIA (Attention-based Membership Inference Attack), a shadow-model-free attack that exploits the concentration of transformer attention patterns. Our results show that attention mechanisms reveal strong membership signals, which exceed classical confidence-based attacks, achieving an average gain of 7.7\%, specially in low false-positive regimes. To mitigate this risk, we introduce an inference-time defence inspired by $k$-anonymity principles. This approach reduces the uniqueness of context-key representations without introducing random noise or retraining the model. By targeting only high-risk queries identified through AMIA scores, the defence substantially reduces membership leakage of this attack by an average of 50\% and 25\% against confidence-based attacks, while preserving predictive utility with only 3.9\% performance degradation. Beyond showing that context examples are vulnerable, we further demonstrate that fine-tuning introduces an additional source of privacy risk. In particular, samples whose prediction confidence increases after fine-tuning become more susceptible to MIAs, indicating that fine-tuning can amplify memorisation and expose sensitive training information through confidence shifts.
The Hitchhiker's Guide to Agentic AI is a comprehensive practitioner's reference for building autonomous AI systems. The book covers the full stack from first principles to production deployment, organized around a central thesis: building great agentic systems requires understanding every layer of the pipeline, not just one. The book opens with the LLM substrate -- transformer architecture, GPU systems, training and fine-tuning (SFT,LoRA, MoE), model compression, and inference optimization -- treated as essential foundations rather than the primary focus. It then develops the alignment and reasoning layer: reinforcement learning from human feedback (RLHF), PPO, DPO and its variants, GRPO, reward modeling, and RL for large reasoning models including chain-of-thought and test-time scaling. The second half is devoted to agentic AI proper. Topics include agentic training and trajectory-based RL, retrieval-augmented generation (RAG and Agentic RAG), memory systems (in-context, external, episodic, and semantic), agent harness design and context management, and a taxonomy of agent design patterns. Inter-agent coordination is covered in depth: the Model Context Protocol (MCP), agent skills and tool use, the Agent-to-Agent (A2A) communication protocol, and multi-agent architectures spanning centralized, decentralized, and hierarchical topologies. The book concludes with agent development frameworks, agentic UI design, evaluation methodology for agentic tasks, and production deployment. Each chapter pairs rigorous theoretical foundations with implementation guidance, code examples, and references to the primary literature.
Modern artificial intelligence excels at prediction but cannot explain. From large language models to AI-for-science systems, today's machines answer what by recombining patterns already present in the human literature, yet they cannot reason out why a phenomenon must arise from underlying principles even though explanation, not prediction, lies at the heart of scientific discovery. Here we ask whether the structure of scientific explanation can be operationalized to guide how a machine generates hypotheses. We introduce DN-Hypo-Pipeline, a hypothesis-generation framework that adopts a layered, explanation-theoretic scaffold: Hempel's deductive-nomological (DN) model supplies the output form and deductive validity of a hypothesis, Salmon's causal-process account supplies an organizing constraint on where to search for the governing laws, and Armstrong's view of laws as relations between universals supplies the bridge from a phenomenon's constituent processes to the laws that may be associated with it. Rather than searching the space of what has been written, the framework searches the space of what principles govern a phenomenon: given an explanandum, it abstracts the universals instantiated in the phenomenon's formation process, retrieves the laws relating those universals, and deductively reconstructs a new, testable explanation. Evaluated in data-science modeling and judged by both LLMs and human experts, hypotheses generated through this principled reasoning significantly outperform those from direct prompting. Crucially, we translated the two highest-scoring hypotheses into novel algorithms one that reduces the Transformer's theoretical complexity with only minimal performance loss, and another that achieves competitive accuracy with substantially fewer parameters.
교환가능성 위배는 베이지안 문맥 내 학습(ICL)을 일괄 반박하지 않으며, 초과 프리퀀셜(prequential) 코드 길이가 누적 예측 KL과 같고 순서 민감성은 log loss로 가격이 매겨진다는 이론적 틀을 제시한다. Qwen2.5-7B/14B 통제 실험에서 예측 분포가 베이지안 사후 예측(posterior predictive)에 MLE 플러그인보다 가깝고, 각 직렬화마다 교환가능 사후 예측을 실현하지 않아도 기대 관점에서 베이지안에 경쟁력 있는 프리퀀셜 예측자가 될 수 있음을 보인다.
자기 진화(self-evolving) 에이전트의 경험을 텍스트 메모리와 코드 메모리로 나눠 비교한 통제 실험에서 두 표현은 구축 비용, 실행 효율, 전이 안정성 측면에서 상호 보완적이며 어느 하나만으로는 부족함을 확인했다. 이에 Metis는 텍스트 경험을 실행 계획, 환경 사실, 흔한 함정으로 구조화하고 반복되는 계획만 검증된 호출 가능 도구로 선택적으로 결정화하는 계층적 이중 표현 메모리를 제안하며, AppWorld 벤치마크에서 ReAct 대비 작업 정확도를 최대 20.6% 높이고 실행 비용을 최대 22.8% 줄였다.
대규모 언어 모델(LLM)에서 컨텍스트에 등장한 토큰의 확률이 높아지는 컨텍스트 자동동조(contextual entrainment)를 토큰 수준에서 문장 수준으로 확장해 per-token 평균 log-probability로 측정하고, 26개 모델과 주관·객관 2개 데이터셋에서 프롬프트 문장이 반사실이어도 추론 시 해당 문장 확률을 크게 올리는 현상이 있음을 확인했다. 모델 크기가 커질수록 현상은 약해지며, 어텐션(attention) 헤드의 2~4%만이 이를 조절하고 이 헤드를 끄면 성능 저하 없이 완화할 수 있다.
소규모 LLM이 소셜 미디어 텍스트의 아이러니를 직설적으로 해석하는 한계를 보완하기 위해, SFT 없이 사고의 연쇄(CoT) 추론을 압축하고 신경·상징 신호를 융합하는 하이브리드 neuro-symbolic RDS Fusion 프레임워크를 제안한다. TweetEval에서 정확도 78.1%·Macro F1 0.777로 파인튜닝 BERTweet 수준에 맞서며, 불균형 iSarcasm에서도 few-shot Macro F1 0.6726으로 다수의 감독 SemEval 트랜스포머 앙상블을 능가한다.
문맥 내 학습(ICL)에서 function-vector(FV) 헤드는 인과 기여 크기만으로는 단일 기능군처럼 보이지만, 부호를 보존한 refined direct logit attribution과 path patching 검증에 따르면 규칙 정답 logit을 올리는 writers와 내리는 cancellers 두 대립 집단으로 갈라진다. 이 분할은 3개 아키텍처·6개 Pythia 규모 등 15개 (모델·과제) 셀 대부분에서 인과적으로 재현되며, 크기 기반 순위는 한쪽을 놓쳐 촉진·억제 메커니즘을 평균화하고 cancellers 제거만으로 정답 logit +0.13~+0.29 nats·정확도 +2~+7pp 개선을 낸다.
Glossaries, technical specifications, and system prompts routinely ask language models to use familiar words in unfamiliar ways. When this works, the local rule does not overwrite the old meaning; the pretrained prior keeps operating underneath, and its strength still shows through. We test this with a Stroop-style paradigm: a remapping rule (doctor means forest) pitted against the query word's lexical-prior distractor (hospital), with matched neutral controls. Across 11 open-weight models spanning four families and 1B-9B parameters, lexical-prior strength predicts interference even after item-level controls for answer prior, frequency, tokenization, and prompt wording. Activation patching on five models then locates where the override is repaired internally. Restoring three source positions that carry the redefinition (the definition subject, its new target, and the query word) almost fully recovers the effect (aggregate $R \in [0.92, 1.06]$). The repair works by protecting the contextual target rather than by silencing the prior; the distractor's probability falls whenever these positions are perturbed, but the target survives only when the redefinition is restored intact. Behavior and mechanism converge on the same channel: the prior's strength both predicts which overrides fail and marks where the causal repair lands.
문맥 내 학습(ICL) 중 모델 활성화에서 추출한 기능 벡터(FV)가 다국어 번역에서도 언어 불변성을 갖는지를 세 가지 디코더 전용 다국어 LLM으로 검증하며, 영→X 한 방향에서 추출한 번역 FV가 보지 못한 목표 언어에서도 정답 번역 토큰의 순위를 일관되게 개선한다. 이득이 큰 토큰은 여러 언어에 걸치고 번역 방향별 상위 어텐션 헤드가 대부분 겹쳐, FV가 특정 언어쌍 매핑이 아니라 대체로 언어에 구애받지 않는 번역 신호를 인코딩함을 보여준다.
Rule2Text는 지식 그래프(KG)에서 채굴된 논리 규칙이 복잡하고 표기가 불투명해 해석이 어렵다는 문제를, LLM으로 규칙의 자연어 설명을 생성·평가하는 프레임워크로 다룬다. Freebase 변형과 ogbl-biokg 등 AMIE 3.5.1 규칙에 대해 제로샷·퓨샷·변수 타입·Chain-of-Thought 프롬프트 전략을 비교하고, 인간 평가와 LLM-as-a-judge로 품질을 검증한 뒤 고품질 데이터로 Zephyr를 파인튜닝해 설명의 정확성과 명료성이 유의미하게 개선됨을 보인다.
서로 다른 클러스터링 시나리오 간의 근본적인 차이로 인해 이미지 클러스터링을 다양한 시나리오에 걸쳐 통합하는 것은 여전히 어려운 과제로 남아 있다. 우리는 Guideline-Driven Image Clustering Agent를 소개한다. 이는 텍스트 가이드라인을 통해 이러한 차이를 극복하는 최초의 범용 프레임워크이다. 태스크별 학습 없이 복잡한 가이드라인을 통합하기 위해, 개념 프록시 추출을 통해 가이드라인 인식 임베딩을 생성하는 Generative Concept Proxy Modeling을 제안한다. 자동 클러스터 탐색이 필요한 시나리오를 위해, 복잡한 의미론적 판단에 선택적으로 대규모 언어 모델(LLM) 추론을 적용하는 최소 신장 트리(Minimum Spanning Tree) 기반 LLM 탐색 기법을 도입한다. 우리의 방법은 일반적 분류에서 세밀한 분류까지, 전역적 기준에서 지역적 기준까지, 균형 분포에서 롱테일 분포까지 다양한 클러스터링 시나리오에 걸쳐 일반화된다. 우리의 프레임워크는 다양한 클러스터링 태스크에서 전문화된 방법들을 일관되게 능가한다.
Prompt-based learning has emerged as a dominant paradigm in natural language processing. This study explores the impact of diverse pre-training objectives on the performance of encoder-decoder pre-trained language models across generation and question answering tasks, with a focus on commonsense knowledge retrieval and completion. We highlight the benefits of incorporating multiple objectives during both pre-training and fine-tuning stages. We introduce the Match Task to Objective (MTO) framework and methods for determining the appropriate objective for a given task. This framework offers automated methods to prepare task-related data for adaptation through unsupervised training, based on the identified objective. In the fine-tuning stage, we design novel templates that align with the objectives of the pre-training and adaptation stages. When aligned with task requirements, these strategies can achieve a performance gain of over 120\% compared to conventional methods in few-shot settings. They significantly outperform related works in few-shot settings and exceed the baseline even in full-dataset scenarios. Furthermore, we extend this approach to include prompt-tuning methodologies, providing guidance for more effective soft prompt engineering and optimization. Our strategies significantly enhance prompt-tuning performance as well. These insights hold substantial value, precisely guiding the selection and optimization of models customized for specific tasks. Code is available at https://github.com/puraminy/MTO/
As autonomous agents tackle increasingly complex multi-step, multi-agent tasks, their execution trajectories have scaled beyond the constraints of even the largest context windows. Current methods for effectively diagnosing agent failures load the full trajectory into an LLM's context window, which suffers from attention dilution and fails when agentic traces inevitably exceed context limits. To address this, we introduce SAFARI (Scaling long-horizon Agentic Fault AttRibution via active Investigation), a framework that replaces linear context loading with a tool-augmented diagnostic loop. By equipping LLMs with a specialized toolbox to read and search trajectory segments alongside a persistent Short-Term Memory (STM) for cross-turn reasoning, SAFARI effectively decouples diagnostic accuracy from architectural context limits. Our experiments demonstrate that SAFARI outperforms state-of-the-art results by 20% on the Who&When dataset within a 1M token budget, and by 19% on TRAIL GAIA subset on a 25K token budget. Most significantly, SAFARI maintains a 0.58 precision even when the target fault resides 5x beyond the model's native context window, a scenario where traditional evaluators fail entirely.
합성 데이터로 사전학습된 트랜스포머가 경험적 베이즈(EB) 문제에서 강한 성능을 보인다는 [Teh et al., 2025]의 발견을 이론적으로 정당화하며, 포아송 EB에서 범용 사전분포(universal priors) 하에서 학습하면 모든 테스트 분포에 대해 균일하게 거의 최적 수준의 후회(regret) 경계를 달성함을 보인다. 사후 분포 수축(posterior contraction)을 통해 사전학습 베이즈 추정량이 미지의 테스트 분포에 적응하는 메커니즘을 설명하고, 일반화된 사후분포를 이용한 베이즈 추론으로 테스트 시퀀스가 학습 길이를 넘는 길이 일반화(length generalization)도 해석한다.
계획과 실행이 한 생성 trace에 얽혀 토큰을 낭비하는 문제를 해결하기 위해, 탐험-실행 체인(E²C)이 확률적 탐험 단계에서 간결한 고수준 계획을 세우고 결정적 실행 단계에서 이를 수행하도록 단일 모델 내에서 구조적으로 분리하며, Causal SFT와 RL로 이 분리를 학습한다. AIME'2024에서 E²C-ReAct Loop는 K=32 기준 12.4k 토큰으로 53.3% 정확도를 달성해 Tree-of-Thoughts를 능가했고, 계획 단계만 갱신하는 탐험 중심 SFT(EF-SFT)는 표준 SFT 대비 3.5% 토큰으로 의료 벤치마크 정확도를 최대 14.5% 향상시킨다.