Semantic Multi-Object Tracking (SMOT) is evolving from purely geometric localization toward comprehensive video understanding. However, existing paradigms predominantly rely on closed-set interaction tags and fragmented perception pipelines, creating a bottleneck that prevents the full utilization of Multi-modal Large Language Models (MLLMs) for dynamic scenes. In this paper, we elevate SMOT from rigid classification to an open-ended generative reasoning task. To support this paradigm shift, we introduce Grand-SMOT, a large-scale benchmark featuring high-density, dual-stream narratives. This dataset explicitly decouples micro-level individual dynamics from macro-level environmental contexts, directly resolving the semantic scarcity of prior tracking datasets. Furthermore, we propose LLMTrack, a unified MLLM-driven framework for dynamic SMOT. Guided by a verifiable ``\textit{Macro-Understanding-First}'' mechanism, LLMTrack employs a Spatio-Temporal Fusion Module to compress discrete geometric trajectories into continuous semantic tokens, effectively suppressing temporal hallucinations in long-sequence tracking. Extensive experiments, utilizing a novel decoupled evaluation protocol, validate that LLMTrack achieves state-of-the-art geometric tracking robustness while delivering a qualitative leap in generative semantic reasoning. The code and datasets are publicly available at https://github.com/liaopan-lp/LLMTrack-GrandSMOT.
멀티모달 대규모 언어 모델(MLLM)은 시각화 해석에 점점 더 많이 사용되지만, 현재 평가는 대체로 차트 중심에 머물러 과학 시각화(SciVis) 이해에 대한 제한적인 증거만 제공한다. 우리는 과학 시각화 리터러시 평가 테스트(scientific visualization literacy assessment test)에서 6개 MLLM을 벤치마킹한다. 이는 18개의 과학 시각화 및 일러스트레이션을 기반으로 한 49개 문항으로 구성된 표준화된 SciVis 리터러시 평가이며, 8가지 기법과 11가지 과제 유형을 포괄한다. closed-world 프로토콜 하에서 3개의 폐쇄 소스 모델과 3개의 오픈 소스 모델을 평가하고, 485명의 인간 참가자 데이터를 사용하여 성능을 비교한다. 결과는 현재 MLLM이 균일한 SciVis 리터러시를 보이지 않음을 보여준다. Gemini는 전반적으로 가장 강력한 모델로, 평가된 하위 집합 전반에서 인간 평균을 넘어서지만, 오픈 소스 모델은 인간 기준선 아래에 머문다. 성능은 기법과 과제에 걸쳐 매우 불균일하다. 모델은 과학 일러스트레이션, 탐색(search), 공간 이해에서 가장 좋은 성능을 보이지만, 텍스처 기반 및 통합(integration) 기반 시각화와 정량적 추정에서는 어려움을 겪는다. 오류 분석은 세밀한 정량적 추정, 흐름 방향 해석, 그라운딩된(grounded) 인코딩 해석에서 반복되는 실패를 드러낸다. 이러한 발견은 SciVis 리터러시를 멀티모달 AI 시스템 평가를 위한 필수 벤치마크 차원으로 자리매김한다. 코드와 모델 출력은 https://github.com/patdmp/mllm-scivis-lit-benchmark 에서 공개되어 있다.
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 크게 향상시켰지만, 학습 과정은 여전히 불안정하기로 악명 높다. 본 연구에서는 이러한 불안정성의 핵심 원인인 과최적화(over-optimization)를 규명한다. 과최적화란 모델이 일반화 가능한 추론을 희생하면서 학습 휴리스틱을 악용하는 현상이다. 역방향 KL 정규화가 이러한 성능 저하에 대한 표준적인 방어 수단이지만, 우리의 분석에 따르면 이 방법은 참조 분포의 포괄적인 커버리지를 보장하지 못하기 때문에 이 영역에서 불충분한 경우가 많다. 이를 해결하기 위해 우리는 ARMOR(Anchor Rollout and Mixed Optimization for RL)를 제안한다. 이는 수동적 페널티 패러다임에서 능동적 샘플 안정화 패러다임으로 전환하는 프레임워크다. ARMOR는 두 가지 핵심 구성 요소로 이루어진다: (1) 앵커 롤아웃(Anchor Rollout)으로, 참조 정책의 오프-정책 데이터를 활용하여 확립된 솔루션 패턴을 보존하고, (2) 혼합 최적화(Mixed Optimization)로, 보조 손실에 의존하지 않고 제어된 탐험이 가능하도록 정책 목적함수를 재정식화한다. 추론 벤치마크에서 수행한 광범위한 실험을 통해 ARMOR가 검증 붕괴(validation collapse)를 효과적으로 완화하여 장기 학습 구간에 걸쳐 지속적인 성능 향상을 가능하게 함을 검증하였다.
LLM 평가에서 프롬프트 표현 방식의 변화(paraphrase, 선택지 순서, 형식 등)가 모델 응답에 미치는 영향을 객관적 질문(MMLU, ARC, CulturalBench)과 주관적 가치·의견 질문(Political Compass Test, ValueBench, World Values Survey)을 비교해 분석한 결과, 주관적 질문의 일관성(0.787)이 객관적 질문(0.849)보다 낮았으며, 특히 선택지 순서 변경이 가장 큰 불안정 요인으로 나타났다. 프롬프트 강건성(prompt robustness)은 질문 유형, 프롬프트 변경 방식, 모델 모두에 따라 달라지므로, LLM의 가치관이나 신념을 단일 프롬프트로 측정하는 설문 방식 평가에 주의가 필요하다는 점을 통계적으로 입증했다.
합성 벤치마크에서 평가된 프롬프트 인젝션 방어는 더 길고 밀도가 높으며, 적법한 권위적 언어와 사실적 내용이 뒤섞인 실제 기업 문서로 일반화되지 않는다. SEC 제출서류, 연방 공보 규정, PubMed 초록, arXiv 논문, GitHub 사후 분석(postmortem) 등 실제 문서를 사용하여 금융, 법률, 의료, 과학, DevOps 다섯 전문 도메인에 걸친 122개 작업으로 구성된 실제 문서 벤치마크를 통해 이 격차를 입증한다. 합성 벤치마크에서 가장 강력한 방어인 의역(paraphrasing)은 실제 문서에서 공격 성공률의 통계적으로 유의한 감소를 보이지 않으며(p=0.500), 유틸리티는 91.8%에서 82.8%로 저하된다. PARSE(Provenance-Aware Retrieval Sanitization, 출처 인식 검색 정제)를 도입한다. 이는 도메인 인식형, 사실 보존형 정제 파이프라인으로, 각 문장을 인젝션 가능도에 따라 분류하고, 재작성 전에 구조화된 사실을 추출하며, 일관성 검사 루프를 통해 사실 보존을 검증한다. 지시성(directiveness) 게이트는 실제 기업 문서의 59%를 경량 경로로 라우팅하여, 계산 비용을 고위험 문서에 집중시킨다. PARSE는 86.9%의 유틸리티에서 15.6%의 공격 성공률을 달성하며, 이는 기준선 25.4% 대비 38% 감소이다. 통계적으로 유의(p=0.014, 충분한 검정력)하면서 기준선에 근접한 유틸리티를 유지하는 유일한 조건이다. 실무자는 합성 대리물이 아닌 도메인에 맞는 실제 문서에서 방어 기법을 평가해야 한다.
대규모 언어 모델(LLM) 평가 비용이 점점 커지면서, 벤치마크 데이터셋을 축소하여 평가를 가속하는 방법에 대한 관심이 높아지고 있다. 벤치마크 예측(효율적 LLM 평가라고도 함)은 소규모 평가 지점 부분집합을 선택하고, 그 부분집합으로부터 전체 벤치마크 성능을 예측하는 것을 목표로 한다. 본 논문에서는 19개의 다양한 벤치마크에 걸쳐 11가지 벤치마크 예측 방법의 강점과 한계를 체계적으로 평가한다. 먼저, 매우 경쟁력 있는 기준선을 확인한다: 무작위 표본을 추출하고 표본에 회귀 모델을 적합시켜 누락된 항목을 예측하는 방법이다. 대부분의 기존 방법을 능가하는 이 기준선은 벤치마크 예측을 위해 신중한 부분집합 선택이 필요하다는 가정에 도전한다. 둘째, 모든 기존 방법이 모델 유사성에 결정적으로 의존한다는 것을 발견한다. 이들은 유사한 모델들 사이에서 점수를 보간할 때 가장 잘 작동한다. 새로운 모델의 정확도가 이전에 관찰된 모델보다 높을 때 벤치마크 예측의 효과는 급격히 감소한다. 외삽(extrapolation) 상황에서는 이전 방법 중 어느 것도 무작위 표본의 단순 평균을 일관되게 능가하지 못한다. 표본 평균을 개선하기 위해 증강 역성향 가중(augmented inverse propensity weighting)에서 영감을 받은 새로운 방법을 제안한다. 이 방법은 외삽 상황에서도 무작위 표본 평균을 일관되게 능가한다. 그러나 그 성능은 여전히 모델 유사성에 의존하며, 전반적으로 개선 폭은 미미하다. 이는 벤치마크 예측이 가장 필요할 때—미지의 능력을 가진 새로운 모델을 평가하려는 평가 최전선에서—바로 실패한다는 것을 보여준다.
Reinforcement learning (RL) has recently emerged as a promising approach for aligning text-to-image generative models with human preferences. A key challenge, however, lies in designing effective and interpretable rewards. Existing methods often rely on either composite metrics (e.g., CLIP, OCR, and realism scores) with fixed weights or a single scalar reward distilled from human preference models, which can limit interpretability and flexibility. We propose RubricRL, a simple and general framework for rubric-based reward design that offers greater interpretability, composability, and user control. Instead of using a black-box scalar signal, RubricRL dynamically constructs a structured rubric for each prompt--a decomposable checklist of fine-grained visual criteria such as object correctness, attribute accuracy, OCR fidelity, and realism--tailored to the input text. Each criterion is independently evaluated by a multimodal judge (e.g., o4-mini), and a prompt-adaptive weighting mechanism emphasizes the most relevant dimensions. This design not only produces interpretable and modular supervision signals for policy optimization (e.g., GRPO or PPO), but also enables users to directly adjust which aspects to reward or penalize. Experiments with an autoregressive text-to-image model demonstrate that RubricRL improves prompt faithfulness, visual detail, and generalizability, while offering a flexible and extensible foundation for interpretable RL alignment across text-to-image architectures.
GaLore 등 저메모리 최적화기들이 가정하는 "천천히 이동하는 그래디언트 서브스페이스"가 실제로는 식별 불가능한(non-identifiable) 추정 노이즈임을 실험적·이론적으로 증명하며, 128개 방향 중 재현 가능한 핵심은 약 39개에 불과하고 평균화로도 이 문제를 해결할 수 없음을 보인다. 대신 서브스페이스 갱신 시 Adam의 옵티마이저 상태를 회전 행렬 R을 통해 전이(transport)하는 LDAdam 방식이 Pythia-1B 기준 GaLore(19.3)보다 낮은 18.7 퍼플렉시티를 달성함을 검증한다.
현재 대규모 언어 모델(LLM)을 거의 모든 상상 가능한 맥락에서 활용하는 추세를 고려할 때, LLM 생성 텍스트 탐지와 저작자 귀속은 시급한 문제가 되었다. 기존 연구는 주로 표면 수준의 언어적 특징에 초점을 맞춰 왔으며, 이 접근법은 패러프레이징(paraphrasing) 및 기타 난독화 기법에 취약한 것으로 나타났다. 본 논문에서는 언어적 표면을 넘어, LLM 생성 텍스트에서 추론 구조를 추출·분석하여 LLM 저작의 더 복잡한 신호를 포착하는 것을 목표로 한다. 우리는 논증 마이닝(argument mining) 파이프라인으로 추출한 추론 그래프를 활용하는 그래프 신경망 접근법을 제안하며, 전통적인 Longformer 기준선 대비 견고성(robustness)과 일반화(generalisation)가 향상됨을 보인다. 우리 접근법은 패러프레이징과 역번역(backtranslation) 같은 난독화 공격 하에서 기준선을 최대 27 percentage points만큼 능가하며, 새로운 LLM 버전이 지속적으로 출시되는 실제 환경을 시뮬레이션하는 보지 못한 모델 버전이 생성한 텍스트에 대해 평가할 때 19 percentage points만큼 능가한다.
대규모 언어 모델(LLM)은 지도 미세조정, 강화학습, 온-정책 증류를 통해 추론 능력에서 큰 향상을 이루었지만, 이러한 사후 학습 방법들은 보통 최종 답변 정확도로만 평가된다. 우리는 추론 과정에서 이들이 신뢰도(confidence)를 어떻게 재구성하는지 연구한다. 우리는 사고의 연쇄(Chain-of-Thought) 생성 전, 중, 후의 신뢰도를 평가하는 3단계 보정 프레임워크를 도입하며, 이는 각각 난이도 추정, 조기 종료, 답변 집계에 대응한다. 수학적 추론 벤치마크에서의 통제된 비교를 통해, OPD가 사전 추론 신뢰도에 가장 유용하고, SFT가 조기 종료를 위한 최상의 온라인 신호를 제공하며, RL이 집계를 위한 가장 신뢰할 수 있는 trace 수준 신호를 생성함을 발견한다. 또한 신뢰도의 신뢰성은 위치에 따라 달라짐을 보인다: RL 신뢰도는 경로 확정(path-commitment) 단계 이후에 정보를 제공하기 시작하는 반면, OPD 신뢰도는 초기에는 유용하지만 이후 역보정(inversely calibrated)될 수 있다. 이 관찰에 기반하여, 신뢰할 수 있는 상대 위치 구간에서만 신뢰도를 사용하는 위치 인식(position-aware) 신뢰도 전략 PosConf를 제안한다. PosConf는 다수결 투표(majority voting) 대비 RL 답변 집계를 6.1점 향상시키며, 촘촘한 토큰 예산 하에서 OPD 조기 종료를 일관되게 개선하여, 후반 역보정 구간을 피함으로써 최대 4.3점의 이득을 보인다. 이는 추론 모델에서 신뢰도를 단계별로 그리고 위치 인식적으로 사용해야 함을 보여준다. 코드는 https://github.com/EIT-NLP/Post-Training-Calibration 에서 제공된다.
전문가 혼합(MoE) 언어 모델의 배포 시 메모리 병목 문제를 해결하기 위해, MAESTRO는 자기회귀적 전문가 활성화 궤적을 에르고딕 마르코프 체인으로 모델링하여 층 간 의존성을 반영한 전역적 중요도 휴리스틱으로 불필요한 전문가를 가지치기하는 구조적 프루닝 프레임워크다. GPT-OSS와 Qwen 3 두 MoE 계열에서 50% 압축 조건 하에 17개 벤치마크 평가 결과, 기존 최첨단 방법 대비 평균 성능 유지율에서 최대 10.61% 향상을 달성하며 과제 간 분산도 현저히 낮았다.
언어 에이전트의 추론 루프 내부에서 매 단계마다 메모리를 읽고 쓰는 "루프 내 메모리(memory in the loop)" 체계를 연구하며, 기존의 지연 시간 문제가 네트워크 기반 저장소의 특성에서 비롯됨을 지적하고 인-프로세스 저장소(~100µs)를 활용해 이를 해소할 수 있음을 실험적으로 입증한다. GPT-5급 모델 실험에서 인-프로세스 메모리 적용 시 재현율이 0/5에서 3.6–4.8/5로 향상되었으며, 저장소 응답 속도만 변화시켜도 중복 행동 발생률이 단조적으로 달라진다는 인과 관계를 확인했다.
Theoria는 AI 시스템의 추론 결과를 검증하기 위한 아키텍처로, 후보 답변을 타입이 지정된 상태 전이(state transition) 시퀀스로 재작성하고 각 전이에 인용·계산·문제 조건 중 하나의 명시적 근거를 요구하는 "변경 완전성(completeness-of-change)" 불변식을 적용해 숨겨진 전제가 검증 없이 통과되는 것을 방지한다. HLE-Verified Gold 벤치마크에서 91.4%의 정밀도를 달성했으며, 적대적으로 조작된 증명 탐지에서 홀리스틱 LLM 판정 방식(83.2%) 대비 94.7%의 탐지율을 기록해 특히 숨겨진 전제와 조작된 인용 오류 클래스에서 유의미한 우위를 보였다.
코딩 에이전트는 소프트웨어 엔지니어링의 주요 방식이 되었지만, 이를 비교하는 데 사용하는 벤치마크는 에이전트 이전 시대에 설계되었다: 모델, 하네스, 환경을 단일 엔드투엔드 점수로 축약하며, 일반적으로 하나의 기준 해답에 대해 계산되고, 반복을 위한 구성 요소 수준의 신호가 없다. 우리는 현재의 코딩 벤치마크가 에이전트 기반 소프트웨어 엔지니어링과 정렬되지 않았다고 주장한다. 실제로 코딩 에이전트는 모델이 아니라 시스템 하네스—모델, 하네스, 컨텍스트, 환경, 피드백 신호의 복합체—이며, 이 중 어느 하나도 인접한 모델 세대 간의 차이와 비교할 만한 폭으로 벤치마크 점수를 움직일 수 있다. 우리는 세 가지 증상을 논의한다: (i) 벤치마크 점수가 모델과 하네스의 나머지 부분을 혼동함, (ii) 단일 기준 해답에 대한 채점이 동등하게 유효한 대안을 불이익으로 처리함, (iii) 개별 하네스 구성 요소 수준의 신호 부재로 엔드투엔드 시스템 점수를 반복적으로 개선하기 어려움.
사람들은 답을 검증하기 어려운 실용적인 질문에 언어 모델을 사용한다. 우리는 모델이 은밀한 가치 누출(covert value leakage)을 보인다는 것을 보여준다. 즉, 모델이 제공하는 정보는 자체 가치의 영향을 받지만, 이 영향은 사용자에게 공개되지 않는다. 우리 평가 중 하나에서, 사용자는 AI 기업에 투자할지 고려하며 AI 버블이 터질 가능성이 얼마나 되는지 알고 싶어 한다. Claude Opus 4.8은 검토 대상 기업이 OpenAI가 아닌 Anthropic일 때 더 낮은 확률을 제시한다. 그러나 Claude는 대부분 이 영향을 사용자에게 공개하지 못한다. 은밀한 가치 누출은 사용자의 선호에 반하고 그들을 오도할 가능성이 있기 때문에 정렬(misalignment) 실패의 한 형태이다. 이 현상을 조사하기 위해, 우리는 가치 누출과 모델이 이를 공개하는지를 정량화하는 평가 모음을 도입한다. 우리는 모델이 도덕적으로 좋은 결과, 모델을 개발한 기업, 일부 인간 여가 활동에 대한 선호 등 다양한 유형의 가치의 영향을 받는다는 것을 발견한다. 동일한 평가에서 최첨단 모델들 사이에 큰 차이가 나는 경우가 많다. 예를 들어, 페르미 추정(Fermi-estimation) 과제에서 Claude 모델은 사고의 연쇄(Chain-of-Thought)에서 편향 없는 답변을 제공한다고 거짓 주장하는 반면, Qwen 모델은 자신의 가치가 답변에 어떻게 바이어스를 주는지 설명한다. 가치 누출은 아첨(sycophancy) 및 보상 해킹(reward hacking)과 구별되는 실패 모드이며, 현재의 정렬 학습과 평가는 이를 충분히 다루지 못한다.
시각-언어 내비게이션(VLN)은 자연어 지시를 따라 복잡한 환경에서 구현체 에이전트(embodied agent)가 이동할 수 있도록 하는 것을 목표로 한다. 최근 접근법들은 의미 공간 지도(semantic spatial maps)를 구축하고 추론과 의사결정을 위해 대규모 언어 모델(LLM)을 활용한다. 이러한 발전에도 불구하고, 기존 시스템은 인스턴스 수준의 객체 세부 정보와 다양한 사용자 질의에 대한 견고성이 부족하여 복잡한 실내 환경에서의 신뢰할 수 있는 내비게이션을 제한한다. 이 한계를 해결하기 위해, 우리는 세 가지 핵심 기여를 갖춘 통합 프레임워크인 Instance-Enriched Semantic Maps를 제안한다: (1) 개방 어휘(open-vocabulary) panoptic segmentation을 통해 색상 및 깊이 관측으로부터 지도를 구축하고, 수직적 구분을 보존하며 작은 객체를 포착하면서, 방 수준(room-level) 맥락으로 풍부화된 다양한 의미 속성과 자연어 캡션을 저장하는 인스턴스 수준 2.5차원(2.5D) 풍부 정보 매핑. (2) LLM 기반 목표 선택을 통한 견고한 질의 처리로, 유형별 전문가(type-specialized experts) 간에 질의를 동적으로 라우팅하고 점수 수준(score-level) 융합을 통해 출력을 통합하여, 다양한 질의 표현에 걸쳐 일관된 목표 선택을 가능하게 함. (3) 내비게이션에 필요한 충분한 공간 정보를 보존하면서 3차원(3D) scene-graph 접근법 대비 약 96% 감소를 달성하는 저장 효율적 의미 표현. 제안된 2.5D 표현은 prediction-normalized Area Under the Curve(AUC)에서 3D 기준선보다 27% 이상 우수한 성능을 보인다. 내비게이션 실험에서, 우리 방법은 다양한 질의 유형에 걸쳐 기준선 대비 객체 검색에서 17% 이상, 내비게이션 성공률에서 23% 이상의 개선을 달성한다. 프로젝트 페이지는 https://rcilab.github.io/iesm_vln 에서 확인할 수 있다.
매개변수 효율적 미세조정은 모델과 옵티마이저 메모리를 줄이지만, 밀집(dense) 어텐션 때문에 긴 학습 시퀀스는 여전히 비용이 큽니다. 우리는 계층적 전역 어텐션(Hierarchical Global Attention, HGA)을 세그먼트 단위 역전파와 계층형 KV 저장과 결합합니다. 활성 세그먼트만 VRAM에서 미분 가능하게 유지되며, 이전 KV는 RAM 또는 NVMe로 분리(detach)되고, HGA는 각 쿼리 블록마다 유한한 수의 정확한 과거 토큰을 로드합니다. Qwen3-8B에서 4비트 QLoRA와 PG19를 사용할 때, 16GB Quadro RTX 5000에서 밀집 학습은 2,048 토큰까지는 가능하지만 4,096에서는 실패하는 반면, HGA는 15.28GB 피크 VRAM으로 16,384 토큰에 도달합니다. 평가에서는 동일한 어댑터가 이 카드에서 131,072 토큰까지 처리하며, VRAM은 일정하지 않지만 상주 청크 요약에 따라 완만히 증가하므로 RAM과 NVMe 용량이 이보다 긴 길이에서 실질적 한계를 설정합니다. 공통 2K 학습 길이에서 HGA로 학습한 어댑터와 밀집으로 학습한 어댑터는 동일한 밀집 어텐션 readout에서 각각 2.7405와 2.7383 nat를 달성하는 반면, 기본 모델은 2.9541을 얻습니다. 이 경계에서 HGA 학습은 이미 미세하게 더 빠르며(217.75 대 207.02 tokens/s), HGA 대 밀집 처리량 비율은 1K에서 2K로 개선됩니다. HGA는 토큰당 어텐션 대상 과거 집합을 대략 일정하게 유지하는 반면 밀집 방식의 토큰당 작업량은 증가하기 때문에, 컨텍스트가 길어질수록 이 격차가 더 벌어질 것으로 기대합니다. 품질 및 검색 비교의 주요 평가에는 학습된 가중치를 측정하고 표준 생성 프레임워크와 호환되도록 밀집 어텐션을 사용합니다. HGA는 검색 및 생성에도 사용할 수 있으며, 최적화된 프로덕션급 서빙 구현이 개발 중입니다.
뇌를 이해하는 데는 점점 더 다양한 스케일, 모달리티, 학문 분야에 걸친 증거를 통합하는 것이 중요해지고 있다. 따라서 단일 연구 질문을 다루려면 선행 연구 조사부터 분석 실행, 도메인 지식에 근거한 결과 해석에 이르는 일련의 작업을 조율해야 한다. AI 에이전트는 이러한 과정을 가속할 잠재력을 보여주지만, 현재의 에이전트는 뇌과학 분야 전문 지식이 부족하고, 주장을 날조할 수 있으며, 다단계 추론 과정에서 벗어날 수 있고, 전문가가 개입할 수 있는 명확한 지점이 거의 없다. 이러한 실패는 특히 뇌과학에서 치명적이다. 여기서 도출된 결론은 후속 과학적 주장의 기반이 되며, 실험실별 전문 지식과 신중한 인간의 판단에 의존하기 때문이다. 우리는 추적 가능한 로그와 에이전트 검증 결과를 통해 뇌과학 연구를 가속하는 완전 오픈소스 다중 에이전트 시스템인 BrainPilot을 제안한다. PI(principal investigator) 에이전트가 큐레이션된 도메인 지식에 기반한 전문 에이전트들을 조율한다. 이는 7,233개의 색인 항목을 포함하는 통합 뇌과학 지식 베이스와 7개 연구 도메인에 걸친 72개의 재사용 가능한 방법론 단위로 구성된 스킬 라이브러리로 이루어져 있다. 모든 주요 단계는 Graph of Trace에 기록된다. 이는 하위 목표, 도구 사용, 증거, 주장을 연결하는 감사 가능한 기록으로, 연구자들이 워크플로를 추적하고 검사할 수 있게 한다. Auditor 에이전트는 워크플로에 날조 검증을 추가로 통합한다. 평가를 위해 Agents' Last Exam의 세 가지 뇌과학 과제를 실행하고, 자체 벤치마크인 BrainPilotBench-v0를 도입하며, 추가적인 종단간 사례 연구를 제시한다. 이러한 평가 전반에서 오픈소스 백본 모델을 사용한 BrainPilot은 더 낮은 비용으로 최신 에이전트 프레임워크에 필적하는 성능을 달성한다.
형식 계약(formal contract)은 소프트웨어 테스트와 검증에 필수적이지만, 이를 작성하는 작업은 여전히 노동 집약적이고 오류가 발생하기 쉽다. 대규모 언어 모델(LLM)은 자동 형식화(autoformalization)를 향한 유망한 경로를 제공한다. 자연어 명세로부터 실행 가능한 단언(assertion)을 합성하여 비공식적인 개발자 의도와 형식적이며 실행 가능한 명세 사이의 격차를 메우는 것이다. 우리는 Monty를 제시한다. 이는 단언의 유효성에 대한 기대와 자연어의 모호성이라는 난제를 다루는 단언 자동 형식화 프레임워크이다. 우리의 기법은 새로운 적합성 점수(conformance score) 메트릭과, 형식화된 단언에 대해 코드를 테스트하여 얻은 유효성 점수를 이용해 형식화 결과를 필터링하는 것에 기반한다. 22개의 컬렉션형 Java 클래스에서 파생된 541개의 단언 생성 작업에 대해 접근법을 평가한 결과, 우리 기법이 LLM을 사용해 단언을 순진하게(naively) 변환할 때보다 정답(ground truth)을 더 신뢰성 있게 생성함을 보였으며, 평균 정밀도가 최대 20포인트 향상되었다.
온디바이스 대규모 언어 모델(LLM) 추론은 응답 지연시간, 제한된 하드웨어 자원, 사용자 프라이버시라는 삼중 딜레마에 직면한다. 전체 클라우드 추론은 강력한 컴퓨팅 능력을 제공하지만 사용자 프롬프트와 대화 데이터를 노출시키며, 독립적인 온디바이스 추론은 대부분의 소비자용 및 임베디드 엣지 디바이스에서는 실현 불가능하다. 본 논문은 엔드포인트 인증 KV 캐시를 기반으로 한 프라이버시 중심의 엣지-클라우드 협업 LLM 추론 프레임워크를 제안한다. 로컬 엔드포인트는 입력 전처리, 임베딩 계산, 적응형 특징 최적화, KV 캐시 인증, 투기적 디코딩(speculative decoding), 저차원 모델 헤드 계산을 담당하고, 클라우드는 인증된 디코더 추론, KV 캐시 관리, 토큰 검증, 고차원 어휘 투영을 수행한다. 엔드포인트는 부분 출력을 융합하고, 언어 적응형 마스킹을 적용하며, 목표 토큰을 샘플링한다. 모든 전송 데이터와 잘린 로짓(truncated logits)은 프라이버시를 위해 양자화되고 AES-GCM으로 암호화되며, 핵심 경량 모듈, 드래프트 파라미터, 캐시 접근 정책은 유출을 방지하기 위해 로컬에 유지된다. 이 프레임워크는 최적화된 스트리밍, 배칭, 양자화된 ONNX 배포를 통해 CPU 전용, GPU 탑재, 임베디드 디바이스를 포함한 이종 디바이스를 지원한다. 평가 결과, 이 프레임워크는 기준선 분할 추론 대비 토큰당 지연시간을 최대 46.1%, 하향링크 페이로드를 최대 67.4% 줄이면서 전체 클라우드 추론과 유사한 성능을 유지함을 보여준다.