Mercury는 확산(diffusion) 기반의 차세대 대규모 언어 모델(LLM)로, 트랜스포머(Transformer) 구조를 활용해 다중 토큰을 병렬 예측하도록 설계되었습니다. Mercury Coder는 코딩 특화 모델로, Mini와 Small 두 가지 크기로 제공되며, NVIDIA H100 GPU에서 각각 초당 1109토큰과 737토큰의 처리 속도를 기록하며 속도와 품질 면에서 최첨단 성능을 달성했습니다. 독립 평가와 실제 개발자 검증을 통해 다양한 프로그래밍 언어 및 사용 사례에서 우수한 성능을 입증했으며, 현재 Copilot Arena에서 품질 2위이자 가장 빠른 모델로 평가받고 있습니다. 또한, 공개 API와 무료 체험 공간도 함께 제공되어 실사용 접근성을 높였습니다.
Recent advances in video generation have enabled generative video compression to reconstruct details lost during coding using pretrained spatiotemporal priors. However, a substantial gap remains between codec-induced degradation and the perturbation trajectories learned by flow-matching models. In this paper, we identify a compression-dependent directional mismatch that degradation-strength-based timestep calibration alone cannot resolve. Compressed latents remain strongly aligned across codec operating points, while their reconstruction residuals vary substantially in magnitude and direction. To bridge this gap, we propose RIFT, a Residual-Informed Flow Transfer framework for one-step generative video compression. At its core, RIFT introduces a Residual Geometry Inducer (RGI) that converts the pretrained flow prediction into a content-adaptive restoration update using decoder-visible codec cues. RGI integrates flow-timestep conditioning with a learned full-band residual-strength estimate and content-conditioned direction and gain modulation, aligning the orientation and magnitude of the update with the compression-dependent residual geometry. Extensive experiments on three public video compression benchmarks show that RIFT outperforms competing generative video compression methods. The code is publicly available on RIFT.
엔트로피 제어는 대규모 언어 모델(LLM)의 강화학습(RL)에서 효과적인 도구가 되었으며, 정렬 과정에서 탐험-활용 트레이드오프의 균형을 맞추는 데 도움을 준다. 이러한 RL 패러다임은 종종 이질적인 태스크의 혼합에 대해 수행되는데, 동일한 정책 하에서 서로 다른 엔트로피 체계를 유발하여 전역적이거나 토큰 수준의 엔트로피 조절만으로는 탐험에 대한 이질적인 요구를 충족하기에 불충분하게 만든다. 이러한 이질성은 GRPO 스타일의 정규화된 advantage가 엔트로피 의존적 바이어스를 유발하게 하여, 프롬프트 그룹 간 advantage 신호가 통계적으로 비교 불가능하게 만든다. 이 문제를 해결하기 위해, 우리는 기존 그룹화된 샘플로부터 추정한 그룹 엔트로피를 사용하여 엔트로피 조건부 비대칭 advantage shaping을 수행하는 GRPO의 경량 확장인 Group Entropy-Controlled Policy Optimization(GEPO)를 제안한다. GEPO는 과도한 활용을 줄이기 위해 낮은 엔트로피 그룹에서 양의 advantage를 감쇠하고, 탐험을 유지하기 위해 높은 엔트로피 그룹에서 음의 advantage를 감쇠하며, 역사적 엔트로피 통계로부터 도출된 적응적 임계값을 사용한다. 수학, 물리, 과학, 코드 생성, 인스트럭션 따르기에 걸친 13개 벤치마크에서 두 기본 모델에 대한 광범위한 실험은 GEPO가 GRPO 및 최근 엔트로피 제어 방법들을 일관되게 능가하며, 학습 전반에 걸쳐 태스크별 탐험 수준을 유지하면서 균형 잡힌 교차 태스크 개선을 제공함을 보여준다.
비전-언어 모델 기반 그래픽 사용자 인터페이스(GUI) 에이전트는 실제 모바일 작업 자동화에 잠재력을 지니고 있다. 그러나 진전은 요소가 풍부하고 빠르게 진화하는 앱에서 수집된 높은 커버리지의 장기 상호작용 궤적 부족으로 제한된다. 기존 파이프라인은 종종 비용이 많이 드는 인간 시연 또는 온-정책 프레임워크에 의존하며, 이는 흔한 흐름을 과다 샘플링하는 반면 드문 전이와 복잡한 다단계 절차를 놓치는 경향이 있다. 이 문제를 해결하기 위해, 우리는 (i) 화면과 요소에 걸쳐 명시적인 UI 전이 그래프를 구축하는 효율적인 탐험 단계와 (ii) 계획 및 제어된 샘플링을 통해 다양한 다단계 궤적을 구성하는 그래프 기반 합성 단계로 이루어진 2단계 데이터 합성 프레임워크인 SEE를 제안한다. 이 설계는 허위 순환을 명시적으로 방지하고 장기 구성을 가능하게 하면서, 재현 가능하고 설명 가능한 데이터 생성을 달성한다. 여러 실제 앱에서 SEE는 허위 루프를 피하면서 평균 길이 14.8단계의 궤적을 생성하며, SEE로 파인튜닝된 에이전트는 향상된 작업 성공률과 보지 못한 화면에 대한 일반화를 달성한다. 우리는 합성 코드와 데이터셋을 공개할 예정이다.
항체는 특정 항원 분자에 결합함으로써 면역 인식에서 핵심적인 역할을 하는 필수 단백질이다. 최근 단백질 언어 모델(protein language model)은 단일 사슬 단백질 모델링 및 생성에서 진전을 이루었지만, 항원 특이적 항체 설계에서는 효과적인 모델링을 위해 항체와 항원 간의 명시적 페어링, 특히 에피토프(epitope) 수준에서의 페어링이 필요하기 때문에 한계를 보인다. 이러한 한계를 해결하기 위해, 우리는 항원 맥락에 조건화된 항체 서열과 구조의 통합 표현을 학습하는 AAMFM(Antigen-specific Antibody Multimodal Foundation Model)을 제안한다. AAMFM은 교차 모달 어댑터(cross-modal adapter)를 통해 기하학적 인터페이스와 에피토프 주석을 포함한 풍부한 항원 정보를 통합하여, 공유 잠재 공간에서 항체-항원 상호작용의 공동 모델링을 가능하게 한다. 기능적 관련성을 향해 모델을 더욱 유도하기 위해, 우리는 강력한 구조적 사전 정보(prior)로부터 추출한 선호 신호를 활용하여 학습을 결합 특이적 목표에 정렬(alignment)하는 보정 직접 선호 최적화(Calibrated Direct Preference Optimization, Cal-DPO)를 사용해 AAMFM을 파인튜닝한다. 광범위한 실험을 통해 AAMFM이 기능적 항체 설계에서 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 이는 항원 특이적 항체 공학에 대한 잠재력을 드러낸다. 코드는 https://github.com/XL-S224/AAMFM 에서 이용할 수 있다.
본 논문에서는 현대 표준 아랍어, 시리아어, 이집트어, 알제리어, 팔레스타인어, 모로코어의 6가지 아랍어 변종을 포괄하는 25,071개의 프롬프트로 구성된 사람이 큐레이션한 아랍어 안전성(safety) 데이터셋인 ArabicDialectSafety를 제시한다. 이 데이터셋은 방언 레이블과 7가지의 세부적인 위해 범주로 주석 처리되어 있다. 저자들은 방언 전반에 걸친 이진 안전/불안전 탐지 및 세부 위해 분류를 위한 이중 과제 평가 프레임워크를 도입한다. 7개의 지도학습 및 생성 모델을 벤치마킹한 결과, 파인튜닝된 MARBERTv2가 이진 분류에서 0.95, 세부 분류에서 0.90의 매크로 F1 점수를 기록하며 가장 강력한 성능을 달성했으며, 아랍어 특화 모델을 포함하여 프롬프트가 적용된 프론티어 대규모 언어 모델(LLM)들을 크게 능가함을 확인했다. 분석에 따르면 방언 조건화는 표현 수준에서 통합될 때 가장 효과적이었던 반면, 저자원 마그레브 방언에 대해서는 상당한 성능 격차가 여전히 남아 있었다. 나아가 유해한 방언 아랍어 프롬프트에 대해 7개의 프론티어 LLM을 응답 생성기로서 평가했으며, 모든 모델에서 안전하지 않은 생성 비율이 5% 미만임을 관찰했다. 저자들은 방언 인식이 가능한 아랍어 안전성 평가에 관한 향후 연구를 지원하기 위해 논문 채택 시 데이터셋과 코드를 공개한다. 경고: 본 논문에는 순수 연구 목적으로 포함된 유해하고 잠재적으로 공격적인 콘텐츠의 예시가 포함되어 있다.
Large language model based multi-agent systems usually communicate in text, i.e., using discrete tokens. However, text introduces a discrete bottleneck. Converting the sender's continuous hidden states into discrete tokens discards information that token identities alone cannot capture. Recent work proposes latent communication as an alternative, where agents transmit hidden representations directly without converting them to text. However, existing latent methods either inject working memory layer by layer across the transformers, or require trained projectors that limit portability. We propose StateBridge, a training-free latent communication approach that aligns the sender's final-layer hidden states to the receiver's input space via a closed-form orthogonal transformation. Lightweight norm calibration and vocabulary anchoring ensure compatibility with the pretrained input distribution. The aligned states are prepended to the input of the receiver agent as a continuous prefix. We evaluate StateBridge on math reasoning, code generation, and question answering with four models from two families. StateBridge achieves the best or tied-best score on 22 out of 26 model-task pairs, consistently outperforming the strongest baseline.
수치형 변수와 범주형 변수를 모두 포함하는 혼합 유형 데이터는 많은 과학 및 실세계 응용에서 등장한다. 기존 표현 학습 및 생성 모델링 접근법은 일반적으로 재구성 정확도 또는 무조건적 데이터 생성에만 초점을 맞추는 경우가 많아, 이질적인 변수 유형 간 해석 가능한 구조적 관계를 보존하면서 데이터의 전체 조건부 분포를 복원하는 데 실패하는 경우가 많다. 본 연구에서는 조건부 분포 매칭과 구조적 정규화를 통해 혼합 유형 데이터의 저차원 표현을 학습하는 프레임워크인 Conditional-Independence-Regularized Distributional Autoencoders를 제안한다. 우리 방법은 수치형 변수에 대한 energy score 기반 목적함수, 범주형 변수에 대한 가능도 기반 목적함수, 그리고 학습된 표현이 수치형과 범주형 성분 간 의존성을 포착하도록 유도하는 보조 조건부 독립 정규화 항을 결합한다. 이론적 분석을 통해 최적 표현이 설명되지 않은 수치적 변동성, 범주형 변수의 조건부 엔트로피, 잔여 조건부 의존성 사이의 균형을 이룬다는 것을 보인다. 실험적으로 제안 방법은 합성 및 실세계 데이터셋 모두에서 강한 성능을 달성하며, 범주형 분포 복원을 크게 개선하고 전반적인 조건부 분포 복원에서 경쟁력 있는 결과를 얻으며 혼합 유형 의존 구조를 보존한다. 코드는 GitHub에서 공개되었다.
멀티모달 검색의 급속한 발전과 LLM 및 멀티모달 LLM에서의 활용에 따라, 점점 더 복잡한 검색 과제가 등장하고 있다. 기존 방법은 주로 비전-언어 모델(vision-language model)의 과제별 미세조정에 의존하며, 단일 모달리티의 쿼리 또는 문서로 제한된다. 본 논문에서는 이미지와 텍스트로 구성된 멀티모달 쿼리를 지원하고, 텍스트와 이미지가 공존하는 멀티모달 문서 컬렉션을 대상으로 검색하는 통합 검색 모델인 ReT-2를 제안한다. ReT-2는 다층 표현과 LSTM에서 착안한 게이팅 메커니즘을 갖춘 순환 트랜스포머(recurrent Transformer) 아키텍처를 활용하여 층과 모달리티 전반의 정보를 동적으로 통합하고, 세밀한 시각적·텍스트적 세부 정보를 포착한다. 우리는 다양한 검색 구성에서 도전적인 M2KR 및 M-BEIR 벤치마크로 ReT-2를 평가한다. 결과는 ReT-2가 다양한 설정 전반에서 일관되게 최고 수준(state-of-the-art)의 성능을 달성하면서, 기존 접근법에 비해 더 빠른 추론과 더 적은 메모리 사용량을 제공함을 보여준다. 또한 검색-증강 생성(RAG) 파이프라인에 통합하면, ReT-2는 Encyclopedic-VQA 및 InfoSeek 데이터셋에서 다운스트림 성능도 향상시킨다. 소스 코드와 학습된 모델은 https://github.com/aimagelab/ReT-2 에서 공개되어 있다.
우리는 처음부터 학습한 6B 디퓨전 트랜스포머(DiT)와 LLaDA2.0-Mini 디퓨전 언어 모델 백본 위에 구축된 고정(frozen) 비전-언어 이해 모듈을 결합한 통합 프레임워크 LLaDA-Image를 소개한다. 처음부터 paired image-text 데이터에 크게 의존하는 대신, 이미지 전용 사전학습과 mid-training을 통해 강력한 시각 생성 사전(prior)을 먼저 구축한다. 생성 파이프라인은 2억 2천만(220M) 개의 샘플로 구성되며, 그 중 98개가 실제 이미지이다. 효율적이고 확장 가능한 최적화를 위해 DiT 전체에 매개변수 없는(parameter-free) RMSNorm과 Muon 옵티마이저를 함께 사용한다. 이렇게 얻은 통합 모델은 고도로 사실적인(photorealistic) 이미지를 생성하면서 세밀한 편집 지시를 정확히 따른다. 또한 LLaDA-Image를 LLaDA-Image-Turbo로 지식 증류(distillation)하여 2–4 샘플링 스텝에서 빠른 추론(inference)을 가능하게 한다. Qwen-Image-Bench에서 LLaDA-Image는 영어 및 중국어 트랙에서 각각 전체 점수 53.53과 53.38을 달성하여, 두 트랙 모두에서 오픈소스 모델 중 새로운 state-of-the-art를 기록한다. 능력 있고 효율적인 생성 모델에 대한 추가 연구를 지원하기 위해 모델 가중치, 학습(training) 코드, 상세 레시피를 공개한다.
The rapid development of generative technology opens up possibility for higher level of automation, and artificial intelligence (AI) embodiment in robotic systems is imminent. However, due to the blackbox nature of the generative technology, the generation of the knowledge and workflow scheme is uncontrolled, especially in a dynamic environment and a complex scene. This poses challenges to regulations in safety-demanding applications such as medical scenes. We argue that the unregulated generative processes from AI is fitted for low level end tasks, but intervention in the form of manual or automated regulation should happen post-workflow-generation and pre-robotic-execution. To address this, we propose a roadmap that can lead to fully automated and regulated robotic systems. In this paradigm, the high level policies are generated as structured graph data, enabling regulatory oversight and reusability, while the code base for lower level tasks is generated by generative models. Our approach aims the transitioning from expert knowledge to regulated action, akin to the iterative processes of study, practice, scrutiny, and execution in human tasks. We identify the generative and deterministic processes in a design cycle, where generative processes serve as a text-based world simulator and the deterministic processes generate the executable system. We propose State Machine Seralization Language (SMSL) to be the conversion point between text simulator and executable workflow control. From there, we analyze the modules involved based on the current literature, and discuss human in the loop. As a roadmap, this work identifies the current possible implementation and future work. This work does not provide an implemented system but envisions to inspire the researchers working on the direction in the roadmap. We implement the SMSL and D-SFO paradigm that serve as the starting point of the roadmap.
임상시험의 개별 환자 데이터(IPD)는 생존 모델링, 메타분석, 안전성 연구의 기반이 되지만 IPD는 거의 공개되지 않는다. 기존 연구는 이 공백의 절반만 다루었다. 발표된 그림에서 Kaplan-Meier(KM) 곡선을 복원하는 것—보통 수동 디지itized화 또는 human-in-the-loop 보정이 필요—을 다루면서, 환자 기록의 나머지 절반을 구성하는 이상반응(adverse-event, AE) 스트림을 생성하는 메커니즘은 제공하지 않았다. 우리는 KMGen을 소개한다. (i) KM 곡선 추출을 완전 자동화하여 사람이 개입하는 도구와 경쟁할 수 있는 정확도를 달성하고, (ii) 공개 임상시험 등록 기록으로부터 환자별 합성 AE 궤적을 생성하는 최초의 end-to-end 프레임워크이다. 추출 단계는 완전 자동화된 에이전트 기반 파이프라인으로, 에이전트가 KM 곡선의 각 단계를 추출하는 코드를 생성하며, 깨끗한 조건, 엣지 케이스, 적대적 조건을 아우르는 32-plot 벤치마크에서 평균 Integrated Absolute Error(IAE) 0.0151을 달성한다. IPD 생성 단계는 환자 아키타입 추출과 통계적 샘플링을 분리한다. LLM이 시험 기록을 무(arm)별 통계, 이상반응, 환자 인구통계, 위험 승수(risk multiplier)로 정제한다. 기계론적(mechanistic) 샘플러는 임상 아키타입, 경험적 KM 곡선에 대한 bootstrap rank-correlation coupling(한계 생존 분포를 정확히 보존), 유도/유지(induction/maintenance) 분할이 있는 주기 기반 AE 스케줄링을 통해 환자 이벤트를 생성한다. 코호트 크기가 한 자릿수 차이로 다양한 세 개의 held-out 종양학 임상시험에서 시험당 30회의 독립 재생성을 수행한 결과, KMGen은 평균 integrated KM absolute difference $Δ_{\text{KM}}\,{\leq}\,0.051$, 6개 인구통계 슬롯 중 5개에서 sex/ECOG JSD ${\leq}\,0.013$, 단일 고정 매개변수 집합 하에서 정확한 MedDRA 용어 기준 상위 15개 AE 중 ${\geq}\,71\%$를 복원한다. 파이프라인은 https://github.com/chufangao/kmgen 에서 오픈 소스로 공개된다.
코드 생성이 AI 시스템에 점점 더 많이 위임됨에 따라, 병목 현상은 코드를 직접 작성하는 것에서 코드를 작성하는 시스템을 감독하는 것으로 이동하고 있으며, 이는 컴퓨터 과학 교육 연구자들이 명명하기 시작한 변화입니다. 이러한 변화는 어휘의 공백을 드러냅니다. 즉, 학계는 위임 채널에서 언어가 수행하는 두 가지 역할, 즉 행동의 조율(사이버네틱: 단어에 맞춰 세상이 변화할 때 성공함)과 이해의 조율(인식론적: 단어가 세상에 부합하고 청자가 이를 검증할 수 있을 때 성공함) 사이의 실질적인 구분 없이 "인간의 감독(human oversight)"만을 요구하고 있습니다. 여기서 지적하는 실패는 사이버네틱 언어 자체가 아니라 사이버네틱 역할을 수행하는 인식론적 형태의 언어, 즉 진실보다는 승인을 얻기 위해 조율된 설명 형태의 출력입니다. 출력이 승인되었는지만 확인하는 감독은 형식적인 승인(rubber-stamping)으로도 만족될 수 있습니다. 에이전트(agent)에게 책임을 묻는 감독은 작업 이면의 추론을 회수하고 검증할 수 있어야 합니다. 본 연구에서는 감사 가능성을 유지하면서도 인식론적 참여가 실현 가능함을 보여주는 세 가지 위임 사례(통제된 실증이 아닌 예시), 권고안이 자체적으로 명시한 조건에 따라 철회된 공개 기록 한 건, 그리고 재량적 선택에 대한 이유를 요구하지 않는 감독을 보여주는 실패 사례 한 건을 제시합니다. 또한 기존의 기술적 신뢰성 특성과 더불어 에이전트 시스템 거버넌스를 위한 기준을 제안합니다. 즉, 모든 중대한 선택은 제3자가 테스트할 수 있는 형태로, 다른 선택을 내렸을 조건을 함께 수반해야 한다는 점입니다. 이러한 조건이 없다면 제3자는 진정한 결정과 형식적인 승인을 구별할 수 없습니다. 본 연구는 이 기준을 실행 가능한 형태, 즉 섭동(perturbation) 하에서 제2의 독자가 에이전트의 행동을 예측할 수 있는지 여부로 위임 기록을 평가하는 2단계 재구성 테스트와 함께, 해당 조건을 기록된 모든 선택의 필수 요소로 만드는 숙고 기록 규약인 ORRCF로 제시합니다.
Directed latent variable models that formulate the joint distribution as $p(x,z) = p(z) p(x \mid z)$ have the advantage of fast and exact sampling. However, these models have the weakness of needing to specify $p(z)$, often with a simple fixed prior that limits the expressiveness of the model. Undirected latent variable models discard the requirement that $p(z)$ be specified with a prior, yet sampling from them generally requires an iterative procedure such as blocked Gibbs-sampling that may require many steps to draw samples from the joint distribution $p(x, z)$. We propose a novel approach to learning the joint distribution between the data and a latent code which uses an adversarially learned iterative procedure to gradually refine the joint distribution, $p(x, z)$, to better match with the data distribution on each step. GibbsNet is the best of both worlds both in theory and in practice. Achieving the speed and simplicity of a directed latent variable model, it is guaranteed (assuming the adversarial game reaches the virtual training criteria global minimum) to produce samples from $p(x, z)$ with only a few sampling iterations. Achieving the expressiveness and flexibility of an undirected latent variable model, GibbsNet does away with the need for an explicit $p(z)$ and has the ability to do attribute prediction, class-conditional generation, and joint image-attribute modeling in a single model which is not trained for any of these specific tasks. We show empirically that GibbsNet is able to learn a more complex $p(z)$ and show that this leads to improved inpainting and iterative refinement of $p(x, z)$ for dozens of steps and stable generation without collapse for thousands of steps, despite being trained on only a few steps.
We propose a new policy representation based on score-based diffusion models (SDMs). We apply our new policy representation in the domain of Goal-Conditioned Imitation Learning (GCIL) to learn general-purpose goal-specified policies from large uncurated datasets without rewards. Our new goal-conditioned policy architecture "$\textbf{BE}$havior generation with $\textbf{S}$c$\textbf{O}$re-based Diffusion Policies" (BESO) leverages a generative, score-based diffusion model as its policy. BESO decouples the learning of the score model from the inference sampling process, and, hence allows for fast sampling strategies to generate goal-specified behavior in just 3 denoising steps, compared to 30+ steps of other diffusion based policies. Furthermore, BESO is highly expressive and can effectively capture multi-modality present in the solution space of the play data. Unlike previous methods such as Latent Plans or C-Bet, BESO does not rely on complex hierarchical policies or additional clustering for effective goal-conditioned behavior learning. Finally, we show how BESO can even be used to learn a goal-independent policy from play-data using classifier-free guidance. To the best of our knowledge this is the first work that a) represents a behavior policy based on such a decoupled SDM b) learns an SDM based policy in the domain of GCIL and c) provides a way to simultaneously learn a goal-dependent and a goal-independent policy from play-data. We evaluate BESO through detailed simulation and show that it consistently outperforms several state-of-the-art goal-conditioned imitation learning methods on challenging benchmarks. We additionally provide extensive ablation studies and experiments to demonstrate the effectiveness of our method for goal-conditioned behavior generation. Demonstrations and Code are available at https://intuitive-robots.github.io/beso-website/
The availability of powerful open-source large language models (LLMs) opens exciting use-cases, such as using personal data to fine-tune these models to imitate a user's unique writing style. Two key requirements for such assistants are personalization - in the sense that the assistant should recognizably reflect the user's own writing style - and privacy - users may justifiably be wary of uploading extremely personal data, such as their email archive, to a third-party service. In this paper, we present a new design and evaluation for such an automated assistant, for the specific use case of email generation, which we call Panza. Panza's personalization features are based on a combination of fine-tuning using a variant of the Reverse Instructions technique together with Retrieval-Augmented Generation (RAG). We demonstrate that this combination allows us to fine-tune an LLM to reflect a user's writing style using limited data, while executing on extremely limited resources, e.g. on a free Google Colab instance. Our key methodological contribution is the first detailed study of evaluation metrics for this personalized writing task, and of how different choices of system components--the use of RAG and of different fine-tuning approaches-impact the system's performance. Additionally, we demonstrate that very little data - under 100 email samples - are sufficient to create models that convincingly imitate humans. This finding showcases a previously-unknown attack vector in language models - that access to a small number of writing samples can allow a bad actor to cheaply create generative models that imitate a target's writing style. We are releasing the full Panza code as well as three new email datasets licensed for research use at https://github.com/IST-DASLab/PanzaMail.
State Space Models (SSMs) are emerging as a compelling alternative to Transformers because of their consistent memory usage and high performance. Despite this, scaling up SSMs on cloud services or limited-resource devices is challenging due to their storage requirements and computational power. To overcome this, quantizing SSMs with low bit-width data formats can reduce model size and benefit from hardware acceleration. As SSMs are prone to quantization-induced errors, recent efforts have focused on optimizing a particular model or bit-width for efficiency without sacrificing performance. However, distinct bit-width configurations are essential for different scenarios, like W4A8 for boosting large-batch decoding speed, and W4A16 for enhancing generation speed in short prompt applications for a single user. To this end, we present Quamba2, compatible with W8A8, W4A8, and W4A16 for both Mamba1 and Mamba2 backbones, addressing the growing demand for SSM deployment on various platforms. Based on the channel order preserving and activation persistence of SSMs, we propose an offline approach to quantize inputs of a linear recurrence in 8-bit by sorting and clustering for input $x$, combined with a per-state-group quantization for input-dependent parameters $B$ and $C$. To ensure compute-invariance in the SSM output, we rearrange weights offline according to the clustering sequence. The experiments show that Quamba2-8B outperforms two state-of-the-art SSM quantization methods and delivers 1.3$\times$ and 3$\times$ speed-ups in the pre-filling and generation stages, respectively, while offering 4$\times$ memory reduction with only a $1.6\%$ average accuracy drop. The evaluation on MMLU shows the generalizability and robustness of our framework. The code and quantized models will be released at: https://github.com/enyac-group/Quamba.
Automatic program repair (APR) aims to reduce the manual efforts required to identify and fix errors in source code. Before the rise of LLM-based agents, a common strategy was to increase the number of generated patches, sometimes to the thousands, to achieve better repair results on benchmarks. More recently, self-iterative capabilities enabled LLMs to refine patches over multiple rounds guided by feedback. However, literature often focuses on many iterations and disregards different numbers of outputs. We investigate an APR pipeline that balances these two approaches, the generation of multiple outputs and multiple rounds of iteration, while imposing a limit of 10 total patches per bug. We apply three SOTA instruction-tuned LLMs - DeepSeekCoder-Instruct, Codellama-Instruct, Llama3.1-Instruct - to the APR task. We further fine-tune each model on an APR dataset with three sizes (1K, 30K, 65K) and two techniques (Full Fine-Tuning and LoRA), allowing us to assess their repair capabilities on two APR benchmarks: HumanEval-Java and Defects4J. Our results show that by using only a fraction (<1%) of the fine-tuning dataset, we can achieve improvements of up to 78% in the number of plausible patches generated, challenging prior studies that reported limited gains using Full Fine-Tuning. However, we find that exceeding certain thresholds leads to diminishing outcomes, likely due to overfitting. Moreover, we show that base models greatly benefit from creating patches in an iterative fashion rather than generating them all at once. In addition, the benefit of iterative strategies becomes more pronounced in complex benchmarks. Even fine-tuned models, while benefiting less from iterations, still gain advantages, particularly on complex benchmarks. The research underscores the need for balanced APR strategies that combine multi-output generation and iterative refinement.
Key-value (KV) cache management through compression and eviction strategies has emerged as an important research direction in recent years. Computational demands of large language models (LLMs) and their multi-modal variants during output generation can be partially alleviated by caching previous key and value calculations needed by subsequent scaled dot-product attention operations. However, this leads to another problem: the size of the resulting KV cache grows linearly with context length and quickly consumes all available GPU memory when either the prompt or the generated output are long. KV cache management periodically prunes entries from the cache thereby reducing its memory footprint while attempting to retain sufficient information for accurate generation. A by-product is faster inference speed. We propose a simple yet effective KV eviction scheme motivated by the insight that past tokens which can be well-predicted from more recent tokens are redundant and their associated keys and values can be removed from the cache. To score entries for eviction we run the model on the tokens in their original order, reusing the key and value representations already stored in the KV cache, and applying a counter-causal attention mask so that each position attends only to its future context. This is in-distribution, tied directly to the actual cache contents, and requires no additional training. To further reduce cost, we additionally propose a fast single-layer approximation that restricts the counter-causal pass to the last transformer layer, achieving a significant speedup per refresh cycle at marginal accuracy cost. We evaluate our strategy on various open-source LLMs and benchmark datasets showing competitive or improved performance over other state-of-the-art methods. Reference code is available at https://github.com/metacognitionai/counter_causal.
Applications in virtual and augmented reality create a demand for rapid creation and easy access to large sets of 3D models. An effective way to address this demand is to edit or deform existing 3D models based on a reference, e.g., a 2D image which is very easy to acquire. Given such a source 3D model and a target which can be a 2D image, 3D model, or a point cloud acquired as a depth scan, we introduce 3DN, an end-to-end network that deforms the source model to resemble the target. Our method infers per-vertex offset displacements while keeping the mesh connectivity of the source model fixed. We present a training strategy which uses a novel differentiable operation, mesh sampling operator, to generalize our method across source and target models with varying mesh densities. Mesh sampling operator can be seamlessly integrated into the network to handle meshes with different topologies. Qualitative and quantitative results show that our method generates higher quality results compared to the state-of-the art learning-based methods for 3D shape generation. Code is available at github.com/laughtervv/3DN.