Large Language Models (LLMs) rely on the Key-Value (KV) Cache to store token history, enabling efficient decoding of tokens. As the KV-Cache grows, it becomes a major memory and computation bottleneck, however, there is an opportunity to alleviate this bottleneck, especially because prior research has shown that only a small subset of tokens contribute meaningfully to each decoding step. A key challenge in finding these critical tokens is that they are dynamic, and heavily input query-dependent. Existing methods either risk quality by evicting tokens permanently, or retain the full KV-Cache but rely on retrieving chunks (pages) of tokens at generation, failing at dense, context-rich tasks. Additionally, many existing KV-Cache sparsity methods rely on inaccurate proxies for token importance. To address these limitations, we introduce TokenButler, a high-granularity, query-aware predictor that learns to identify these critical tokens. By training a light-weight predictor with less than 1.2% parameter overhead, TokenButler prioritizes tokens based on their contextual, predicted importance. This improves perplexity & downstream accuracy by over 8% relative to SoTA methods for estimating token importance. We evaluate TokenButler on a novel synthetic small-context co-referential retrieval task, demonstrating near-oracle accuracy. Code, models and benchmarks: https://github.com/abdelfattah-lab/TokenButler
Extracting relevant information from a stream of high-dimensional observations is a central challenge for deep reinforcement learning agents. Actor-critic algorithms add further complexity to this challenge, as it is often unclear whether the same information will be relevant to both the actor and the critic. To this end, we here explore the principles that underlie effective representations for the actor and for the critic in on-policy algorithms. We focus our study on understanding whether the actor and critic will benefit from separate, rather than shared, representations. Our primary finding is that when separated, the representations for the actor and critic systematically specialise in extracting different types of information from the environment -- the actor's representation tends to focus on action-relevant information, while the critic's representation specialises in encoding value and dynamics information. We conduct a rigourous empirical study to understand how different representation learning approaches affect the actor and critic's specialisations and their downstream performance, in terms of sample efficiency and generation capabilities. Finally, we discover that a separated critic plays an important role in exploration and data collection during training. Our code, trained models and data are accessible at https://github.com/francelico/deac-rep.
대규모 언어 모델(LLM)은 다양한 도메인에서 강력한 추론 능력을 갖춘 파운데이션 모델로 부상하였다. 단순한 반응형 텍스트 생성을 넘어, 에이전트(agentic) LLM은 모듈식 작업 분해와 조율된 도구 사용을 통해 자율적인 워크플로우 실행을 가능하게 한다. 구조공학 분야에서는 최근 평면 프레임의 자동화된 해석을 위한 에이전트 LLM 개발이 이루어졌다. 그러나 3D 프레임으로의 확장은 불규칙한 기하학적 표현, 위상적 일관성, 장기 추론의 어려움으로 인해 아직 충분히 탐구되지 않았다. 본 논문은 자연어 입력으로부터 3D 프레임의 자동화된 구조 해석을 위한 에이전트 LLM 프레임워크를 제안한다. 불규칙한 3D 프레임은 2D 평면도로의 투영을 통해 표현되며, 직교 격자선이 공간 좌표를 정의하고 층수 행렬이 각 격자 셀의 수직 압출을 인코딩한다. 이 표현 방식을 기반으로, 프레임워크는 다중 에이전트 파이프라인을 구성한다: 문제 분석 에이전트가 입력을 구조화된 JSON으로 파싱하고, 바닥 분해 에이전트가 각 층의 공간 배치를 도출하며, 노드(node), 거더, 슬래브, 기둥 에이전트가 3D 기하구조를 조립하고, 지지 및 하중 에이전트가 경계 조건과 하중 조건을 부여하며, 코드 변환 에이전트가 실행 가능한 SAP2000 스크립트를 생성한다. 대표적인 10개의 3D 프레임에 대한 반복 실험 평가에서 제안된 프레임워크는 평균 90%의 정확도를 달성하여 일관되고 신뢰할 수 있는 성능을 입증하였다.
비디오 생성 모델(VGMs)은 비디오 생성뿐만 아니라 월드 모델링(world modeling)을 포함한 다양한 다운스트림 태스크에 활용될 수 있는 새로운 영역이 되었습니다. 이러한 태스크를 발전시키려면 우수한 비디오 모델이 세상의 물리적 현실을 이해해야 합니다. 이러한 이해를 평가하는 것은 새로운 분야로 자리 잡았으며, 모델이 생성한 비디오와 물리적 실험의 실제 비디오를 비교하여 이를 명시적으로 정량화하는 Physics-IQ 벤치마크를 탄생시켰습니다. 본 연구에서는 Physics-IQ 벤치마크에 대한 체계적인 검토를 수행하고 그 한계점을 지적한 뒤, VGM의 물리적 이해도를 측정하는 방식을 개선하는 세 가지 해결책을 제안합니다. 구체적으로, 교란 요인(confounding factors)의 영향을 줄이기 위해 프롬프트와 정답(ground-truth)의 품질을 개선하고, 각 샘플과 지표(metric)에 동일한 가중치를 부여하는 샘플 수준 채점 시스템을 추가로 도입했습니다. 그 결과인 Physics-IQ Verified 벤치마크는 전체 샘플의 57.6%를 정제하고 34.8% 이상의 프롬프트를 개선했습니다. 6개의 이미지-투-비디오(image-to-video) 생성 모델을 사용한 비교 연구에서, 우리는 적당하지만 의미 있는 순위 변화(Kendall's $τ= 0.46$)를 관찰했습니다. 우리는 Physics-IQ Verified가 물리적으로 정확한 VGM을 향한 더 신뢰할 수 있는 신호를 제공하여 연구 커뮤니티의 발전에 기여하기를 바랍니다. 이 벤치마크의 코드는 https://github.com/google-deepmind/physics-iq-benchmark 에서 접근할 수 있습니다.
전통적인 이미지 캡셔닝 방법은 포괄적이고 맥락이 풍부한 설명을 생성하는 데 종종 어려움을 겪으며, 특히 시각적 단서에서 직접 관찰할 수 없는 세부 사항의 경우 그렇습니다. 이를 극복하기 위해 본 연구에서는 외부 지식을 활용하여 객체 속성, 이벤트 맥락, 내재된 의미와 같은 더 깊은 통찰력을 담은 캡션을 생성하는 새로운 검색-증강 이미지 캡셔닝(retrieval-augmented image captioning) 프레임워크를 제안합니다. 제안하는 방법은 단일 텍스트 엔티티(monolithic text entities)를 넘어선 계층적 멀티모달 기사 검색 메커니즘을 특징으로 합니다. 이 검색 방식은 가중치가 부여된 텍스트 구성 요소(예: 헤드라인, 본문 섹션) 및 시각적 배치 패턴과 같은 기사 구조 인식 특징과, 다면적 유사도 계산(콘텐츠-시각, 시각-시각, 담론 위치)을 함께 고려합니다. 이후 맥락적 관련성 정제(contextual relevance refinement) 단계를 통해 검색된 정보를 더욱 향상시킵니다. 검색된 기사는 캡션 생성을 위한 지식 베이스로 활용됩니다. 첫째, 비전-언어 모델(VLM)이 간결한 이미지 설명을 생성합니다. 둘째, 해당 설명을 바탕으로 검색된 기사에서 관련 정보를 추출(segment)합니다. 마지막으로, 대규모 언어 모델(LLM)이 설명과 추출된 지식을 모두 활용하여 포괄적이고 맥락적으로 상세한 캡션을 생성합니다. 본 연구는 ACM Multimedia EVENTA 2025 챌린지에 참여하여 OpenEvent-V1 데이터셋의 프라이빗 테스트 세트에서 전체 점수 0.2824로 5위를 달성했습니다. 소스 코드는 https://github.com/mf0212/EVENTA-Challange에서 공개되어 있습니다.
Normalizing Flow(NF)의 고질적인 용량 병목 문제를 해결하기 위해, MIMFlow은 마스크 이미지 모델링(MIM)을 VAE 인코더와 NF에 엔드-투-엔드로 통합하여 의미론적 잠재 공간 모델링과 고주파 픽셀 합성을 원칙적으로 분리한다. ImageNet 256×256에서 FID 2.50, 선형 프로빙 정확도 71.3%를 달성하며, 128개의 토큰만으로 동규모 NF 기반 모델 대비 32.8% 성능 향상을 보인다.
Multimodal Large Language Models (MLLMs) are critically hampered by hallucination, generating content inconsistent with the provided image. In this paper, we identify an internal signature of hallucination: progressive degradation of text-to-image cross-attention during generation, leading to specific failure patterns like unfocused or biased attention. Existing mitigation strategies are largely outcome-driven and do not explicitly target this failure mode. To address this problem, we propose ADAPT (Attention Dynamics Alignment with Preference Tuning), an attention-based framework that intervenes directly on text-to-image cross-attention dynamics. We propose ADAPT with three key contributions: a cross-attention visual anchor refined from early decoding to provide stable spatial grounding, an attention-supervised inference mechanism that detects and corrects attention drift online, and a Visual Attention Guidance DPO that aligns preferences toward visually grounded responses. Experiments show that each component of ADAPT contributes to hallucination reduction, and the full framework achieves new best results across multiple hallucination benchmarks, reducing hallucination rates by 40%-60% across mainstream backbones while preserving general multimodal capabilities. Our work provides an attention-based perspective on mitigating hallucinations by exploring the model's internal text-to-image cross-attention behaviors. Code is available at https://github.com/yao-ustc/ADAPT
저랭크 적응(LoRA)은 대규모 언어 모델(LLM)의 매개변수 효율적 미세조정을 위한 널리 사용되는 패러다임으로 자리 잡았으나, 표현 역량이 전면 미세조정(full fine-tuning)에 미치지 못하는 경우가 많습니다. LoRA의 맥락에서 핵심적인 미해결 과제는 과매개변수화된 공간으로부터 표현력이 풍부한 저랭크 어댑터를 어떻게 얻을 것인가입니다. 본 논문에서는 과매개변수화된 초기화로부터 대표성이 높은 저랭크 어댑터를 확보하기 위해 구조적 가지치기(structured pruning)를 활용하는 새로운 프레임워크인 \textit{PrunedLoRA}를 제안합니다. 고정된 저랭크 예산을 부과하는 기존 접근 방식과 달리, PrunedLoRA는 미세조정 과정에서 덜 중요한 구성 요소를 동적으로 가지치기하고 이들의 재활성화를 방지함으로써 유연하고 적응적인 랭크 할당을 가능하게 합니다. 구조적 가지치기를 위해, 전체 손실에 대한 가지치기 오차를 최소화함으로써 근거 있는 해석을 갖춘 그래디언트 기반 가지치기 전략에서 세밀한 가지치기 및 복구 업데이트를 제공합니다. 또한 구조적 가지치기의 강건성에 대한 최초의 이론적 분석을 제시하며, 가중치 섭동(weight perturbation)의 영향 하에서 그래디언트 기반 가지치기가 전체 손실 측면에서 활성화 기반 가지치기보다 더 강건함을 증명합니다. 실증적으로 PrunedLoRA는 수학적 추론, 코드 생성, 자연어 이해 분야의 지도 미세조정(SFT) 과제 전반에서 LoRA 및 그 변형 모델들을 지속적으로 능가하며, 다양한 희소성 수준에 걸쳐 기존 구조적 가지치기 방법들에 비해서도 이점을 입증합니다.
에이전트(agent)의 성능 병목 현상은 점차 모델(model)의 역량 자체에서 실행 과정의 강건성(robustness)으로 이동하고 있습니다. 도구(tool)는 에이전트가 외부 환경과 상호작용하는 주요 인터페이스로서 중심적인 역할을 수행하지만, 기존 방법들은 다양한 런타임 환경에서 강건한 도구 사용을 보장하는 데 거의 집중하지 않았습니다. 이러한 문제를 해결하기 위해, 우리는 각 도구의 역량 한계와 모범 사례(best practice)를 포착하는 적응형 지침을 구축하고 개선하여 에이전트가 도구를 더욱 강건하고 효과적으로 사용할 수 있도록 지원하는 메커니즘인 ExpG를 제안합니다. ExpG는 세 단계로 구성됩니다: (1) 이전 실행 궤적에서 도구 호출 품질을 분석하고 다각적 귀인을 통해 구조화된 학습 가능 경험을 생성하는 경험 획득(experience acquisition), (2) 도움이 되지 않는 경험을 필터링하고 동치 관계 기반 방법으로 대표적인 경험을 선별하여 일반화 가능한 지침으로 요약함으로써 경험 풀의 유효성을 유지하는 경험 증류(experience distillation), (3) 향후 작업 해결 과정에서 해당 지침을 적응적으로 적용하는 경험 재사용(experience reuse)입니다. 광범위한 실험을 통해 ExpG가 도구 선택, 도구 호출, 응답 생성 작업 전반에 걸쳐 일관된 성능 향상을 가져오며, ExpG를 사용하지 않는 대형 에이전트보다 더 작은 에이전트가 우수한 성능을 발휘할 수 있음을 보여줍니다. 또한, ExpG는 도전적인 환경에서 특히 강력한 성능 향상을 달성하여 더욱 강건한 도구 사용을 향한 유망한 경로를 제시합니다. 우리의 코드, 실험 및 결과는 공개되어 있습니다.
플로우 매칭(Flow Matching) 모델, 특히 강화학습(RL)을 활용한 최근의 발전은 퓨샷/소수 단계(few-step) 텍스트-이미지 생성기에서 인간 선호도 정렬(human preference alignment)을 크게 향상시켰습니다. 그러나 플로우 매칭 모델을 위한 기존 강화학습 기반 접근법은 일반적으로 수많은 노이즈 제거(denoising) 단계에 의존하며, 희소하고 부정확한 보상 신호로 인해 차선의 정렬 결과를 초래하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 플로우 매칭 텍스트-이미지 모델을 인간 선호도에 잘 정렬된 효율적인 소수 단계 생성기로 학습시키기 위한 새로운 프레임워크인 TAFS-GRPO(Temperature-Annealed Few-step Sampling with Group Relative Policy Optimization)를 제안합니다. 제안하는 방법은 1단계의 클린 예측에 적응형 시간 의존 노이즈를 반복적으로 주입합니다. 모델의 샘플링된 출력을 반복적으로 어닐링함으로써, 생성된 각 이미지의 의미론적 무결성을 보존하면서 샘플링 과정에 확률성을 도입합니다. 또한, 스텝 인식 어드밴티지(step-aware advantage) 통합 메커니즘은 GRPO와 온도 어닐링 샘플링을 결합하여 미분 가능한 보상 함수에 대한 필요성을 없애고 안정적인 정책 최적화(policy optimization)를 위한 조밀하고 스텝별로 특화된 보상을 제공합니다. 광범위한 실험을 통해 TAFS-GRPO가 소수 단계 텍스트-이미지 생성에서 강력한 성능을 달성하고 생성된 이미지와 인간 선호도의 정렬을 크게 향상함을 입증합니다. 본 연구의 코드와 모델은 후속 연구를 촉진하기 위해 공개될 예정입니다.
현재 엔드투엔드 음성 대화 모델은 주로 주요 언어에 최적화되어 있어, 방언 음성 데이터의 부족으로 인해 저자원 방언 시나리오에서는 여전히 한계가 있습니다. 또한 방언 적응 과정에서 음성 대화 모델의 의미 표상 공간은 지속적으로 진화하는 반면, 기존의 음성 지도(supervision) 방식은 그대로 유지되어 은닉 표상과 음성 타깃 간의 의미적 불일치를 초래하고 음성의 안정성과 자연스러움을 저하시킵니다. 이러한 문제를 해결하기 위해, 본 논문에서는 중국어 방언을 위한 엔드투엔드 음성 대화 모델인 DialectS2S를 제안합니다. 먼저 효율적인 데이터 구축을 위해 확장 가능한 방언 음성 대화 합성 파이프라인을 개발합니다. 나아가 자기 정렬 음성 지도 방식을 적용한 2단계 사후 학습(post-training) 전략을 도입하여, 음성 지도의 의미적 내용을 모델의 진화된 의미 표상과 정렬함으로써 방언 음성 생성 품질을 향상시킵니다. 실험 결과에 따르면 DialectS2S는 음성 대화에서 여러 중국어 방언에 걸쳐 기존 베이스라인을 일관되게 능가하며, 방언 일관성, 응답 품질, 음성 명료도 측면에서 상당한 향상을 달성했습니다. 본 연구는 저자원 방언 시나리오에서 엔드투엔드 음성 대화 모델링을 위한 효율적이고 확장 가능한 설루션을 제공합니다. 향후 연구와 실질적인 응용을 촉진하기 위해 모델 체크포인트, 학습 데이터셋, 미세조정(fine-tuning) 코드를 포함한 DialectS2S 프레임워크를 완전히 오픈소스로 공개합니다.
손가락 정맥 인식의 주요 과제는 대규모 공개 데이터셋이 부족하다는 점이다. 기존 데이터셋은 식별 대상(identity) 수가 적고 손가락당 샘플 수도 제한적이어서, 심층 학습 기반 방법의 발전을 제약한다. 이를 해결하기 위해 본 논문은 손가락 정맥을 위한 대규모 제어 가능 합성 데이터 생성 프레임워크인 FVeinSyn을 제안한다. FVeinSyn은 혈관 위상(vascular topology)의 합성과 이미징 외관(imaging appearance)의 합성을 명시적으로 분리하여, 학습 샘플 부족으로 인해 발생하는 식별 대상 다양성 부족 및 사실성 제한과 같은 한계를 완화한다. 구체적으로, 먼저 손가락 정맥 식별 대상 생성기가 확률적 L-시스템(stochastic L-systems)을 사용하여 생리학적·기하학적 제약 조건 하에서 혈관 위상을 모델링하며, 해부학적으로 유효하고 식별 대상별로 구별되는 혈관 패턴을 생성한다. 그다음 캐스케이드 방식의 영역 인식(region-aware) 생성적 적대 신경망이 위상 맵을 사실적인 근적외선 이미지로 렌더링한다. 마지막으로 클래스 내 다양성 생성기가 기하학적·광학적 섭동을 도입하여 현실적인 클래스 내 변이를 시뮬레이션한다. FVeinSyn을 사용하여 50만 장의 이미지(정맥 식별 대상 10,000개, 식별 대상당 50개 샘플)를 생성하고 폭넓은 평가를 수행했다. 결과는 FVeinSyn이 사실성, 식별 대상 다양성, 혈관 패턴 일관성, 클래스 내 다양성 측면에서 상당한 이점을 가짐을 보여준다. FVeinSyn으로 학습한 모델은 8개 공개 데이터셋 전반에서 실제 데이터만 사용한 베이스라인보다 우수한 성능을 보였으며, 평균 정확도가 27.43% 향상되었다. 코드는 https://github.com/EvanWang98/Synthetic-Finger-Vein-Generator 에서 확인할 수 있다.
멤버십 추론 공격(Membership Inference Attack, MIA)은 주어진 텍스트가 모델의 학습 코퍼스에 포함되었는지를 판별하는 것을 목표로 하며, 대규모 언어 모델(LLM)의 프라이버시 위험을 감사하는 핵심 도구로 부상했다. 그러나 기존 MIA의 대부분은 토큰별 로짓(logit) 또는 확률에 대한 접근을 요구하기 때문에, 텍스트 연속 생성 결과만 노출하는 상용(proprietary) LLM에는 실제로 적용할 수 없다. 충분히 연구되지 않은 이 설정을 다루기 위해, 우리는 엄격한 블랙박스 프라이버시 감사를 위한 통계적으로 원리에 기반한 MIA인 Word-level Probability MIA(WPMIA)를 제안한다. WPMIA는 국소 커널 평활(local kernel smoothing)을 결합한 몬테카를로 샘플링으로 단어 수준의 생성 확률을 추정한 뒤, 이 추정치들을 시퀀스 수준의 가능도 추정량으로 집계한다. 나아가 WPMIA는 서로 다른 프리픽스(prefix)를 조건으로 하는 가능도를 구성함으로써 멤버와 비멤버 간의 분포 차이를 증폭한다. 우리는 다양한 오픈소스 LLM에서 WPMIA를 평가하였으며, 기존 블랙박스 베이스라인을 일관되게 능가함을 확인했다. 또한 GPT-5-Chat, Gemini-2.5-Flash, Claude-4.5-Haiku를 포함한 최신 상용 LLM에서도 WPMIA를 평가하여, 이들 모델 전반에서 평균 TPR@5%FPR 42.0을 달성했다. 이러한 결과는 향후 엄격한 블랙박스 멤버십 추론 연구를 위한 탄탄한 토대를 제공한다. 코드는 \href{https://github.com/niusj03/WPMIA}{https://github.com/niusj03/WPMIA}에서 확인할 수 있다.
가중치(weight), 활성화(activation), KV 캐시를 동시에 양자화(quantization)할 때 극단적인 저비트 대규모 언어 모델(LLM) 압축은 가장 까다로워집니다. 이들의 분포가 서로 다르고, 양자화 오차가 네트워크 전반에 걸쳐 상호작용하기 때문입니다. 본 논문에서는 소스 정규형화(canonicalization)와 태스크 인식 적응을 분리하여 이러한 문제를 해결하는 통합 양자화 인식 학습(QAT) 프레임워크인 CanonQ를 소개합니다. 고정된 회전 및 에너지 정규화(normalization)를 통해 서로 다른 텐서(tensor) 소스를 표준 좌표로 매핑함으로써, 고정된 가우시안 참조 코드북을 여러 레이어와 모델에 걸쳐 재사용할 수 있도록 합니다. 그런 다음 결합 학습을 통해 공통 스칼라/벡터 인터페이스 내에서 가중치, 활성화, 캐시 양자화의 결합된 오차에 네트워크를 적응시킵니다. 본 연구는 고정 코드북 전이 오차와 국소 태스크 손실(loss)의 한계를 유도하고, 양자화 왜곡을 그래디언트(gradient) 바이어스(bias)와 연결하는 정확한 정규화 인식 스트레이트-스루(straight-through) 야코비안(Jacobian)을 도출합니다. 가장 큰 성능 향상은 공동 W2A4KV2 압축에서 나타납니다. LLaMA3-1B/3B/8B 전반에서 CanonQ-Omni는 기존 SOTA 및 대표적인 양자화 기준선(baseline) 대비 최대 14.28배 낮은 WikiText-2 펄플렉서티(perplexity)와 최대 57.9% 높은 평균 제로샷(zero-shot) 정확도를 달성합니다. 이러한 이점은 Qwen3-1.7B, 코드 생성, 수학적 추론으로도 확장되어, W2A16KV16 설정의 인스트럭션 튜닝(instruction tuning)된 MobileLLM-Pro-1B에서 CanonQ는 가장 강력한 평가 대상 양자화 기준선 대비 HumanEval pass@1에서 41.7%, GSM8K 정확 일치(exact match)에서 39.1%의 상대적 향상을 달성합니다.
Neural Architecture Search (NAS) that aims to automate the procedure of architecture design has achieved promising results in many computer vision fields. In this paper, we propose an AdversarialNAS method specially tailored for Generative Adversarial Networks (GANs) to search for a superior generative model on the task of unconditional image generation. The AdversarialNAS is the first method that can search the architectures of generator and discriminator simultaneously in a differentiable manner. During searching, the designed adversarial search algorithm does not need to comput any extra metric to evaluate the performance of the searched architecture, and the search paradigm considers the relevance between the two network architectures and improves their mutual balance. Therefore, AdversarialNAS is very efficient and only takes 1 GPU day to search for a superior generative model in the proposed large search space ($10^{38}$). Experiments demonstrate the effectiveness and superiority of our method. The discovered generative model sets a new state-of-the-art FID score of $10.87$ and highly competitive Inception Score of $8.74$ on CIFAR-10. Its transferability is also proven by setting new state-of-the-art FID score of $26.98$ and Inception score of $9.63$ on STL-10. Code is at: \url{https://github.com/chengaopro/AdversarialNAS}.
Despite its importance in both industrial and service robotics, mobile manipulation remains a significant challenge as it requires a seamless integration of end-effector trajectory generation with navigation skills as well as reasoning over long-horizons. Existing methods struggle to control the large configuration space, and to navigate dynamic and unknown environments. In previous work, we proposed to decompose mobile manipulation tasks into a simplified motion generator for the end-effector in task space and a trained reinforcement learning agent for the mobile base to account for kinematic feasibility of the motion. In this work, we introduce Neural Navigation for Mobile Manipulation (N$^2$M$^2$) which extends this decomposition to complex obstacle environments and enables it to tackle a broad range of tasks in real world settings. The resulting approach can perform unseen, long-horizon tasks in unexplored environments while instantly reacting to dynamic obstacles and environmental changes. At the same time, it provides a simple way to define new mobile manipulation tasks. We demonstrate the capabilities of our proposed approach in extensive simulation and real-world experiments on multiple kinematically diverse mobile manipulators. Code and videos are publicly available at http://mobile-rl.cs.uni-freiburg.de.
While some powerful neural network architectures (e.g., Transformer, Graph Neural Networks) have achieved improved performance in sequential recommendation with high-order item dependency modeling, they may suffer from poor representation capability in label scarcity scenarios. To address the issue of insufficient labels, Contrastive Learning (CL) has attracted much attention in recent methods to perform data augmentation through embedding contrasting for self-supervision. However, due to the hand-crafted property of their contrastive view generation strategies, existing CL-enhanced models i) can hardly yield consistent performance on diverse sequential recommendation tasks; ii) may not be immune to user behavior data noise. In light of this, we propose a simple yet effective Graph Masked AutoEncoder-enhanced sequential Recommender system (MAERec) that adaptively and dynamically distills global item transitional information for self-supervised augmentation. It naturally avoids the above issue of heavy reliance on constructing high-quality embedding contrastive views. Instead, an adaptive data reconstruction paradigm is designed to be integrated with the long-range item dependency modeling, for informative augmentation in sequential recommendation. Extensive experiments demonstrate that our method significantly outperforms state-of-the-art baseline models and can learn more accurate representations against data noise and sparsity. Our implemented model code is available at https://github.com/HKUDS/MAERec.
Knowledge Distillation (KD) is a promising technique for reducing the high computational demand of large language models (LLMs). However, previous KD methods are primarily applied to white-box classification models or training small models to imitate black-box model APIs like ChatGPT. How to effectively distill the knowledge of white-box LLMs into small models is still under-explored, which becomes more important with the prosperity of open-source LLMs. In this work, we propose a KD approach that distills LLMs into smaller language models. We first replace the forward Kullback-Leibler divergence (KLD) objective in the standard KD approaches with reverse KLD, which is more suitable for KD on generative language models, to prevent the student model from overestimating the low-probability regions of the teacher distribution. Then, we derive an effective optimization approach to learn this objective. The student models are named MiniLLM. Extensive experiments in the instruction-following setting show that MiniLLM generates more precise responses with higher overall quality, lower exposure bias, better calibration, and higher long-text generation performance than the baselines. Our method is scalable for different model families with 120M to 13B parameters. Our code, data, and model checkpoints can be found in https://github.com/microsoft/LMOps/tree/main/minillm.
Diffusion models excel at generating photo-realistic images but come with significant computational costs in both training and sampling. While various techniques address these computational challenges, a less-explored issue is designing an efficient and adaptable network backbone for iterative refinement. Current options like U-Net and Vision Transformer often rely on resource-intensive deep networks and lack the flexibility needed for generating images at variable resolutions or with a smaller network than used in training. This study introduces LEGO bricks, which seamlessly integrate Local-feature Enrichment and Global-content Orchestration. These bricks can be stacked to create a test-time reconfigurable diffusion backbone, allowing selective skipping of bricks to reduce sampling costs and generate higher-resolution images than the training data. LEGO bricks enrich local regions with an MLP and transform them using a Transformer block while maintaining a consistent full-resolution image across all bricks. Experimental results demonstrate that LEGO bricks enhance training efficiency, expedite convergence, and facilitate variable-resolution image generation while maintaining strong generative performance. Moreover, LEGO significantly reduces sampling time compared to other methods, establishing it as a valuable enhancement for diffusion models. Our code and project page are available at https://jegzheng.github.io/LEGODiffusion.
Existing single-modal and multi-modal salient object detection (SOD) methods focus on designing specific architectures tailored for their respective tasks. However, developing completely different models for different tasks leads to labor and time consumption, as well as high computational and practical deployment costs. In this paper, we attempt to address both single-modal and multi-modal SOD in a unified framework called UniSOD, which fully exploits the overlapping prior knowledge between different tasks. Nevertheless, assigning appropriate strategies to modality variable inputs is challenging. To this end, UniSOD learns modality-aware prompts with task-specific hints through adaptive prompt learning, which are plugged into the proposed pre-trained baseline SOD model to handle corresponding tasks, while only requiring few learnable parameters compared to training the entire model. Each modality-aware prompt is generated from a switchable prompt generation block, which adaptively performs structural switching based on single-modal and multi-modal inputs without human intervention. Through end-to-end joint training, UniSOD achieves overall performance improvement on 14 benchmark datasets for RGB, RGB-D, and RGB-T SOD, which demonstrates that our method effectively and efficiently unifies single-modal and multi-modal SOD tasks.The code and results are available at https://github.com/Angknpng/UniSOD.