What Makes Two Language Models Think Alike?
원문 초록
Do architectural differences significantly affect the way models represent and process language? We propose a new approach, based on metric-learning encoding models (MLEMs), as a first step to answer this question. The approach provides a feature-based comparison of how any two layers of any two models represent linguistic information. We apply the method to BERT, GPT-2 and Mamba. Unlike previous methods, MLEMs offer a transparent comparison, by identifying the specific linguistic features responsible for similarities and differences. More generally, the method uses formal, symbolic descriptions of a domain, and use these to compare neural representations. As such, the approach can straightforwardly be extended to other domains, such as speech and vision, and to other neural systems, including human brains.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Prompt-S6와 시맨틱 인식 지식 가이던스를 활용한 다중 모달 객체 재식별
Multi-Modal Object Re-Identification with Prompt-S6 and Semantic-Aware Knowledge Guidance
다중 모달 객체 재식별(ReID)은 여러 모달리티의 상보적 정보를 통합하여 특정 객체를 검색하는 것을 목표로 한다. 그러나 기존 다중 모달 ReID 방법은 배경 간섭 억제나 삼중 모달 정렬을 효과적으로 다루지 못하고, 대신 쌍별 특징 융합에 집중한다. 또한 현재 많은 집계 접근법은 높은 계산 복잡도를 겪는다. 이러한 한계를 해결하기 위해, 우리는 Prompt-S6(PS6)와 시맨틱 인식 지식 가이던스를 기반으로 한 새로운 다중 모달 ReID 프레임워크인 PRISM을 제안한다. PS6는 Mamba의 선형 복잡도와 강력한 시퀀스 모델링 능력을 유지하면서 효율적인 교차 모달 상호작용을 가능하게 한다. 이러한 장점을 활용하여, 우리는 두 가지 핵심 구성 요소인 시맨틱 기반 토큰 가지치기(Semantic-Driven Token Pruning, SDTP)와 점진적 융합 네트워크(Progressive Fusion Network, PFN)를 설계한다. 분할 기반 모델(segmentation foundation models)에서 시맨틱 사전 정보를 파싱한 SDTP는 이 사전 정보를 활용하고 동적 토큰 가지치기를 적용하여 배경 노이즈를 억제하고 특징 표현을 정제한다. PFN은 다중 모달 특징을 점진적으로 집계하여 삼중 모달 정렬을 달성하고 모달리티 상보성을 충분히 활용한다. 제안된 모듈을 통해 PRISM은 복잡한 시나리오에서 더 견고한 다중 모달 표현을 생성한다. 네 가지 다중 모달 객체 ReID 벤치마크에 대한 광범위한 실험은 우리 접근법의 효과와 효율성을 입증한다. 소스 코드는 https://github.com/zw-absin/PRISM 에서 이용 가능하다.
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
Differential Mamba
FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation
MambaFusion: Height-Fidelity Dense Global Fusion for Multi-modal 3D Object Detection
MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture
토론
이 논문과 연결된 포럼 글이 아직 없습니다.