PARMESAN: Parameter-Free Memory Search and Transduction for Dense Prediction Tasks
원문 초록
This work addresses flexibility in deep learning by means of transductive reasoning. For adaptation to new data and tasks, e.g., in continual learning, existing methods typically involve tuning learnable parameters or complete re-training from scratch, rendering such approaches unflexible in practice. We argue that the notion of separating computation from memory by the means of transduction can act as a stepping stone for solving these issues. We therefore propose PARMESAN (parameter-free memory search and transduction), a scalable method which leverages a memory module for solving dense prediction tasks. At inference, hidden representations in memory are being searched to find corresponding patterns. In contrast to other methods that rely on continuous training of learnable parameters, PARMESAN learns via memory consolidation simply by modifying stored contents. Our method is compatible with commonly used architectures and canonically transfers to 1D, 2D, and 3D grid-based data. The capabilities of our approach are demonstrated at the complex task of continual learning. PARMESAN learns by 3-4 orders of magnitude faster than established baselines while being on par in terms of predictive performance, hardware-efficiency, and knowledge retention.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공격적 언어 탐지의 교차 도메인 일반화 비용
The Cross-Domain Generalization Cost of Offensive Language Detection
공격적 언어 탐지 모델은 일반적으로 데이터셋 간 및 언어 간에 배포될 때 성능 저하를 겪지만, 기존 연구의 대부분은 이 현상을 보고하는 데 그치며, 성능 저하의 원인을 기여 요인으로 분해하고 개선 비용을 정량화하는 체계적인 방법론이 부족하다. 본 논문은 세 가지 조율된 기술 구성 요소로 이루어진 진단 및 최적화 프레임워크를 제안한다. 첫째, OLID에서 MLMA로의 제로샷(zero-shot) 전이 손실 분해로, 성능 저하를 데이터셋 효과와 언어 효과라는 두 가지 독립적으로 측정 가능한 구성 요소로 분리한다. 둘째, 지속적 미세조정과 콜드스타트(cold-start) 시작점에서의 퓨샷(few-shot) 학습 곡선을 비교하여 적응 효율성과 원본 과제에 가해지는 숨겨진 손상을 모두 정량화하는 통제된 미세조정 프로토콜. 셋째, 온도 샘플링(temperature sampling)과 경험 재생(experience replay)을 포함하는 세 가지 공동 학습(joint training) 전략으로, 다국어 능력 향상과 원본 과제 성능 보존 사이의 조절 가능한 파레토(Pareto) 트레이드오프를 제공한다. 이 프레임워크를 기반으로 한 실험은 데이터셋 효과가 제로샷 전이 손실을 지배하며 언어 효과를 실질적으로 능가함을 보여준다. 재생(replay) 메커니즘이 없는 퓨샷 적응은 데이터 효율적이지만, 공동 학습 전략에 비해 원본 과제 손상을 4~9배 더 가하며, 그 손상의 크기는 매우 불안정하다. 세 가지 공동 학습 전략은 원본 과제 성능 3.2~4.1%p를 다국어 능력 향상 8.1~42.6%p와 교환하며, 명확하고 조절 가능한 파레토 트레이드오프를 형성한다.
소수 샘플 클래스 점진적 학습을 위한 지역적 단축 완화
Alleviating Regional Shortcuts for Few-Shot Class-Incremental Learning
소수 샘플 클래스 점진적 학습(FSCIL)은 기본 클래스를 잊지 않으면서 소수의 샘플만으로 새로운 클래스를 점진적으로 학습하는 것을 목표로 한다. 그러나 현재 방법들은 새로운 클래스 샘플을 기본 클래스로 잘못 분류하는 경향을 보이며, 우리는 이것이 새로운 클래스 샘플에서 기본 클래스를 구별하는 영역에 과도하게 집중하기 때문임을 발견했다. 본 연구에서는 해석과 해결을 위한 근본 메커니즘을 탐구한다. 먼저 새로운 클래스 샘플에서 전이되고 재사용되는 공간적 패턴을 분석하기 위한 구성적(compositional) 관점을 제시한다. 이어서 광범위한 실험과 이론적 분석을 통해, 모델의 기본 클래스 학습에 단축(shortcut)이 존재하며, 이것이 자연스럽게 가장 구별력 있는 영역(primitive)에만 과도하게 집중하는 현상을 형성함을 경험적·이론적으로 확인한다. 우리는 이를 지역적 단축(regional shortcut)이라고 부른다. 마지막으로, 이 해석에 기반하여 이 문제를 해결하기 위해 두 primitive 집합(공통 집합과 구별적 집합)을 학습하는 구성적 학습(compositional learning) 기반 방법을 제안한다. 이 방법은 모델이 기본 클래스와 새로운 클래스 인식을 위해 공통 primitive 집합을 학습하고 활용하도록 제약함으로써 지역적 단축을 완화한다. 표준 FSCIL 벤치마크에 대한 광범위한 실험은 우리 접근법의 효과를 보여주며, 정확도와 해석 가능성 모두에서 기존 최첨단 방법 대비 일관된 성능 향상을 달성한다.
그래프-테이블 정렬을 통한 놀랍도록 단순하고 효과적인 다중 도메인 그래프 파운데이션 모델
Surprisingly Simple and Effective Multi-Domain Graph Foundation Model through Graph-to-Table Alignment
그래프 파운데이션 모델(GFM)은 다양한 그래프 도메인에 걸쳐 전이 가능한 표현을 학습하는 유망한 패러다임으로 부상하고 있다. GFM의 최근 발전은 그래프 신경망(neural network)과 대규모 언어 모델(LLM) 기반 방법이라는 두 패러다임이 주도해 왔다. 그러나 이러한 방법들은 제한된 데이터로의 학습(training)과 텍스트 속성에 대한 과도한 의존 사이의 근본적인 딜레마에 직면하는 경우가 많다. 테이블형 파운데이션 모델(TFM)은 노드(node) 피처와 표현을 자연스럽게 테이블 형태로 구성할 수 있다는 점에서 잠재적인 대안을 제공한다. 그러나 TFM이 그래프의 구조적 정보를 효과적으로 포착할 수 있도록 하는 방법은 아직 충분히 탐구되지 않았다. 핵심 과제는 TFM의 그래프 구조 이해를 가능하게 하는 그래프-테이블 정렬 메커니즘을 학습하는 것이다. 이를 해결하기 위해 우리는 텍스트 불필요 그래프 파운데이션 모델을 위한 놀랍도록 단순하면서도 효과적인 그래프-테이블 정렬 프레임워크인 GTAlign을 제안한다. 구체적으로, 먼저 다양한 그래프를 통합된 잠재 공간에 매핑하여 도메인 불가지론적 그래프 표현을 포착하는 그래프 인코더를 사전학습(pre-training)한다. 그래프 위상과 테이블형 표현 공간 사이의 간극을 추가로 좁히기 위해, 그래프 커뮤니티에서 도출된 의사 레이블을 사용하여 퓨샷(few-shot) 예측 에피소드를 구성하는 커뮤니티 유도 연속 사전학습을 제안한다. 마지막으로 그래프 인코더를 미지의 타깃 도메인에 적응시키고 문맥 내 학습(ICL) 방식으로 추론(inference)을 수행한다. 5개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 GTAlign이 노드 및 그래프 분류(classification) 모두에서 최신 기준 모델(baseline)을 크게 능가함을 보여주며, 단순하고 효과적인 텍스트 불필요 GFM 모델임을 입증한다. 코드는 논문 게재 승인 후 공개될 예정이다.
Surprise as a Signal for Plasticity and Metacognition
The CRISTAL Method: Neurosymbolic analysis from AI-synthesized world models
RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.