Transferring Pre-trained Multimodal Representations with Cross-modal Similarity Matching
원문 초록
Despite surprising performance on zero-shot transfer, pre-training a large-scale multimodal model is often prohibitive as it requires a huge amount of data and computing resources. In this paper, we propose a method (BeamCLIP) that can effectively transfer the representations of a large pre-trained multimodal model (CLIP-ViT) into a small target model (e.g., ResNet-18). For unsupervised transfer, we introduce cross-modal similarity matching (CSM) that enables a student model to learn the representations of a teacher model by matching the relative similarity distribution across text prompt embeddings. To better encode the text prompts, we design context-based prompt augmentation (CPA) that can alleviate the lexical ambiguity of input text prompts. Our experiments show that unsupervised representation transfer of a pre-trained vision-language model enables a small ResNet-18 to achieve a better ImageNet-1K top-1 linear probe accuracy (66.2%) than vision-only self-supervised learning (SSL) methods (e.g., SimCLR: 51.8%, SwAV: 63.7%), while closing the gap with supervised learning (69.8%).
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상
UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm
멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.
Augustinian BabyLM: 시범적 정의가 소형 언어 모델에 가르칠 수 있는 것과 없는 것
Augustinian BabyLM: What Ostensive Definition Can and Cannot Teach a Small Language Model
언어 모델은 보통 무작위 단어 임베딩으로 학습을 시작한다. 'banana'가 무엇을 의미하는지는 반드시 학습 코퍼스에서 배워야 한다. 나는 성 아우구스티누스의 단어 학습 관—지시(ostension)를 통한 의미 부여—를 1천만 단어로 학습한 소형 마스크드 언어 모델(DeBERTa)에 구현한다. 학습 전에 시각적으로 그라운딩된 토큰은 자신이 라벨하는 이미지 영역에서 유도한 임베딩을 받고, 다른 토큰은 무작위로 시작한다. 시각적 초기화는 학습 종료 시점까지 지속되는 측정 가능한 흔적을 남긴다. 한편 추상적 문법 지식을 탐색하는 대부분의 BabyLM 벤치마크에서는 그 효과가 드러나지 않으며, 시각적 초기화는 그곳에서 성능에 영향을 주지 않는다. 유일한 제로샷 예외는 객체-속성 지식(COMPS)으로, 모든 구성에서 시딩(seeding)이 도움이 된다. 이 결과를 이어가기 위해, 색·재질·크기·형태 지식을 시험하고 항목별 학습 빈도와 시드 여부를 포함한 Visual-Property Swap 벤치마크의 코퍼스 맞춤 버전을 구축한다. 여기서 시각 시드(vision-seeded) 모델은 지속적이고 시드가 재현되는 이점을 보인다. 기능어와 추상 어휘도 강한 시각 시드를 받아 학습 내내 유지하며, 학습 목적 함수가 이를 활용한다. 모든 시드에서 이 단어들에 대한 홀드아웃 마스크 예측 손실이 감소한다. 그러나 내가 실행한 어떤 벤치마크도 이를 포착하지 못한다. 이를 잡아낼 평가가 무엇인지는 여전히 열린 질문이다.
LC-SEPLM: 서열 전용 단백질 표현 학습을 위한 장거리 접촉 지도 적응
LC-SEPLM: long-range contact-supervised adaptation for sequence-only protein representation learning
단백질 언어 모델은 전이 가능한 서열 표현을 학습한다. 그러나 이들은 주로 아미노산 서열을 따른 문맥적 의존성을 모델링하기 때문에, 학습 목표가 접힘(folding) 이후 형성되는 3차원 잔기(residue) 접촉을 명시적으로 학습하도록 모델을 제약하지 않는다. 본 연구에서는 LC-SEPLM(Long-range Contact-supervised ESM Protein Language Model)을 제안한다. 이는 LoRA와 장거리 잔기 쌍 접촉 지도를 통해 ESM2를 적응시키면서 서열 전용 하류 추론을 유지한다. 쌍 특이적(pair-specific) 쿼리는 전체 서열에 대한 크로스 어텐션(cross-attention)을 사용하여 장거리 공간 접촉과 연관된 전역 서열 문맥을 추출한다. 다양한 구조 정보에 모델을 노출하기 위해, 우리는 500,000개의 AlphaFold Swiss-Prot 단백질로 LC-SEPLM을 학습했다. 하류 평가에서 LC-SEPLM은 ESM2 대비 8개의 단백질 수준 과제 모두에서 성능을 개선했다. 가장 큰 향상은 원격 상동성(remote-homology) 인식에서 나타났으며, macro-F1은 0.6122에서 0.6769(+0.0647, 즉 6.47 percentage points)로 증가했다. 공식 ESM-S EC 벤치마크에서도 LC-SEPLM은 ESM-S를 능가했으며, 최대 절대 향상은 0.1771이었다. 이러한 결과는 서열 전용 추론을 유지하면서 단백질 서열 표현에 구조 정보를 도입하는 제한적 경로로서 잔기 쌍 접촉 지도를 뒷받침한다.
언어에서의 JEPA 역설: 언어적 대안의 기하학
The JEPA Paradox in Language: The Geometry of Linguistic Alternatives
Joint-Embedding Predictive Architectures(JEPA)는 이미지, 비디오, 오디오에서 효과적이지만, 결정론적 JEPA 스타일의 잠재 예측은 텍스트 인코더의 표준 목적 함수가 되지 못했다. 우리는 이러한 격차가 제곱 오차 기반 잠재 예측과 언어의 조건부 구조 사이의 불일치를 반영한다고 주장한다. 핵심 요구사항은 조건부 집중(conditional concentration)이다: 컨텍스트와 타겟 위치가 주어졌을 때, 타겟 표현은 단일한 의미 있는 점 근처에 위치해야 한다. 지역적 이미지 예측은 공간적 연속성을 통해 이를 종종 만족시키지만, 마스킹된 텍스트는 여러 유효한 토큰 또는 스팬(span) 완성을 허용할 수 있으며, 이들의 표현이 일관된 중심을 공유할 필요가 없다. 우리는 예측 가능성(predictability), 붕괴 방지(non-collapse), 낮은 조건부 분산(low conditional variance)의 세 가지 조건을 통해 이 불일치를 형식화하고, 이들의 실패가 텍스트에서 중심점 퇴화(centroid degeneracy)와 붕괴 압력(collapse pressure)을 어떻게 만드는지 보인다. 매칭된 I-JEPA 및 T-JEPA 실험은 예측된 순서를 드러낸다: 상호 정보량(mutual-information) 포화와 높아진 타겟 분산이 학습-검증 불안정성, 유효 랭크(effective-rank) 퇴화, 코사인 붕괴(cosine collapse), 낮은 다운스트림 전이 성능에 앞선다. 동일한 패턴은 5개의 독립적인 데이터 시드(seed)에서 나타나며, 이는 샘플링 아티팩트가 아님을 나타낸다. 이 결과는 언어에 대한 예측 학습을 배제하지 않는다; 이들은 텍스트 호환 JEPA 목적 함수가 여러 그럴듯한 완성을 단일 잠재 점으로 압축하기보다 보존해야 함을 보여준다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
토론
이 논문과 연결된 포럼 글이 아직 없습니다.