arXiv:2210.14161

Aligning MAGMA by Few-Shot Learning and Finetuning

Jean-Charles Layoun, Alexis Roger, Irina Rish

제출 2022-10-18

원문 초록

The goal of vision-language modeling is to allow models to tie language understanding with visual inputs. The aim of this paper is to evaluate and align the Visual Language Model (VLM) called Multimodal Augmentation of Generative Models through Adapter-based finetuning (MAGMA) with human values. MAGMA is a VLM that is capable of image captioning and visual question-answering. We will evaluate its alignment in three different scenarios. To begin, we assess MAGMA's out-of-the-box alignment through the checkpoint provided by Hugging Face. Then, we measure if few-shot learning manages to improve the results. Finally, we finetune the model on aligned examples and evaluate its behavior.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13722v1cs.CL공통 태그 Question Answering, Language Modeling

지식 그래프 기반 멀티태스크 사전학습을 통한 사전학습 언어 모델의 법률 추론 능력 향상

Enhancing Legal Reasoning in Pre-trained Language Models via Knowledge Graph-Guided Multi-Task Pre-training

법률 언어 이해는 반정형 규제 문서에 대한 추론을 요구하지만, 표준 사전학습(pre-training) 목표는 이러한 구조적 역량을 명시적으로 겨냥하지 않습니다. 현재의 법률 언어 모델은 마스크 언어 모델링에만 의존하기 때문에, 법령 텍스트를 단순한 평면 토큰(token) 시퀀스로 취급하고 그 이면에 있는 계층적 제약 조건을 무시합니다. 이러한 격차를 해소하기 위해 본 연구에서는 독일 도로교통법(StVO)을 대상으로 한 멀티태스크 사전학습 방식을 제시합니다. 우리의 접근법은 다음 문장 예측(NSP), 지식 그래프(KG) 기반 클러스터링(CLU), 그리고 지식 그래프 인식 단락 분류(CLS)라는 세 가지 상호보완적인 목표를 결합합니다. 이 접근법은 구조화된 법률 지식을 모델 가중치에 직접 명시적으로 인코딩합니다. 이러한 인코딩을 통해 추론(inference) 시점에 제로샷(zero-shot) 법률 추론이 가능해지며 이산적인 그래프 순회의 필요성을 없앱니다. 우리는 9개의 트랜스포머(Transformer) 기반 인코더와 324회의 실험적 실행을 통해 제안 방식을 평가합니다. 합성 StVO 질의응답에서 본 연구의 모델은 베이스라인 대비 10.3%에서 155.0% 사이의 일관된 상대적 성능 향상을 보여줍니다. 나아가 기존에 확립된 LexGLUE 베이스라인(Chalkidis et al., 2022)과 비교하여 7개 법률 벤치마크 중 4개에서 이전 결과를 개선합니다. 또한 오스트리아 운전 규정에 대해서도 3.4%에서 15.8% 사이의 일관된 제로샷 전이 이득을 달성합니다. 이러한 실험 결과는 우리의 학습(training) 방식이 초기 학습 법률 도메인을 넘어 성공적으로 일반화됨을 나타냅니다.

arXiv:2609.27233v1cs.CL공통 태그 Question Answering, Language Modeling

트랜스포머 언어 모델의 순차 연산 증류

Distilling Sequential Computation in Transformer Language Models

트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.

arXiv:2609.27373v1cs.CL공통 태그 Question Answering, Language Modeling

어텐션 라우팅은 조기에 안정화된다: 순환 언어 모델을 위한 작업 집합 추론

Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models

순환 언어 모델(Recurrent language model)은 잠재 표현(latent representation)을 정제하기 위해 공유된 네트워크 블록을 반복적으로 적용하지만, 표준 추론(inference)은 모든 순환 단계에서 전역 어텐션(global attention)을 재계산합니다. 본 연구에서는 순환 깊이에 따른 어텐션 동역학을 분석하여, 어텐션 지지 집합(attention support)과 분포가 은닉 상태(hidden state) 및 어텐션 출력보다 훨씬 조기에 안정화된다는 점을 발견했습니다. 이는 2단계 구조를 시사합니다. 즉, 초기 단계에서는 관련된 문맥의 희소한 작업 집합(working set)을 탐색하고, 후기 단계에서는 대체로 동일한 라우팅 지지 집합 상에서 표현을 정제합니다. 이러한 구조에 착안하여, 초기 순환 과정에서는 제한 없는 전역 어텐션을 사용하고 이후에는 순환 깊이와 지지 집합 내부의 어텐션 계산을 동적으로 유지하면서 직접 탐색된 블록 구조 지지 집합을 재사용하는 학습(training) 불필요 방식인 WISE(Working-set Inference with Support Exploitation, 지지 집합 활용 기반 작업 집합 추론)를 제안합니다. 통제된 개입 실험을 통해 순환 탐색이 중요하며, 지지 집합만을 재사용하는 것이 더 제한적인 어텐션 재사용 대안들에 비해 모델 동작을 더 잘 보존함을 입증합니다. 다단계 질의응답(multi-hop QA) 벤치마크 전반에서 WISE는 전체 어텐션 성능을 대체로 보존하는 반면, 문맥 스케일링(context scaling)을 통해 점점 더 희소해지는 작업 집합과 더 큰 효율성 향상을 보여줍니다. 2K 문맥까지는 품질이 대체로 유지되며, 4K에서는 측정 가능한 손실(loss)이 발생합니다. 최적화된 희소 어텐션 구현은 4K에서 기존 FlashAttention 대비 최대 1.76배의 어텐션 속도 향상을, 전체 32단계 어텐션 궤적에 대해 1.36배의 속도 향상을 달성합니다. 코드는 https://github.com/tbn5pj/WISE_code 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.