Question answering using deep learning in low resource Indian language Marathi
원문 초록
Precise answers are extracted from a text for a given input question in a question answering system. Marathi question answering system is created in recent studies by using ontology, rule base and machine learning based approaches. Recently transformer models and transfer learning approaches are used to solve question answering challenges. In this paper we investigate different transformer models for creating a reading comprehension-based Marathi question answering system. We have experimented on different pretrained Marathi language multilingual and monolingual models like Multilingual Representations for Indian Languages (MuRIL), MahaBERT, Indic Bidirectional Encoder Representations from Transformers (IndicBERT) and fine-tuned it on a Marathi reading comprehension-based data set. We got the best accuracy in a MuRIL multilingual model with an EM score of 0.64 and F1 score of 0.74 by fine tuning the model on the Marathi dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택
Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs
실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
Mizar: 오디오 이해를 위한 159M 매개변수 오디오-언어 모델
Mizar: A 159M-Parameter Audio-Language Model for Audio Understanding
오디오-언어 모델(ALM)은 언어 모델에 인코딩된 지식과 음향 인지를 통합하여 청각 이벤트의 문맥적 이해를 가능하게 한다. 메모리와 연산이 제한된 기기에서 이러한 능력을 실용화하려는 목표가 200M 매개변수 미만의 소형 ALM에 대한 우리의 초점을 이끈다. 우리는 아키텍처, 데이터, 3단계 학습을 결합한 레시피를 제안하여 159.3M 매개변수 ALM인 Mizar를 구축한다. 그 아키텍처는 컴팩트한 CED-Small 오디오 인코더를 주파수 병합(frequency-merging) 매퍼를 통해 SmolLM2-135M에 연결한다. ReasonAQA, AudioMCQ, AVQA에서의 지도(supervision)를 바탕으로 모델은 3단계 학습을 거친다: 오디오-언어 정렬(1단계), 오디오 의존 미세조정(2단계), 학습된 능력을 유지하면서 약한 기술을 강화하는 것을 목표로 한 사후 학습(3단계). 5개의 무작위 시드에 걸쳐 Mizar는 MMAU에서 평균 정확도 52.92%, MMAR에서 42.42%, ADQA-clean에서 36.02%를 달성하여 세 벤치마크 모두에서 200M 매개변수 미만 ALM 중 이전 최고 성능을 능가한다. 또한 단일 CPU에서 로컬 추론을 지원한다. MMAU 벤치마크 질문에 대해 오디오 파일을 연 시점부터 완전한 답변을 생성할 때까지의 평균 지연 시간은 1.09초이다. 코드와 체크포인트는 https://github.com/KaiyangLi1992/Mizar_159M 에서 이용할 수 있다.
LLM 추론을 위한 긴 컨텍스트의 답변 정렬 메모리 임베딩 압축
Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference
대규모 언어 모델(LLM) 추론은 셀프 어텐션(self-attention)의 이차 스케일링과 KV 캐시의 선형 스케일링에 의해 제약되어, 컨텍스트 길이가 늘어날수록 지연 시간, 에너지 소비, GPU 메모리 요구가 증가한다. 기존 소프트 압축(soft-compression) 방법은 추론 시점에 쿼리 기반 메모리 선택이 없거나, 답변 대상 지도(answer-targeted supervision) 없이 학습하거나, 압축을 특정 디코더 아키텍처에 강하게 결합하는 한계가 있다. 본 연구는 Context-to-Answer-Aligned Memory Compression(CMC) 프레임워크를 제안한다. 이는 긴 입력 컨텍스트를 동결된(frozen) 디코더의 임베딩 공간에 정렬된 컴팩트한 Context Memory Embeddings(CMEs)로 압축하여 디코더 가중치를 수정하지 않고 추론 비용을 줄인다. CMC는 질문 기반 CME 선택과 지역 컨텍스트 윈도우(local context window)를 결합한 2단 KV 캐시를 도입하고, 동결된 LLM으로부터 답변 대상 지식 증류(distillation)로 압축기를 학습한다. 9가지 인코더-디코더 조합과 4개 QA 벤치마크에 걸친 실험에서 CMC는 기준선을 일관되게 능가하며, SQuAD에서 최대 7.3 EM 및 4.0 F1 포인트 향상을 달성하는 동시에, 생성 토큰 3,000개 기준 추론 시간과 에너지 소비를 최대 20% 줄이고 피크 예약 GPU 메모리를 최대 50% 줄였다. ablation 연구는 각 아키텍처 구성 요소와 학습 목표가 성능에 기여함을 확인했다.
하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM
One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data
원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.
사이렌의 노래: 근접한 배경 컨텍스트가 멀리 떨어진 증거를 가릴 때
The Sirens' Song: When Proximal Background Context Overshadows Distant Evidence
긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.