PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22722v1cs.CL

moBERTo: ModernBERT 지속 사전학습 기반 포르투갈어 현대 인코더

moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

ModernBERT-base를 FineWeb2 기반 120억 토큰 말뭉치에 600억 토큰 지속 사전학습(continued pretraining)하여 만든 포르투갈어 인코더 moBERTo를 제안하며, 포르투갈어 토크나이저·서브워드 매칭 임베딩 전이·8,192 토큰 장문맥 사후학습을 결합한 변형이 세 포르투갈어 검색 벤치마크의 평균 리랭킹 nDCG@10과 PLUE-PT에서 최고 성능을 기록한다. 정보 검색·장문맥 검색·문서 분류·개체명 인식·자연어 이해 평가와 어블레이션을 통해 지속 사전학습이 장문맥 능력 보존에 유리하고, 인코더 전용 아키텍처가 판별 작업에서 더 큰 디코더 전용 모델과 경쟁력을 유지함을 보인다.

arXiv:2606.19100v1cs.CV

AMALIA-VL: 유럽 포르투갈어 기반 오픈 소스 비전-언어 모델

AMALIA-VL: A Native European Portuguese Open-Source Vision and Language Model

대규모 비전-언어 모델(LVLMs)은 급속도로 발전했으나, 유럽 포르투갈어(pt-PT)는 여전히 기존 오픈 소스 멀티모달 모델에서 체계적으로 소외되고 있습니다. 이러한 모델들은 유럽 포르투갈어를 브라질 포르투갈어와 혼동하거나 학습 데이터 혼합 과정에서 이를 심각하게 과소 대표하고 있습니다. 우리는 pt-PT를 위해 원어로 구축된 최초의 오픈 소스 지시 미세조정 LVLM인 AMALIA-VL을 소개합니다. 이 모델은 고해상도 비전 인코더와 동적 이미지 타일링, 그리고 학습된 커넥터를 통해 연결된 완전히 개방된 pt-PT 최적화 언어 모델을 결합합니다. 우리는 비전-언어 정렬, 일반 시각 지시 미세조정, 선호 최적화로 구성된 의도적으로 설계된 3단계 학습 과정과, 유럽 포르투갈어 멀티모달 자원의 거의 완전한 부재를 해결하는 새로운 데이터셋과 선별 및 번역된 공용 데이터셋을 결합한 pt-PT 중심의 멀티모달 데이터 혼합을 제공합니다. 우리의 평가 결과, AMALIA-VL이 오픈 소스 pt-PT LVLM에 대한 강력한 기준선을 확립함을 보여줍니다. 우리는 pt-PT LVLM 개발의 대중화를 돕기 위해 모델 가중치, 학습 데이터, 구축 파이프라인, 그리고 기계 번역된 pt-PT 평가 벤치마크를 공개할 예정입니다.