추론 언어 모델(RLM)은 추론 토큰(reasoning token) 형태의 테스트 시점 연산(test-time compute)을 활용하여 인상적인 성능을 보여줍니다. 그러나 이러한 동작 방식으로 인해 RLM을 새로운 도메인에 적응시키는 것은 어렵고 비용이 많이 듭니다. 그 이유는 추가 학습이 이미 학습된 동작을 방해하고 모델 성능을 저하시킬 수 있기 때문입니다. 이로 인해 사람이 작성한 솔루션이 포함된 지도 미세조정(supervised fine-tuning) 데이터를 활용하기가 어려워집니다. 해당 데이터에는 고품질의 주석이 포함되어 있지만 추론 토큰이 부족하기 때문입니다. 본 연구에서는 이러한 어려움에도 불구하고 RLM 적응에 이러한 데이터를 효율적으로 활용할 수 있는 방법을 제시합니다. 이를 위해 먼저 표준 지시 미세조정(instruction tuning)을 적용합니다. 다음으로, 모델 병합(model merging)을 활용하여 지시 미세조정된 모델과 원본 RLM을 결합하며, 대상 도메인에서 결과 모델의 추론 동작이 복구되도록 병합 비율을 선택합니다. 코딩 및 텍스트 요약 태스크의 4개 RLM에서 본 방식을 평가한 결과, 추론 동작을 보존하고 분포 외(out-of-distribution) 점수 저하를 평균 0.7%로 제한하면서 대상 태스크 성능을 최대 11.0%까지 향상시켰습니다. 무엇보다도 본 적응 방식은 효율적이고 경제적이어서 모델당 10달러(USD $10) 미만의 비용이 듭니다.
지도 학습 데이터의 부족으로 인해, 대규모 언어 모델(LLM)은 일반적으로 방대한 양의 비정형 텍스트 데이터에 대해 자기지도 방식의 "다음 단어 예측" 목적 함수로 사전학습된다. 결과 모델을 사용자에게 유용하게 만들기 위해, 인스트럭션과 응답으로 구성된 지도 학습 예시 형태의 훨씬 적은 양의 "인스트럭션 튜닝" 데이터로 추가 학습이 이루어진다. 지도 데이터의 부족 문제를 극복하기 위해, 본 논문에서는 인터넷 규모의 사전학습 문서에 담긴 지식을 수십억 개의 합성 인스트럭션-답변 학습 쌍으로 변환할 수 있는 절차를 제안한다. FineInstructions라 명명된 결과 데이터셋은 실제 사용자가 작성한 쿼리와 프롬프트로부터 생성된 약 1,800만 개의 인스트럭션 템플릿을 활용한다. 이 인스트럭션 템플릿은 비정형 사전학습 코퍼스의 인간 작성 원본 문서와 매칭되어 인스턴스화된다. 이 규모에서 생성된 "지도" 합성 학습 데이터를 통해, LLM은 인스트럭션 튜닝 목적 함수만으로 처음부터 사전학습될 수 있으며, 이는 사용자 프롬프트에 응답하는 LLM의 예상 다운스트림 활용 방식과 훨씬 더 분포가 일치한다. 우리는 토큰 대 토큰 통제 학습 실험을 수행하였으며, FineInstructions로 사전학습하는 것이 자유형식 응답 품질을 측정하는 표준 벤치마크에서 표준 사전학습 및 기타 제안된 합성 사전학습 기법보다 우수한 성능을 보임을 확인하였다. 관련 리소스는 https://huggingface.co/fineinstructions 에서 확인할 수 있다.
다국어 지시 미세조정(MIT)은 다국어의 저주, 데이터 부족, 높은 계산 비용으로 인해 어려움을 겪는다. 자연스러운 가설은 언어학적으로 다양한 언어 집합을 신중하게 선택하면 보편적으로 더 나은 모델을 얻을 수 있다는 것이다. 우리는 유형론적, 지리적, 의미적, 학습된 특징에 기반한 언어학적 정보 기반 선택 전략을 무작위 기준선과 비교 평가하여, 세 가지 모델 패밀리(mGPT, mT5-xl, BLOOM)와 다섯 개의 다국어 벤치마크에 걸쳐 이를 체계적으로 검증한다. 우리의 핵심적인 부정적 발견은 고정 예산 설정에서 보편적인 언어 선택 전략이 나타나지 않는다는 것이다. 성능은 작업과 모델에 크게 의존하며, 적당한 임계값을 넘어 더 많은 언어를 추가하면 다국어의 저주와 일치하는 성능 저하가 발생한다. MIT 데이터 큐레이션에 대한 함의와 벤치마크 평균 평가의 함정에 대해 논의한다. 모든 자료는 https://github.com/GGLAB-KU/ling-informed-mit 에서 공개적으로 이용할 수 있다.
대규모 언어 모델(LLM)은 빠르게 발전하여 일상생활에서 유용한 도구가 되었다. 그러나 LLM을 특정 인human 가치 집합에 정렬(alignment)하는 방법은 여전히 미해결 문제이다. 최근 연구들은 지시 미세조정(instruction tuning)이 제로샷(zero-shot) 과제에서 강한 잠재력을 보이며, 가치 정렬을 해결하는 효과적인 접근법이 될 수 있음을 보여준다. 그럼에도 불구하고, 지시 미세조정을 위한 많은 데이터셋이 이미 존재하지만, 이들은 도덕적 시나리오와 행동을 중심으로 특별히 설계되지 않았다. 우리는 지시 미세조정에 직접 사용할 수 있는 통합 도덕적 가치 데이터셋을 구축한다. 이 데이터셋은 기존 도덕적 가치 데이터셋을 통합 코퍼스로 병합하고 지시-응답(instruction-response) 형식으로 변환하여 구축한다. 일반 과제 데이터셋과 우리 데이터셋을 결합한 혼합 데이터셋으로 학습(training)하면 일반 과제 성능이 유지됨을 보이며, 혼합 비율이 가치 지향 과제 성능에 미치는 영향에 대한 예비적 관찰 결과를 보고한다. 본 연구는 지시 미세조정을 위한 도덕적 가치 데이터셋을 제공하고, 향후 정렬 연구를 위한 유용한 자료를 제공한다. 데이터셋은 https://huggingface.co/datasets/teohzzh/value-for-instruction-tuning 에서 이용할 수 있다.
대규모 언어 모델(LLM)의 과제별 능력을 향상시키려면 주로 대규모 지시 미세조정 데이터셋이 필요하다. 그러나 이러한 데이터의 방대한 규모는 상당한 주석 비용을 수반하며, LLM을 특정 과제에 맞게 조정하기 위한 최적화 방법이 부족하다. 위 문제들을 해결하기 위해, 데이터 분해, 지시 미세조정, 프롬프트 추론을 포함하는 \textbf{E}xtractive 기반 LLM 구축을 위한 \textbf{Plan}ning 프레임워크인 \textbf{PlanE}를 제안한다. 또한 특정 데이터셋에 대해 최적의 base-LLM과 그 DTI 조합을 선택하여 구축 효율을 개선하는 Data-Tuning-Inference(DTI) 플래너를 도입한다. 실험 결과는 두 가지 관점에서 PlanE의 효과를 보여준다: (1) 동일한 base-LLM을 사용할 때 서로 다른 데이터셋에서, (2) 동일한 데이터셋에서 서로 다른 base-LLM을 사용할 때. 또한 서로 다른 최적화 목표 하에서 제안한 DTI 플래너의 일반화 가능성을 검증한다. 코드는 https://github.com/gugugu-469/PlanE 에서 공개되어 있다.
대규모 멀티모달 모델(LMM)이 RGB 비전 분야에서 많은 발전을 이루었음에도 불구하고, 이전에 보지 못한 시각 모달리티로의 일반화 능력은 아직 충분히 탐구되지 않은 과제로 남아 있다. 우리는 서로 다른 시각 모달리티가 동일한 물리적 세계를 단지 다른 방식으로 샘플링한 것에 불과하다고 주장한다. 따라서 효과적인 일반화를 위해서는 모델이 장면 의미론에 대한 모달리티 무관 지각 능력과 모달리티별 특성에 대한 적응력을 모두 갖추어야 한다. 이를 달성하기 위해 우리는 모달리티 합성과 모달리티 컨텍스트를 통해 LMM에 이러한 능력을 부여하는 학습 프레임워크인 VVM-Tuning을 제안한다. 구체적으로, RGB 장면으로부터 다양한 외관 변형 이미지를 합성하여 모델이 변화하는 시각적 외관으로부터 불변 의미론을 분리하도록 학습시키고, 이러한 외관을 모달리티에서 분리된 시각적 개념을 위해 언어와 정렬한다. 이후 프롬프트에 모달리티 컨텍스트를 도입하고 지시 미세조정을 활용하여 모델이 이러한 외관 변화를 모달리티 관련 속성으로 매핑하도록 지원함으로써, 추론 시 이전에 보지 못한 모달리티에 대한 제로샷 적응을 가능하게 한다. 이 방향의 연구를 촉진하기 위해 의미론적 지각과 모달리티 이해를 평가하는 6가지 실제 및 합성 모달리티를 포함한 종합 벤치마크인 VVM-Bench를 소개한다. 실험 결과, 합성 모달리티에 대한 학습을 통해 테스트된 5개 모델이 모달리티 내 학습 없이도 실제 모달리티와 새로운 합성 모달리티 모두에서 일관된 성능 향상을 보였다. 소스 코드와 데이터는 https://github.com/Hunter-Will/VVM-Tuning 에서 공개될 예정이다.
AI 코딩 어시스턴트가 보안 관련 시나리오의 45%에서 취약한 코드를 생성하는 문제를 해결하기 위해, OWASP Top 10 2021(웹)과 OWASP LLM Top 10 2025(AI/ML)를 통합 커버하는 최초의 공개 인스트럭션 튜닝용 데이터셋인 SecureCode(2,372개 멀티턴 예제)를 제시한다. 7개 전문 AI 관점의 멀티 에이전트 품질 검토와 8단계 개선 파이프라인을 통해 평균 품질 점수 93.8/100을 달성했으며, QLoRA로 파인튜닝된 오픈소스 모델(3B~20B) 8개와 함께 HuggingFace에 공개된다.
저자원(low-resource) 방글라어 생성에서 대규모 언어 모델(LLM)이 보이는 비일관적 경어 체계, 구조적 오류, 비문맥적 출력 문제를 해결하기 위해, 4,196개의 전문가 주석 프롬프트-응답 쌍으로 구성된 인스트럭션 튜닝(instruction tuning) 데이터셋 BLADE를 제시한다. LoRA 어댑터와 4-bit NF4 양자화(quantization)를 활용해 DeepSeek-8B, LLaMA-3.2-3B 등 소형 모델을 파인튜닝한 결과, 제로샷(zero-shot) 프론티어 모델을 상회하는 구조적 충실도 및 경어 일관성을 달성하며 문화적 데이터 품질이 모델 규모보다 중요함을 실증하였다.
The effectiveness of instruction-tuned Large Language Models (LLMs) is often limited in low-resource linguistic settings due to a lack of high-quality training data. We introduce LuxIT, a novel, monolingual instruction tuning dataset for Luxembourgish developed to mitigate this challenge. We synthesize the dataset from a corpus of native Luxembourgish texts, utilizing DeepSeek-R1-0528, chosen for its shown proficiency in Luxembourgish. Following generation, we apply a quality assurance process, employing an LLM-as-a-judge approach, retaining 227,507 high-quality instruction-answer pairs. To investigate the practical utility of the dataset, we fine-tune 14 smaller-scale LLMs ($\leq$15B parameters) on LuxIT and evaluate them on standardized Luxembourgish proficiency exams and five downstream NLP tasks. Training on LuxIT yields a mean accuracy change of +5.37 percentage points on language exams across all 14 models, with 12 of 14 showing improvement. On NLP downstream tasks, 9 of 14 models improve in macro-averaged F1, though gains on the two benchmarks do not systematically correlate. These results underscore the feasibility of leveraging monolingual synthetic data to improve LLM capabilities in low-resource languages, while highlighting the multi-faceted nature of language proficiency.
As Visual Language Models (VLMs) become increasingly embedded in everyday applications, ensuring they can recognise and appropriately handle privacy-sensitive content is thus essential to protect users. To this end, we conduct a comprehensive evaluation of twelve state-of-the-art VLMs and identify limitations in their understanding of visual privacy. However, existing privacy-related datasets often suffer from label inconsistencies, limiting their reliability. To address this, we introduce two compact, high-quality benchmarks, PrivBench and PrivBench-H, that focus on commonly recognised visual privacy categories aligned with the General Data Protection Regulation (GDPR). Additionally, we present PrivTune, an instruction-tuning dataset specifically curated to improve privacy sensitivity. We obtain multiple Privacy VLMs by fine-tuning off-the-shelf VLMs on only a few hundred samples from PrivTune, which leads to substantial gains on all benchmarks, surpassing even GPT-4, while maintaining strong performance on other tasks. Our findings show that privacy-awareness in VLMs can be substantially improved with minimal data and careful dataset design, setting the stage for safer, more privacy-aligned AI systems.
대규모 언어 모델은 종종 답변 형식에 민감합니다: 한 형식에서는 올바르게 해결된 질문이 의미적으로 동등한 다른 형식에서는 실패할 수 있습니다. 이러한 격차를 연구하기 위해, 우리는 형식 간 견고성을 모델이 형식 전반에 걸쳐 동일한 근본적인 질문에 얼마나 일관되게 답변하는지로 정의합니다. 그 후 우리는 무작위 또는 타겟팅된 선택을 사용하여 학습 항목의 일부만을 여러 동등한 형식으로 확장하는 FormatMix와 전체 형식 학습을 비교합니다. GLM4와 Llama-3.1에 걸쳐, 다중 형식 지도는 과제 성능과 형식 간 견고성을 모두 일관되게 향상시키는 반면, 객관식 질문(MCQ) 전용 지도만으로는 거의 이득이 없으며 견고성을 오히려 저하시킬 수도 있습니다. 또한 우리는 학습 세트의 약 30%만을 다중 형식으로 확장해도 전체 형식 학습의 이득 대부분을 회복할 수 있음을 발견했으며, 이 효과는 우리가 연구한 모델 계열과 크기 전반에 걸쳐 나타납니다. 이러한 결과는 추가적인 지도 그 자체보다는 형식의 다양성이 견고성의 핵심 요인임을 시사합니다. 즉, 가벼운 다중 형식 증강은 기본 모델을 변경하지 않고도 LLM이 답변 형식에 덜 민감하게 만드는 실용적인 방법입니다.