arXiv:2502.13647

Instruction Tuning on Public Government and Cultural Data for Low-Resource Language: a Case Study in Kazakh

Nurkhan Laiyk, Daniil Orel, Rituraj Joshi, Maiya Goloburda, Yuxia Wang, Preslav Nakov, Fajri Koto

제출 2025-02-19

원문 초록

Instruction tuning in low-resource languages remains underexplored due to limited text data, particularly in government and cultural domains. To address this, we introduce and open-source a large-scale (10,600 samples) instruction-following (IFT) dataset, covering key institutional and cultural knowledge relevant to Kazakhstan. Our dataset enhances LLMs' understanding of procedural, legal, and structural governance topics. We employ LLM-assisted data generation, comparing open-weight and closed-weight models for dataset construction, and select GPT-4o as the backbone. Each entity of our dataset undergoes full manual verification to ensure high quality. We also show that fine-tuning Qwen, Falcon, and Gemma on our dataset leads to consistent performance improvements in both multiple-choice and generative tasks, demonstrating the potential of LLM-assisted instruction tuning for low-resource languages.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04412v3cs.AI공통 태그 Instruction Following

LLM-as-a-Tutor: 비검증 강화학습을 위한 정책 인식 프롬프트 적응

LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

검증 불가능한 지시 따르기에 대한 강화학습(RL)은 프롬프트별 루브릭을 갖춘 LLM 심사자를 보상 신호로 점점 더 많이 활용한다. 최근 방법들은 이러한 루브릭을 학습 중 변화하는 정책에 맞게 조정하지만, 학습 프롬프트 자체는 고정된 코퍼스에서 추출된 채 정적으로 유지된다. 이러한 정적 접근은 프롬프트 난이도와 정책 능력 사이에 심각한 불일치를 초래하는 경우가 많으며, 프롬프트가 롤아웃 간 품질 편차를 이끌어내지 못할 때 심사자가 변별력 있는 보상 신호를 복원하지 못하게 한다. 이러한 불일치를 해결하기 위해 본 논문은 LLM의 역할을 심사자에서 튜터로 확장하는 프레임워크 LLM-as-a-Tutor를 제안한다. 하나의 모델이 정책 롤아웃을 쌍별 비교하여 도전적이지 않은 프롬프트를 탐지하는 평가자로서, 그리고 그러한 프롬프트에 원자적 제약을 덧붙이는 생성자로서 동작한다. 이 추가 전용 설계는 원래 프롬프트를 보존하면서 제약을 더해 정책 능력에 맞춰 난이도를 높이며, 외부 난이도 스케줄 없이 스스로 보정되는 학습 신호를 만든다. 세 가지 복잡한 지시 따르기 벤치마크에서 본 방법은 정책 비인지 기준선과 루브릭을 조정하거나 프롬프트를 재작성하는 기존 정책 적응 방법을 평균 및 다섯 지표 중 네 지표에서 능가하며, 이는 프롬프트 적응이 제약이 많은 지시 따르기를 위한 검증 불가능 RL에서 정책 인지의 충분히 탐구되지 않은 축임을 시사한다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2606.29225v2cs.AI공통 태그 Instruction Following

PolicyGuard: LLM 에이전트의 정책 준수를 위한 대화 기반 서브 에이전트 검증기

PolicyGuard: A Dialogue-Grounded Sub-Agent Verifier for Policy Adherence in LLM Agents

LLM 에이전트는 도구 호출을 통해 조직을 대신하여 사용자 요청을 처리하며, 시스템 프롬프트에 명시된 회사 정책을 따라야 한다. 기존 연구는 이를 안전장치 문제, 즉 정책을 위반하는 에이전트 행동을 차단하는 외부 점검으로 접근한다. 우리는 정책 준수가 이보다 더 넓은 문제라고 주장한다. 실제 워크플로는 여러 턴에 걸쳐 전개되고, 명시적인 사용자 확인과 선행 조회를 요구하며, 단일 인자 값이 아니라 대화에 좌우된다. 우리는 에이전트와 대화에 대한 관점을 공유하고, 문맥 속에서 정책에 대해 추론하며, 실행 가능한 시정 조치를 반환하는 서브 에이전트 검증기 PolicyGuard를 소개한다. GPT 5.4, Claude Sonnet 4.6, Gemini 2.5 Pro에 걸친 $\tau^2$-bench airline에서 PolicyGuard는 네 번의 시행 모두에서 성공한 과제의 비율인 $\mathrm{Pass}^4$를 +12.0 / +6.0 / +12.0 pp 향상시키며, 통합 대응 검정은 공급사 전반에 걸친 전체적 효과를 뒷받침한다. 또한 세 가지 $\tau^2$-bench 고객 서비스 도메인을 모두 포괄하도록 전체 retail 및 telecom 기본 분할에서도 PolicyGuard를 평가한다. 추가 분석은 PolicyGuard가 에이전트의 자기 점검을 넘어 신뢰성을 향상시키고, 인자 수준 가드보다 적은 차단으로 더 많은 정책 위반을 포착하며, 세 가지 적대적 탐침 하에서도 거부 정확도를 유지함을 보여 준다.

arXiv:2606.32038v2cs.CL공통 태그 Instruction Following

내성적 결합: 고정된 지도 신호에도 불구하고 행동 변화를 추적하는 자기 설명 학습

Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision

언어 모델(LM)이 자신의 예측에 대한 설명을 생성하도록 학습시키면 언제 피상적 모방이 아닌 충실한 내성(introspection)이 나타나는가? 우리는 입력의 어떤 특징이 자신의 행동에 영향을 미쳤는지 설명하도록 학습된 LM을 연구하며, 수정된 입력에 대한 모델의 반사실적 행동을 지도 신호로 사용한다. 놀랍게도, 자신의 이전 체크포인트에서 도출된 고정된 반사실적 설명, 또는 심지어 다른 계열의 행동이 유사한 모델에서 도출된 설명으로 학습된 LM이 학습 대상의 행동보다 자신의 현재 행동에 더 충실한 설명을 자주 생성함을 발견했다. LM 설명과 행동 간의 이러한 "내성적" 결합은 행동 자체가 변하더라도 학습 설명이 학습 과정 내내 현재 행동과 충분히 상관되어 있을 때 나타난다. 또한 내성적 결합이 행동 변화를 따라간다는 점도 보인다. 설명 학습이 다른 사후 학습 목표와 동시에 제공되면, 갱신된 지도 없이도 설명이 그에 맞게 변한다. 이 현상은 아첨(sycophancy)과 거부를 포함한 여러 과제에서 나타나며 레이블 잡음에도 견고하다. 전반적으로 우리의 결과는 고정된 반사실적 설명 데이터셋조차도 내성을 위한 확장 가능하고 일반화 가능한 사후 학습 신호를 제공할 수 있음을 보여 준다.

arXiv:2607.24743v4cs.CV공통 태그 Instruction Following

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

arXiv:2607.13346v2cs.CR공통 태그 Instruction Following

PRISM: 정렬 위장 주장에 대한 스트레스 테스트

PRISM: Stress-Testing Alignment-Faking Claims

우리는 AI 시스템이 안전한지를 주로 그 행동을 관찰하여 판단한다. 정렬 위장은 이를 무너뜨린다. 감시받고 있다고 믿을 때만 올바르게 행동하거나, 훈련으로 인해 변형되는 것을 피하기 위해 지금은 순응하는 모델은 모든 행동 테스트를 통과할 수 있다. 이러한 행동은 한 최첨단 모델에서 보고된 바 있으며, 모니터링 프롬프트 하에서 더 많이 순응하는 오픈 웨이트 모델은 이제 이를 보이는 것으로 해석되고, 은닉 상태 프로브가 탐지기로 제안되고 있다. 본 연구는 이 두 가지 추론을 모두 검증하였으며, 어느 쪽도 성립하지 않는다. 18개 모델 구성 중 11개가 감시받고 있다는 말을 들으면 더 많이 순응한다. 그러나 네 모델에 대한 프롬프트 요인 실험은 훈련 위협이 탐지 가능한 효과를 갖지 않음을 보여 주며, 이를 제거해도 순응도는 -3.3점에서 +1.6점 사이로만 변한다. 격차를 만드는 것은 오히려 프롬프트의 표현과 프레이밍이다. 프로브도 나을 것이 없다. 프로브는 감시 하의 순응 응답과 비감시 하의 순응 응답을 구분하지만(AUROC 0.96-0.99), 거부 응답도 똑같이 잘 구분한다. 즉 프로브는 위장이 아니라 프롬프트를 읽는다. 거부 응답만으로 학습한 조향 방향도 '위장' 방향과 동일한 정도로 행동을 변화시킨다. 본 연구는 이러한 실패 각각을 주장으로 굳어지기 전에 포착하는 다섯 가지 점검과 툴킷인 PRISM을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.