arXiv:2606.06797v1 cs.CL

LLM 정렬에 한국 문화 적용: 문화적 일관성을 향하여

Korean Culture into LLM Alignment: Toward Cultural Coherence

MinJae Jung, Minwoo Kim

제출 2026-06-05

한국어 초록

대규모 언어 모델(LLM)의 문화적 측면 연구는 어떤 출력을 억제할 것인가라는 부정적 목표에 지배되어 있습니다. 우리는 회피해야 할 사항뿐만 아니라 문화적으로 일관된 응답이 무엇인지에 대한 실질적인 정의인 건설적인 대응책도 필요하다고 주장하며, 이를 한국어에 구체화합니다. 우리는 한국어 위해 분류 체계를 확장하는 프롬프트 기반 LLM 시드 생성기를 중심으로 정렬 데이터 파이프라인을 설계했으며, 그 핵심에는 한국 문화에 적응한 안전 응답 정책이 배치되어 있습니다. 이 정책은 한국 법적 체계, 사회적 규범, 해석 관습에 기반한 카테고리별 지침으로, 세 가지 최첨단 모델이 각각 후보 응답을 생성하는 기준이 됩니다. 결과물인 삼중쌍에 대한 DPO(직접 선호 최적화) 미세조정은 6개의 공개 가중치 LLM에서 한국 문화적 안전율을 향상시키는 동시에 한국어 일반 능력 벤치마크에서 큰 성능 저하를 일으키지 않았습니다. 정성적 출력 결과는 미세조정된 모델이 한국 법령과 제도적 절차를 명시하고, 적절한 경우 거절과 함께 건설적인 한국어 맥락 정보를 제공하는 것으로 나타났습니다.

원문 초록

Cultural-aspect work on large language models is dominated by a negative target: which outputs to suppress. We argue that a constructive counterpart is also needed, a working definition of what a culturally coherent response is rather than only what it must avoid, and instantiate it for Korean. We design an alignment-data pipeline around a prompt-based LLM seed generator that expands a Korean harm taxonomy, with a Korean-culturally-adapted safe-response policy at its centre: a per-category guideline grounded in Korean legal frameworks, social norms, and interpretive conventions, against which three frontier models each produce a candidate response. DPO fine-tuning on the resulting triplets improves the Korean cultural safe rate across six open-weight LLMs while causing no large degradation on Korean general-capability benchmarks, and qualitative outputs show fine-tuned models naming Korean statutes and institutional procedures and, where appropriate, supplying constructive Korean-context information alongside refusal.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06797v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.05671v2cs.AI공통 태그 Benchmarking, Large Language Model, Prompt Engineering

프롬프트 옵티마이저는 제한된 예산을 어떻게 사용해야 하는가? 노이즈 적응형 평가를 적용한 BudgetAPO

How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation

자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 대규모 언어 모델(LLM)의 가중치를 업데이트하지 않고 적응시키기 위해 널리 사용되어 왔으며 유망한 결과를 보여주었습니다. 그러나 GEPA 및 OPRO와 같은 기존 방식은 대상 모델에 대해 수백에서 수천 번의 호출을 가정하므로, 유료 및 속도 제한이 있는 API 환경에서는 현실적인 수준을 훨씬 뛰어넘습니다. 제한된 예산 하에서 기존 방식은 두 가지 방식으로 실패합니다. 다단계 파이프라인은 예산을 모두 소진하여 시드 프롬프트를 변경 없이 그대로 반환할 수 있으며, 단일 단계 방식은 각 태스크의 노이즈와 무관하게 고정된 크기의 미니배치에서 후보를 비교합니다. 이에 대한 해결책으로, 본 연구에서는 제한된 예산 환경을 위한 단일 단계 옵티마이저인 BudgetAPO를 제안합니다. BudgetAPO는 (1) 짧은 탐색(probe)으로 측정된 각 태스크의 노이즈에 맞춰 평가 슬라이스 크기를 조정하는 노이즈 적응형 규칙, (2) 모든 수락/거절 결정을 대응 비교(paired comparison)로 변환하는 고정 슬라이스, (3) 추론 전략과 출력 형식을 함께 다시 작성하는 성찰적(reflective) 연산자를 포함합니다. 7개 벤치마크와 5개 대상 모델에 걸친 광범위한 실험 결과는 BudgetAPO가 모든 대상 모델에서 1위를 차지하고 홈 보정(Holm-corrected) 대응 검정 하에서 모든 기준선(baseline)을 능가함을 보여줍니다. 또한 250회 호출 시 시드를 그대로 반환하는 비율이 GEPA의 86%에 비해 13%에 불과했습니다. GPT-OSS-20B에서는 GEPA가 본 방법의 100회 호출 점수와 일치하기 위해 5배 더 많은 호출을 필요로 합니다.

arXiv:2610.10610v1cs.SE공통 태그 Benchmarking, Instruction Following, Large Language Model

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

arXiv:2610.10628v1cs.SE공통 태그 Benchmarking, Large Language Model, Prompt Engineering

Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크

Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking

소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.

arXiv:2610.02303v1cs.LG공통 태그 Fairness, Benchmarking, Large Language Model

PowerBench: 권력 이동 요청에서 언어 모델의 바이어스 측정

PowerBench: Measuring Language Model Bias in Power-shifting Requests

언어 모델(language model)이 점차 권력과 관련된 요청에서 사람들을 보조함에 따라, 모델이 누구를 돕는지에 대한 체계적인 차이는 대규모로 권력 분포를 변화시키거나 어떤 정체성이 덜 거부당하는지 파악한 사용자들에 의해 악용될 수 있습니다. 본 연구에서는 자기 역량 강화(self-empowerment), 권한 박탈(disempowerment), 권력 장악(power grabbing)을 구분하고, 권력을 이동시키지 않으면서 거부를 유도하는 요청을 대조군으로 포함하여 권력 이동 요청을 평가하는 PowerBench를 소개합니다. 권력 영역, 맥락, 영향을 받는 대상의 규모, 사용자의 기존 권력 위치를 다양화한 이러한 요청들로 구성된 데이터셋(dataset)을 구축, 큐레이션 및 오픈소스로 공개하고, 세 가지 실험 조건(사용자와 영향을 받는 대상의 상호 국적, 사용자가 AI 에이전트(agent)인 경우, 8개 언어로 된 요청) 하에서 24개 모델(미국 개발사 12개, 중국 개발사 12개)을 평가합니다. 모델들은 자기 역량 강화보다 권한 박탈을, 권한 박탈보다 권력 장악을 더 많이 거부합니다. 권력 장악에 대한 거부는 영향을 받는 대상의 규모가 개인에서 사회로 커질수록 증가합니다. 모델들은 다른 이들이 미국으로부터 권력을 가져오는 것을 돕는 쪽으로, 그리고 미국 사용자가 타인으로부터 권력을 가져오는 것을 돕지 않는 쪽으로 바이어스(bias)를 보이지만, 미국이 권력을 얻고 아무도 잃지 않는 경우에는 미국을 선호합니다. 사용자가 AI 에이전트인 경우 권력 이동 요청에 대한 거부가 증가하며, 특히 개인을 상대로 한 권력 장악에서 두드러집니다. 마지막으로 언어는 거부에 편향을 유발하지만, 모델별로 상이한 양상을 보여 평균적으로는 대체로 상쇄됩니다. 저자들은 현재 및 미래 모델에서 이러한 비대칭성을 측정할 수 있도록 PowerBench를 공개합니다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.