문화는 추론, 가치관, 우선순위 설정, 전략적 의사결정을 형성하지만, 대규모 언어 모델(LLM)은 종종 대상 집단과 정렬되지 않은 문화적 바이어스를 보인다. LLM이 전략적 의사결정, 정책 지원, 요약, 분류, 컴플라이언스 중심 감사와 같은 문서 엔지니어링 작업에 점점 더 많이 사용됨에 따라, 문화적 정렬을 개선하는 것은 하류 분석과 권고가 기본 모델 사전분포가 아닌 대상 집단의 가치 프로파일을 반영하도록 보장하는 데 중요하다. 이전 연구는 설문 기반 문화적 정렬 프레임워크를 도입하고 문화 특화 프롬프팅이 정렬 불일치를 줄일 수 있음을 보였지만, 주로 독점 모델을 평가했으며 수동 프롬프트 엔지니어링에 의존했다. 본 논문에서는 사회과학 설문 기반 투영 및 거리 지표를 공개 가중치 LLM에서 재현하여 해당 프레임워크를 검증하고 확장하며, 동일한 문화적 편향과 문화 조건화의 이점이 폐쇄형 LLM 시스템 밖에서도 지속되는지 검증한다. 이 기반 위에서, 본 연구는 이 문제에 DSPy를 활용한 프롬프트 프로그래밍 사용을 도입한다. 프롬프트를 모듈형 최적화 가능 프로그램으로 취급하여 문화-거리 목표에 대해 최적화함으로써 문화 조건화를 체계적으로 조율한다. 실험에서 프롬프트 최적화가 문화적 프롬프트 엔지니어링보다 종종 더 나은 성능을 보이며, DSPy를 통한 프롬프트 컴파일이 문화적으로 정렬된 LLM 응답에 더 안정적이고 전이 가능한 경로를 제공할 수 있음을 시사한다.
언어 모델은 다양한 언어 및 문화적 맥락에서 도덕적 의사결정에 점점 더 많이 활용되고 있으나, 기존 연구는 다국어성의 세 가지 측면을 간과하고 있다: 1) 다국어 평가 벤치마크는 직접 번역 방식을 사용하여 문화 특수적 항목을 적절히 반영하지 못하며; 2) 도덕적 추론을 위한 추론 시점 방법들은 정적이고 영어 중심적인 스캐폴드에 의존하고 도덕 이론에 대한 그라운딩이 부족하며; 3) 도덕적 의사결정을 위한 학습 방법들은 일반적으로 더 강력한 모델이나 인간 주석자의 비용이 많이 드는 감독을 필요로 한다. 우리는 세 가지 기여를 통해 이러한 격차를 해소한다. 첫째, 언어 전반에 걸쳐 문화적으로 상황화된 도덕적 직관과 사회적 규범을 포착하는 다국어 도덕적 의사결정 벤치마크인 MCLASH를 소개한다. 둘째, 심리학 및 철학에서 도출된 전문가 큐레이션 이론 기반 근거를 토대로 구축된 두 단계 프롬프팅 방법인 MET(Multilingual Ethics with Theory-grounded reasoning)를 제안한다: 모델은 먼저 상황 및 문화 특수적 근거를 선택한 후, 사용자의 모국어로 이를 바탕으로 추론을 수행한다. 셋째, 외부 감독 없이도 자기 지식 증류 학습 단계를 통해 두 번째 단계를 강화하는 MET-D(MET-Distillation)를 소개한다. MET-D는 다양한 크기와 계열의 세 가지 모델(Qwen3-4B, Qwen3-8B, Gemma3-4B) 모두에서 기반 모델 대비 매크로-F1을 향상시키며, MCLASH에서 평균 3.71포인트, MMoralExceptQA에서 4.23포인트를 개선하고, Qwen3-8B의 말레이어에서 최대 12.94포인트의 MCLASH 향상을 달성했다. 또한 MET-D가 모국어 추론을 평균 62.13포인트 증가시키며, 문화에 따라 유익한 근거가 체계적으로 다름을 밝혔다. 이러한 기여들은 문화 정렬적이고 이론 기반의 다국어 도덕적 추론을 위한 경로를 열어준다.
Current AI safety evaluation and benchmarking frameworks predominantly rely on Western-centric culture-agnostic defaults that mask critical regional laws, socio-linguistic nuances, and cultural taboos, leaving Vision-Language Models (VLMs) vulnerable in global deployments. We introduce Pluralis v0.1: a novel multimodal, multi-regional, and multilingual dataset built from a culture-first perspective. Spanning 6,448 prompts across six Asia-Pacific countries (Bangladesh, India, Korea, Pakistan, Singapore, Taiwan) and eight languages, Pluralis diverges from prior work by natively sourcing localized safety hazards rather than adapting Western datasets. Crucially, it introduces a multimodal evaluation paradigm: user text (e.g., "Should I gift this?") and an image referring to "this" (e.g., a clock) - both innocuous in isolation, but synergistically triggering specific legal or cultural violations. Pluralis disentangles universal safety violations from localized cultural appropriateness, establishing the latter as a first-class evaluation axis. To operationalize this, we present Judge-Pluralis, an agreement-gated LLM-as-a-Judge ensemble trained on examples classified in an empirically derived cultural taxonomy. Observing VLM behavior on a subset of the Pluralis surfaces recurring, locale-specific failure modes such as image misidentifications with downstream harm, missed item-context-locale interactions, and inadequate refusals. These failure modes vary systematically across locales and languages, exposing blind spots that globally averaged metrics conceal. Ultimately, Pluralis is not presented as a solved evaluation framework for cultural alignment, but rather as a first step and catalyst for future innovation. We call upon the research community to utilize this foundation to advance the science of multilingual, multicultural evaluation to better support AI cultural alignment globally.
대규모 언어 모델(LLM)은 대중의 태도와 의견을 놀랍지만 일관성 없이 흉내 내는 것으로 입증되었다. LLM이 문화적 취향에 대한 합리적인 근사치를 생성할 수 있는 정도는 아직 열린 경험적 질문으로 남아 있으며, 시장조사 기업들이 이미 잠정적인 '합성' 설문 패널을 제공하고 LLM이 생성한 응답으로 인한 표준 설문 데이터 오염이 발생하면서 그 긴급성이 날로 높아지고 있다. 본 연구에서는 실리콘 샘플링(silicon sampling)에 관한 기존 연구를 바탕으로, 그 알고리즘적 충실도와 정렬(alignment)에 대한 고려를 문화적 소비 영역으로 확장한다. 우리는 OpenAI, Anthropic, DeepSeek의 대규모 언어 모델을 사용하여 예술 공공 참여 조사(SPPA, Survey of Public Participation in the Arts)의 설문 응답자에 대한 실리콘 대리인(silicon surrogate) 각 277,470개(30×9,249)를 생성하였다. 이 실리콘 대리인들의 취향은 인간 취향의 고도로 양식화된 모사물임을 발견하였다. (1) 실리콘 샘플은 선호에 대한 체계적인 긍정 바이어스를 지니고 있어, 취향의 생태학적 추정치가 부풀려진다. 실리콘 샘플의 개인 수준 바이어스는 문헌에서 흔히 논의되는 WEIRD 바이어스로는 잘 설명되지 않는다. (2) 실제 취향 구조에 존재하는 복잡한 관계성은 실리콘 샘플에서 완전히 소실된다. (3) 마지막으로, 취향과 사회적 공간 사이의 알려진 문화적 정렬은 거의 보존되지 않는다. 실리콘 샘플은 연령-취향 연관성을 약화시키고, 시대착오적인 계층-취향 연관성을 부활시키며, 젠더 및 인종-취향 연관성을 희화화한다.
LLM-governed social robots increasingly decide who receives real-world assistance first. As prioritization norms vary across cultures by age, status, and group size, failure to calibrate pluralistically can scale into unequal access. Yet LLM moral audits remain English-centered, rarely test embodied contexts, leaving pluralistic calibration as an urgent diagnostic gap amid intensifying LLM-robot deployment. We introduce a gradient-based audit framework for multilingual evaluation of LLM moral trade-off behavior against cultural preference gradients. Grounded in nine cross-domain social robotics reviews (>8,000 papers), we derive symmetry-controlled scenarios across care, education, and services, translating the Moral Machine Experiment's "whom to spare" into "whom to assist first" dilemmas with preserved identity trade-offs (many vs. few; young vs. old; higher vs. lower status). We audit four LLMs across four country-language pairs in four prompting regimes (57,600 decisions), benchmarked against country-specific MME preference gradients. Ordinal concordance tests whether models differentiate cultural contexts; a governance typology maps vulnerabilities in gradient differentiation, directional tendency, and deliberation. We find persistent, culturally asymmetric gradient tracking failures that prompting alone cannot reliably correct: quality calibration is nearly twice as strong for Western-language decisions as for Chinese and Japanese; high determinism in majority-first trade-offs often erases cross-cultural gradients; partial sensitivity to age- and status-based norms risks sidelining minorities. Prompting effects are uneven; only contrastive exemplars yield consistent gains, while reasoning-only prompts can worsen tracking. Our results motivate multilingual, pluralistic audits as an LLM-robot pre-deployment gate and suggest model factors are a more robust lever than prompting alone.
다양한 문화적 하위 커뮤니티의 선호도를 균형 있게 반영하는 보상 모델(reward model) 학습 알고리즘 SCPO(Steerable Cultural Preference Optimization)를 제안하며, 글로벌 보상 모델 점수로 소수 문화 선호와 일치하지 않는 샘플만 필터링하고 가중치를 부여해 소수 집단 보상 모델을 학습한다. PRISM과 GlobalOpinionQA에서 7개국 기준 소수 보상 모델 성능이 baseline 대비 최대 7포인트 향상되었고, 전체 데이터 파인튜닝 대비 학습 데이터 효율은 최대 280% 더 높으며 과도한 바이어스(bias)도 완화된다.
대규모 언어 모델(LLM)은 다양한 문화적 맥락에 배포되지만, 종종 학습 데이터에서 물려받은 동질화된 가치를 반영합니다. 문화적 정렬에 대한 평가는 일반적으로 설문조사 스타일의 질문을 통한 직접 프롬프팅에 의존하는데, 이는 종종 중립적이거나 안전성 정렬된 응답을 유도하고 모델의 근본적인 선호도를 포착하는 데 실패합니다. 우리는 세계 가치관 조사(WVS)의 두 가지 인글하트-웰철 축을 따라 LLM 내 잠재적인 문화적 표현을 프로빙하고 조종하는 프레임워크를 제안합니다. 사회적 가치 질문을 시나리오 기반의 행동 딜레마로 변환하여, 우리는 암묵적 가치를 측정하기 위해 토큰 수준 확률을 추출하고 재학습 없이 모델 행동을 변화시키기 위해 활성화 조종(activation steering)을 적용하며, 필요에 따라 국가 조건부 프롬프팅과 결합합니다. 세 가지 오픈 소스 LLM과 네 가지 목표 문화에 걸쳐, 우리는 조종 가능성에서 상당한 변화를 발견하고 잠재적 얽힘(latent entanglement)을 식별했는데, 여기서 한 문화적 차원에 대한 개입이 다른 차원에서의 변화를 유도합니다. 이러한 결합은 인간 WVS 데이터의 상관관계를 반영하며 활성화, 프롬프트 및 하이브리드 조종 전반에 걸쳐 지속됩니다. 이는 축 독립적 정렬을 제한하지만, 일반적인 작업 성능은 대체로 유지됩니다.