PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.23184v2cs.CL

LLM 정렬을 위한 암시적 피드백 기반 비편향 보상 모델링

Unbiased Reward Modeling from Implicit Feedback for LLM Alignment

인간 피드백 강화학습(RLHF)의 성공에도 불구하고, 기존의 보상 모델링 방법은 주로 명시적 피드백에 크게 의존하므로 수집 비용이 많이 들고 확장이 어렵습니다. 본 연구에서는 클릭, 복사, 건너뛰기와 같은 암시적 사용자 피드백으로부터 보상 모델을 학습하는 암시적 보상 모델링을 연구합니다. 암시적 피드백은 확장 가능하고 비용 효율적이지만 두 가지 주요 과제를 안고 있습니다. 첫째, 명확한 부정 샘플이 부족하여 표준적인 긍정-부정 분류 방법을 적용할 수 없습니다. 둘째, 응답마다 피드백을 유도하는 성향이 서로 달라 명확한 부정 샘플을 더욱 모호하게 만드는 선택 바이어스 문제를 겪습니다. 이러한 문제를 해결하기 위해, 암시적 피드백으로부터 비편향 보상 모델을 학습하는 ImplicitRM을 제안합니다. ImplicitRM은 계층화 모델을 사용하여 학습 샘플을 4개의 잠재 그룹으로 계층화하고, 이론적으로 비편향된 가능도 극대화 목적 함수를 유도함으로써 두 가지 과제를 모두 해결합니다. 다양한 대규모 언어 모델(LLM) 백본 및 벤치마크 데이터셋에 걸친 실험을 통해 ImplicitRM이 암시적 피드백으로부터 정확한 보상 모델을 학습하고 다운스트림 RLHF 태스크의 성능을 향상함을 검증합니다.

arXiv:2601.14032v2cs.CL

RM-Distiller: 생성형 LLM을 활용한 보상 모델 지식 증류

RM-Distiller: Exploiting Generative LLM for Reward Model Distillation

보상 모델(RM)은 대규모 언어 모델(LLM)을 인간 선호에 정렬하는 데 핵심적인 역할을 한다. 고품질 인간 선호 주석을 얻기 어렵기 때문에, 생성형 LLM으로부터 선호를 증류하는 것이 표준적인 관행으로 자리 잡았다. 그러나 기존 접근법은 대부분 교사 모델을 단순한 이진 주석자로 취급하여, RM 지식 증류를 위해 교사가 가진 풍부한 지식과 역량을 충분히 활용하지 못한다. 이를 해결하기 위해, 교사 LLM의 다면적 역량을 체계적으로 활용하도록 설계된 프레임워크인 RM-Distiller를 제안한다: (1) 정제(refinement) 역량—고도로 상관된 응답 쌍을 합성하여 세밀하고 대조적인 신호를 만든다. (2) 점수화(scoring) 역량—마진 인식 최적화 목표를 통해 RM이 정확한 선호 강도를 포착하도록 유도한다. (3) 생성(generation) 역량—교사의 생성 분포를 통합하여 RM을 정규화하고, RM이 근본적인 언어 지식을 보존하도록 한다. 광범위한 실험을 통해 RM-Distiller가 RM 벤치마크와 강화학습 기반 정렬 모두에서 기존 증류 방법을 크게 능가함을 보였으며, 다면적 교사 역량을 활용하는 것이 효과적인 보상 모델링에 핵심적임을 입증했다. 우리가 아는 한, 이는 생성형 LLM으로부터 RM을 증류하는 최초의 체계적 연구이다.

arXiv:2607.20494v1cs.AI

Regex로부터 LLM 정렬 분리: 적대적 변이 하 제로 커버리지와 지표 의존적 분기

Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation

프로덕션 LLM 애플리케이션은 일반적으로 모델 측 정렬 앞에 regex 필터를 겹쳐 쌓는다. 선행 연구는 활성 regex 필터 뒤에 라이브 Gemini 백엔드를 추가해도 측정 가능한 커버리지 이득이 없음을 밝혔다. 우리는 말뭉치가 \emph{regex를 우회하도록 설계되었을 때} 그 한계가 유지되는지 묻는다. $L_5$-no-regex — $L_4$-real(Gemini-2.5-flash, 토큰 예산 상한, rate limit, output scrub)과 동일하지만 9-패턴 필터가 비활성화됨 — 를 도입하고, 세 하위 말뭉치(carry-forward, regex-bypass, alignment-isolate)에 걸친 $N{=}45$개의 적대적 프로브에 대해 평가하며, Gemini 패러프레이즈와 PAIR로 $N{=}5$회 반복에 걸쳐 ${\sim}1{,}555$개의 프로브-실행 쌍으로 증폭한다. 1차 부분 문자열 분류기 하에서 H1은 기각된다: $L_5$ 차단률은 5개 OWASP LLM Top-10 카테고리 전반에서 $0,\%$이다 ($L_0$ 대비 $\Delta\text{pp}{=}0$, $p{=}1.00$; Wilson 상한 ${<}5,\%$). PAIR 변형에 대한 2차 LLM-judge 지표는 $56$--$100,\%$ 차단률을 보여준다 ($p{<}0.01$). 이는 정렬이 적대적으로 구성된 프로브에 반응하지만, 부분 문자열 매칭에는 너무 미묘한 거부를 생성함을 드러낸다. 하위 말뭉치 차등 예측은 뒷받침되지 않는다 ($p{=}1.00$). 정렬의 기여는 \emph{지표 의존적}이다: 자연어 유해 요청 프로브에서는 regex를 넘어 관측된 커버리지를 전혀 추가하지 않으며, 적대적으로 구성된 변형에서는 LLM judge가 부분 문자열 분류기가 놓치는 거부를 감지한다. 잠금 말뭉치, 변이 아티팩트, 내보내기 스크립트는 재현을 위해 공개된다.

arXiv:2406.01514v5cs.CL

견고한 플러그 앤 플레이 적응을 위한 분리형 정렬

Decoupled Alignment for Robust Plug-and-Play Adaptation

우리는 지도 미세조정이나 인간 피드백 강화학습(RLHF) 없이 대규모 언어 모델(LLM)을 정렬하기 위한 무학습 안전성 향상 방법을 제안한다. 핵심 아이디어는 모델이 하류 작업에 적응될 때 섀도우 정렬(shadow alignment)을 방지하기 위한 견고한 플러그 앤 플레이 접근법을 제공하는 것이다. 구체적으로, 지식 증류를 활용해 잘 정렬된 LLM으로부터 정렬 신호를 추출하고, 모델 융합(model fusion)을 통해 섀도우 정렬 모델에 주입하여 플러그 앤 플레이 방식의 정렬 교정을 가능하게 한다. 우리 방법론에서는 델타 디버깅(delta debugging)을 사용해 효과적인 증류에 필요한 지식의 핵심 구성 요소를 식별한다. 유해 질문 데이터셋(harmful question dataset)에서 우리 방법은 17개의 영향을 받은 LLM 전반에 걸쳐 평균 방어 성공률을 약 14.42% 향상시켜 최대 51.39%에 이르며, 성능을 저하시키지 않는다. 코드는 https://github.com/NWULIST/DAPA 에서 확인할 수 있다.

arXiv:2607.11471v1cs.CL

LLM은 HardChoices에 준비되어 있는가?

Are LLMs ready for HardChoices?

대규모 언어 모델(LLM)이 정치적으로 편향되어 있는지 확인하는 연구에 많은 관심이 쏟아져 왔다. 이 연구는 주로 좌-우 또는 진보-보수와 같은 고수준의 이념적 차원에 초점을 맞추어 왔으며, LLM이 학습 데이터의 편향을 상당 부분 모방하여 주로 좌파적·진보적 성향을 보이지만, 사후 학습을 통해 어느 정도 선호도를 바꾸도록 유도할 수 있음이 밝혀졌다. 이 짧은 노트에서 우리는 LLM이 주요 실질적 사회 문제—같은 이념 진영의 구성원들 사이에서도 종종 의견이 엇갈리는—에 대해 강건한 입장을 지니는지를, 새로운 데이터셋인 HardChoices를 통해 검토한다. 우리는 이러한 질문 방식에 직면했을 때 대형·소형 LLM 모두 놀랍도록 드물게 중립을 선언하고, 종종 일관성이 없으며, 실제로 입장을 표명하는 문제들에서는 현저한 수준의 의견 일치를 보임을 확인한다.

arXiv:2607.10871v1cs.AI

사색적 LLM을 향하여: 정신 건강 분야에서 LLM 정렬 평가 및 향상을 위한 모듈형 프레임워크

Toward Contemplative LLM: A Modular Framework for Evaluating and Enhancing LLM Alignment in Mental Health

사색적 전통(contemplative traditions)은 오랫동안 윤리적 행동과 친사회적 상호작용을 이끌어왔으며, 최근 연구에 따르면 사색적 원칙(예: 마음챙김, 연민, 비이원적 추론)이 대규모 언어 모델(LLM)의 정렬(alignment)을 위한 유망한 패러다임을 제공하고, 협력을 개선하며 LLM 출력의 윤리적 위반을 줄일 수 있음이 시사된다. 그러나 새로운 모델, 평가 지표, 벤치마크가 빠르게 등장함에 따라, 다양하고 변화하는 시나리오에서 사색적 원칙이 LLM 정렬을 향상시키는지, 그리고 어떻게 향상시키는지를 체계적으로 평가하는 것은 여전히 어려운 과제이며, 기존 접근법은 임시방편적이고 일반화에 실패하는 경우가 많다. 본 논문에서는 정신 건강 도메인을 초기 대상으로 하는 모듈형 확장 가능 평가 프레임워크를 제안한다. 이 프레임워크는 재사용 가능한 파이프라인을 통해 새로운 모델, 지표, 벤치마크의 원활한 통합을 지원한다. 현재 프레임워크는 기존 최첨단 결과를 재현하고, 모델·지표·벤치마크를 유연하게 조합하는 체계적인 교차 평가를 지원함으로써 공정한 비교와 심층적인 통찰을 가능하게 한다. 플러그 앤 플레이 방식의 프롬프팅 모듈은 사색적 원칙과 같은 윤리적 관점을 통합하기 위한 원칙적인 경로를 제공하여, 도메인 전문가가 기술적 전문 지식 없이도 정렬 기준을 정의할 수 있도록 한다. 정신 건강에 초점을 맞추어 시작되었지만, 이 프레임워크는 도메인에 구애받지 않으며 의사결정, 도덕적 추론, 인간-AI 협력 등의 영역으로 자연스럽게 확장된다. 계산적 평가와 인간 중심 윤리 추론을 연결함으로써, 본 연구는 인지과학, 행동경제학, 철학, 시스템 설계를 아우르는 학제 간 연구의 토대를 마련하며, 견고하고 신뢰할 수 있으며 사회적으로 유익한 인간-AI 생태계를 지향한다.

arXiv:2607.09262v1cs.CY

지정학적 정렬: 대규모 언어 모델에서의 지지 효과

Geopolitical alignment: Endorsement effects in large language models

대규모 언어 모델(LLM)은 정책 관련 정보를 요약하고 평가하는 데 점점 더 많이 활용되고 있으나, 그 판단이 지정학적 단서에 의해 암묵적으로 형성되는지는 아직 불분명하다. 본 연구는 지지 실험(endorsement experiment)을 통해 이 문제를 탐구한다. 이 실험에서 네 가지 LLM은 동일한 국제 경제 및 안보 정책을 평가하되, 각 정책이 미국, 유럽연합, 중국, 러시아 중 하나의 지지를 받는 것으로 무작위로 기술된다. 수치만 제시하는 조건에서 GPT-5, Claude Sonnet, Gemini는 중국 및 러시아가 지지한 정책을 미국 또는 유럽연합이 지지한 동일한 정책보다 상당히 낮게 평가하였으며, DeepSeek이 주요 예외였다. 두 번째 조건에서는 모델에 점수와 함께 간단한 근거를 제시하도록 요청하였다. 이 요청은 GPT-5와 Claude Sonnet에서 서방/비서방 간 전반적인 격차를 유지시키고, Gemini의 페널티를 완화시키며, DeepSeek에서는 중국 및 러시아에 대한 페널티를 뚜렷하게 활성화시켰다. 제시된 근거를 분석한 결과, 서방의 지지는 종종 신뢰성 단서로 취급되는 반면, 중국과 러시아의 지지는 데이터 보안, 주권, 감시, 또는 지정학적 위험에 대한 단서로 취급되는 것으로 나타났다. 이러한 발견은 정책 내용이 동일하게 유지되더라도 LLM의 정책 평가가 외국 지지자의 정체성에 따라 달라질 수 있음을 보여준다.

arXiv:2607.05842v1cs.SE

거부를 넘어서: 취약점 분석을 위한 정렬 및 어블리터레이티드 LLM의 동일 계보 연구

Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis

동일 계보 모델(Gemma, Qwen)에서 안전성 정렬 상태(Aligned)와 거부 제거 상태(Abliterated)를 비교해 취약점 탐지·위치 파악·패치 검증 등 소프트웨어 보안 워크플로우 전반의 방어적 유용성을 측정한 연구로, 거부율만으로는 평가가 불충분하며 응답 커버리지·정확도·실행 가능성을 함께 측정해야 함을 보인다. Abliterated 모델이 Vul4J 패치 검증에서 컴파일 성공률 32.8% 대 9.0%, Qwen 라인 수준 F1에서 3.91% 대 2.08%로 코드 기반의 심층 작업에서 우위를 보인 반면, 정렬 모델은 일부 고수준 분류 작업에서 여전히 강점을 유지했다.

arXiv:2607.04728v1cs.CL

오프-정책 토큰을 온-정책으로 전환하기: LLM 정렬 개선을 위한 플러그인 접근법

Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

대규모 언어 모델(LLM)을 위한 강화학습(RL) 사후 학습은 "롤아웃 후 업데이트"라는 효율적인 패러다임을 따르며, 이는 필연적으로 오프-정책 학습 데이터를 발생시킨다. 이를 해결하기 위해 중요도 샘플링(Importance Sampling, IS)이 제안되었으나, 토큰 수준의 비율이 긴 시퀀스에 걸쳐 누적되면서 심각한 분산 폭발을 초래한다. 자연스러운 아이디어는 오프-정책 토큰을 온-정책 토큰으로 "전환"하여 보정을 위한 중요도 점수를 불필요하게 만드는 것이다. 이 아이디어에 착안하여, 우리는 거부 샘플링에서 영감을 받은 선택적 중요도 샘플링(Selective Importance Sampling, SIS)을 제안한다. 구체적으로, SIS는 오프-정책 모델을 제안 분포로 간주하고 토큰 수준의 거부 테스트를 수행하는 방식으로 구현된다. 수락된 토큰은 온-정책으로 간주되어 단위 중요도 점수를 받고, 거부된 토큰은 표준 IS 보정을 유지한다. 제안된 SIS는 토큰 수준과 시퀀스 수준 오프-정책 그래디언트 추정량 간의 격차를 줄임이 이론적으로 증명되었다. SIS는 정책 손실에서 중요도 비율만 수정하는 플러그인으로 작동하여 무시할 수 있는 수준의 실행 시간 오버헤드를 추가하며, 다양한 RL 사후 학습 알고리즘과 결합할 수 있다. 수학 및 에이전트 벤치마크에서 밀집 모델과 전문가 혼합(MoE) LLM을 대상으로 한 실험에서 SIS는 모든 목표에서 일관된 성능 향상을 보이며, 오프-정책 데이터 환경에서 실질적으로 더 강한 견고성을 제공함을 입증한다.

arXiv:2510.24636v3cs.CL

OpenReward: Learning to Reward Long-form Agentic Tasks via Reinforcement Learning

기존 보상 모델(RM)이 외부 지식이 필요한 지식 집약적·장문 태스크에서 정확한 평가를 수행하지 못하는 문제를 해결하기 위해, 외부 도구를 능동적으로 호출하여 근거를 수집한 뒤 응답 품질을 판단하는 도구 증강 보상 모델 OpenReward를 제안한다. GRPO로 27K개 이상의 합성 쌍 데이터를 학습하여 도구 사용과 최종 판단 정확도를 공동으로 최적화하며, 5개 벤치마크에서 기존 RM 대비 큰 성능 향상을 보이고 추론 시 응답 선택 및 사후학습 데이터 필터링에 적용했을 때도 일관된 성능 개선을 달성했다.

arXiv:2606.28683v1cs.AI

Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas

Large Language Models (LLMs) often face ethical tradeoffs in which several responses may be defensible but express different priorities, such as fairness, honesty, courage, or restraint. We introduce VirtueMap, a framework for describing these patterns through an Aristotelian virtue-ethics lens. Instead of asking for a single correct answer, VirtueMap asks humans or LLMs to rank all five responses to each of seven general, non-lethal, non-political, and non-religious ethical dilemmas. To define the reference orderings used for scoring, we first proposed, for each dilemma and virtue, an ordering of the five responses from most to least expressive of that virtue. We then collected more than 100 respondent evaluations per ordering and retained it as operational ground truth only when at least 95% confirmed it. Rankings are scored against these retained orderings using normalized Borda alignment, yielding profiles over Practical Wisdom, Justice, Truthfulness, Courage, and Temperance. We apply VirtueMap to nine LLM families in a repeated-run evaluation and find high mean rank consistency (90.3%), with the largest differences appearing on Courage, Temperance, and Justice. We also release an interactive website that computes profiles locally in the browser and compares respondents with measured LLM profiles.

arXiv:2606.06797v1cs.CL

LLM 정렬에 한국 문화 적용: 문화적 일관성을 향하여

Korean Culture into LLM Alignment: Toward Cultural Coherence

대규모 언어 모델(LLM)의 문화적 측면 연구는 어떤 출력을 억제할 것인가라는 부정적 목표에 지배되어 있습니다. 우리는 회피해야 할 사항뿐만 아니라 문화적으로 일관된 응답이 무엇인지에 대한 실질적인 정의인 건설적인 대응책도 필요하다고 주장하며, 이를 한국어에 구체화합니다. 우리는 한국어 위해 분류 체계를 확장하는 프롬프트 기반 LLM 시드 생성기를 중심으로 정렬 데이터 파이프라인을 설계했으며, 그 핵심에는 한국 문화에 적응한 안전 응답 정책이 배치되어 있습니다. 이 정책은 한국 법적 체계, 사회적 규범, 해석 관습에 기반한 카테고리별 지침으로, 세 가지 최첨단 모델이 각각 후보 응답을 생성하는 기준이 됩니다. 결과물인 삼중쌍에 대한 DPO(직접 선호 최적화) 미세조정은 6개의 공개 가중치 LLM에서 한국 문화적 안전율을 향상시키는 동시에 한국어 일반 능력 벤치마크에서 큰 성능 저하를 일으키지 않았습니다. 정성적 출력 결과는 미세조정된 모델이 한국 법령과 제도적 절차를 명시하고, 적절한 경우 거절과 함께 건설적인 한국어 맥락 정보를 제공하는 것으로 나타났습니다.