PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23640v1cs.AI

인간에 정렬된 모델은 인간의 모델인가? 선호 정렬에서의 튜링 테스트 간극

Are Human-Aligned Models Models of Humans? A Turing-Test Gap in Preference Alignment

인간 피드백 정렬은 언어 모델을 유용한 어시스턴트로 만들었으며, 흔히 모델을 인간에 맞춘다고 설명된다. 그러나 사람들이 AI에게 선호하는 응답이, 그들 스스로 내놓을 응답과 같을 필요는 없다. 우리는 인간 선호에 대한 정렬과 인간 행동에 대한 정렬을 구분하고, 선호와 응답이 모두 전적으로 인간으로부터 나온 경우에도 인간 선호 정렬이 모델 행동을 덜 인간답게 만들 수 있음을 보인다. 우리는 이를 튜링 테스트 간극(Turing-test gap)이라 부른다. 선호 정렬이 인간 응답 분포를 보존하는 것은 제한적인 조건 하에서만 성립함을 보이고, 실제 인간 선호가 그 조건을 만족한다는 일관된 증거는 찾지 못했다. 실증적으로, 인간 응답 가능도의 손실은 선호 가중의 방향과 관계없이 그 강도가 커질수록 증가하며, 이 간극은 표준 DPO에서도 나타난다. 이러한 결과는 인간다움을 선호 정렬에서 자연스럽게 따라온다고 가정하는 것이 아니라, 정렬의 명시적 차원으로 확립한다.

arXiv:2607.22622v1cs.CL

SFT와 DPO를 통한 Text-to-SQL에서 언제 추론할지 학습

Learning When to Reason for Text-to-SQL via SFT and DPO

최근 Text-to-SQL 방법들은 사고의 연쇄(Chain-of-Thought, CoT)와 같은 추론 중심 패러다임에 크게 의존하며, 복잡한 벤치마크에서 상당한 성능 향상을 달성하지만 높은 추론 시간 오버헤드라는 대가를 치른다. 그러나 실제 쿼리의 상당 부분은 다단계 추론 없이 해결할 수 있는 단순 조회나 집계이므로, 강제된 추론은 낭비가 된다. 따라서 우리는 Text-to-SQL에 지도 미세조정(SFT)과 직접 선호 최적화(DPO) 모두에 자동 사고(auto-thinking) 메커니즘을 통합하는 프레임워크인 AutoThinkSQL을 제안한다. 우리 접근법은 모델이 단순 쿼리에 대해서는 추론을 동적으로 우회하고, 복잡한 쿼리에 대해서는 깊은 CoT를 호출할 수 있게 한다. Qwen3-Coder-30B-A3B에서 우리 방법은 Spider와 BIRD 벤치마크 모두에서 최고 대응 기준선과 비교해 일관된 성능 향상을 달성하는 동시에, CoT 전용 생성과 비교해 평균 출력 토큰을 각각 24.6%와 18.3% 줄이고, 평균 지연 시간을 17.1%와 11.5% 줄인다. 추가 분석에 따르면, 모델은 추론 결정을 쿼리 난이도와 정렬하는 법을 학습한다.

arXiv:2607.20515v1cs.AI

불일치하는 인간 피드백을 고려한 신뢰도 인식 LLM 정렬

Reliability-Aware LLM Alignment from Inconsistent Human Feedback

인간 피드백 강화학습(RLHF)은 대규모 언어 모델(LLM)을 인간 선호에 정렬하는 데 핵심적이다. 그러나 그 효과는 종종 인간 주석의 고유한 불일치성과 주관성으로 인해 훼손된다. 직접 선호 최적화(DPO)와 같은 기존 선호 최적화 프레임워크는 일반적으로 주석자 간 이견이 큰 모호한 쌍을 만장일치 합의가 있는 쌍과 동일하게 취급하여, 모델이 불일치하는 감독 신호에 과적합하게 만들고 차선의 정렬로 이어진다. 본 연구에서는 불일치하는 인간 피드백의 영향을 완화하도록 설계된 견고한 프레임워크인 신뢰도 유도 선호 최적화(RGPO)를 제안한다. RGPO는 주석자 신뢰도를 추정하고 노이즈가 있는 인간 피드백으로부터 잠재적 정답 레이블을 추론하여 견고한 선호를 식별한다. 또한 주석의 합의 수준에 따라 학습 목표를 동적으로 조절하는 신뢰도 인식 일관성 최적화를 도입하여, 모델이 높은 합의의 감독 신호를 우선시하도록 한다. LLM 정렬 벤치마크에 대한 광범위한 실험 결과, RGPO는 학습 데이터의 불일치와 노이즈를 효과적으로 줄이며 널리 채택된 RLHF 기준선 대비 우수한 성능을 달성함을 보여준다. 코드와 설정은 https://github.com/GenieHuang/RGPO 에서 확인할 수 있다.

arXiv:2607.15095v2cs.CL

Digital Pantheon: LLM 에이전트를 이용한 연립 형성 시뮬레이션 및 감사

Digital Pantheon: Simulating and Auditing Coalition Formation with LLM Agents

정치 연립의 형성은 구체적인 정책 목표와 깊이 뿌리내린 이념적 신념 모두에 의해 추진되는 복잡한 협상이다. 대규모 언어 모델(LLM)은 계산 정치학(computational political science)에 새로운 가능성을 열어 주지만, 인간 피드백 강화학습(RLHF)을 통해 내재된 중립성 및 유용성 편향은 일관된 당파적 행동을 지속하는 것을 막는다. 우리는 지도 미세조정(SFT), 직접 선호 최적화(DPO), 검색-증강 생성(RAG)을 결합하여 사실적 그라운딩(grounding)과 이념적 정렬(alignment)을 조화시키는 다중 에이전트 프레임워크를 제안한다. DPO는 공격적인 당별 페르소나를 주입하고, 당별 RAG 파이프라인은 각 에이전트를 공식 정강에 제한한다. 우리는 2019년 플랑드르 선거에 이 프레임워크를 적용하고, 당파적 에이전트를 formateur가 중재하는 허브-앤-스poke 협상에 배치한다. 창발적(emergent) 협상을 해석 가능하게 하기 위해, 우리는 최종 합의의 모든 조항을 정강 출처까지 추적하고 다섯 가지 출처 상태로 분류하는 다층 정보 계보 토폴로지(Multi-Layered Information Lineage Topology, MILT)를 도입하고, 합의를 형성한 당을 식별하기 위해 추적 가능한 기여를 집계하는 연립 영향력 점수(Coalition Influence Score, CIS)를 제안하며, 각 시뮬레이션 조항을 역사적으로 채택된 연립 합의와 대조하여 벤치마킹하는 실세계 그라운딩 패스를 수행한다. 세 번의 독립 시뮬레이션에서 프레임워크는 안정적인 승자와 순위(N-VA가 CD&V와 Open Vld보다 앞서는)를 산출하며, 정강에 기반한 계보는 실세계 구현을 신뢰성 있게 예측하는 반면 환각(hallucination)된 내용은 그렇지 않다. 그 결과는 당 호환성과 formateur 중재 타협의 사전(ex-ante) 탐험을 위한 투명하고 확장 가능한 테스트베드가 된다.

arXiv:2607.10601v1cs.AI

Agentic-DPO: 전문가 궤적에서의 모방에서 에이전틱 정책 최적화로

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

대규모 언어 모델(LLM) 에이전트는 일반적으로 지도 미세조정(SFT)을 사용하여 전문가 궤적으로부터 학습되며, 이는 다중 턴 에이전트 행동을 일반적인 텍스트 모방으로 취급합니다. 이 방식은 단순하고 비용이 낮지만, 각 상태에서 그럴듯한 실수에 대응하여 올바른 행동을 선택하도록 에이전트를 학습시키는 것이 아니라 전문가 행동의 순서를 모방하는 것만을 학습합니다. 이 문제를 완화하기 위한 기존 방법으로는 선호도 학습 또는 강화학습이 있지만, 일반적으로 높은 비용의 환경 롤아웃과 보상 모델이 필요합니다. 우리는 Agentic-DPO를 제안합니다. 이는 전문가 궤적을 상태 조건부 선호도 지도(supervision)로 변환하는 경량 오프라인 에이전트 정책 최적화 방법입니다. 각 전문가 행동 상태에서 Agentic-DPO는 현재 상태로부터 단일 스텝 행동을 샘플링하고, 그럴듯한 잘못된 행동을 부정 예시로 취급하며, DPO 스타일의 선호도 목적 함수를 사용하여 전문가 행동과 대조합니다. 선호도 학습에서 정책과 스키마가 혼합되는 것을 방지하기 위해, 우리는 Policy-Preserving Augmentation(PPA)을 도입합니다. 이는 전문가 정책을 고정한 채 여러 스키마 하에서 동일한 잠재 궤적을 렌더링합니다. Agentic-DPO는 온라인 환경 롤아웃, 보상 모델, 또는 전체 궤적에 대한 학생 탐험이 필요하지 않습니다. 우리는 StableToolBench, tau-bench retail, Mind2Web에 걸쳐 실험을 수행하였으며, Agentic-DPO는 다양한 모델 규모에서 모방을 넘어 에이전트를 일관되게 향상시켰습니다. 특히, 9B 모델에서 tau-bench 정확도를 21.7%(SFT)에서 41.4%로 향상시켜, 스텝 수준의 롤아웃만을 사용하고 그래디언트 스텝 중 환경 상호작용 없이 동일한 백본 하에서 온라인 GRPO와 동등한 성능을 달성하였습니다. 이 결과는 전문가 궤적이 시연에서 상태 수준의 행동 선호도로 변환될 때 저비용 에이전틱 정책 최적화를 지원할 수 있음을 시사합니다. Agentic-DPO의 코드는 https://github.com/Schuture/Agentic-DPO에서 공개되어 있습니다.

arXiv:2604.20140v2cs.AI

HiPO: 대규모 언어 모델의 적응적 추론을 위한 계층적 선호 최적화

HiPO: Hierarchical Preference Optimization for Adaptive Reasoning in LLMs

직접 선호 최적화(DPO)는 대규모 언어 모델(LLM)을 인간의 선호에 정렬하기 위한 효과적인 프레임워크이지만, 복잡한 추론 작업에서 어려움을 겪는다. DPO는 선호 응답이 비선호 응답보다 전체적으로 생성될 가능도를 최적화하며, 추론 작업에서 전형적인 다단계 풀이의 부분 구간에 피드백을 제공할 세밀함이 부족하다. 기존 방법들은 안정적인 선호 학습(예: KTO, RSO 같은 DPO 변형)이나 구조화된 추론(예: ReMA의 멀티 에이전트 강화학습(RL) 프레임워크, Tree of Thoughts) 중 하나에는 뛰어나지만, 이 두 가지 상호보완적인 강점을 결합하는 데는 실패한다. 우리는 HiPO(Hierarchical Preference Optimization)를 제안한다. 이는 DPO의 확장으로, 응답을 추론 구간(질의 명확화 및 맥락, 추론 단계, 답변)으로 분리하고 각 구간의 DPO 손실의 가중합으로 전체 손실을 계산한다. 우리의 접근 방식은 구간별 학습을 가능하게 하면서 DPO의 연산 효율성과 학습 안정성을 유지한다. Math Stack Exchange 선호 데이터셋을 사용하여 HiPO와 DPO로 파인튜닝된 여러 7B LLM에 대해, HiPO로 학습된 모델이 다양한 일반적인 수학 벤치마크에서 다른 모델들을 능가하고, GPT-4.1로 측정한 구성력, 논리적 흐름, 일관성에서도 더 우수함을 입증한다.

arXiv:2606.28898v1cs.CL

PASTA: 대규모 언어 모델의 지식 업데이트를 위한 패러프레이징 및 자기학습 접근법

PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs

사전학습된 대규모 언어 모델(LLM)에서의 지식 업데이트는 여전히 중요한 과제로 남아 있다. 지속적 학습(continual training)은 지식 업데이트를 위한 잠재적 방법을 제공하지만, 여전히 상당한 기술적 어려움을 수반한다. 더불어, LLM은 뉴스 기사와 같은 특정 사실 정보에 관한 질문에 정확하게 답하는 데 어려움을 겪는 경우가 많은데, 이는 연구 커뮤니티에서 널리 인식된 능력의 한계이다. 본 논문은 뉴스 기사의 상세한 사실 정보를 새로운 지식으로 LLM에 통합하기 위한 단순하면서도 강력한 프레임워크인 PASTA를 제안하며, 해당 지식에 관한 질문에 정확하게 답하는 특화 모델 구축을 주요 목표로 한다. 본 프레임워크는 데이터 증강, 질의응답 생성, 그리고 지식 덮어쓰기와 환각(hallucination) 억제를 동시에 가능하게 하는 새로운 자기학습 DPO 프로세스를 결합한다. 학습 파라미터와 데이터 구성에 대한 체계적인 분석을 통해 효과적인 지식 업데이트에 관한 인사이트를 제공한다. 기반 모델의 지식 컷오프 이후 게재된 웹 기사를 대상으로 한 실험적 평가에서, PASTA는 일반 언어 능력을 유지하면서 정확도를 0.02에서 0.82로 현저히 향상시켜, 도메인 특화 LLM 구축에 있어 그 효과성을 입증하였다.

arXiv:2606.12505v1cs.LG

페널라이제이션을 통한 직접 선호 최적화 향상

Boosting Direct Preference Optimization with Penalization

정적 데이터셋에 저장된 응답 쌍만 사용하는 기존 직접 선호 최적화(DPO)의 한계를 극복하기 위해, 참조 모델이 생성할 응답에 대한 게이트된 페널티를 추가하는 DPOP를 제안한다. DPOP는 Llama-3-8b-it 및 Gemma-2-9b-it 모델에서 AlpacaEval 2.0의 길이 제어 승률을 기존 방법 대비 각각 5.3%와 4.4% 향상시켰다.

arXiv:2605.12288v3cs.CL

TokenRatio: 비율 매칭을 통한 원칙에 기반한 토큰 수준 선호 최적화

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

시퀀스 수준 선호 최적화(DPO)의 한계를 해결하기 위해 토큰 수준의 Bradley-Terry 선호 모델과 Bregman 발산 밀도 비율 매칭을 활용하는 TBPO를 제안합니다. 해당 방법은 인스트럭션 수행 및 요약 벤치마크에서 정렬 품질과 학습 안정성을 높이고 출력 다양성을 증가시킵니다.

arXiv:2606.06797v1cs.CL

LLM 정렬에 한국 문화 적용: 문화적 일관성을 향하여

Korean Culture into LLM Alignment: Toward Cultural Coherence

대규모 언어 모델(LLM)의 문화적 측면 연구는 어떤 출력을 억제할 것인가라는 부정적 목표에 지배되어 있습니다. 우리는 회피해야 할 사항뿐만 아니라 문화적으로 일관된 응답이 무엇인지에 대한 실질적인 정의인 건설적인 대응책도 필요하다고 주장하며, 이를 한국어에 구체화합니다. 우리는 한국어 위해 분류 체계를 확장하는 프롬프트 기반 LLM 시드 생성기를 중심으로 정렬 데이터 파이프라인을 설계했으며, 그 핵심에는 한국 문화에 적응한 안전 응답 정책이 배치되어 있습니다. 이 정책은 한국 법적 체계, 사회적 규범, 해석 관습에 기반한 카테고리별 지침으로, 세 가지 최첨단 모델이 각각 후보 응답을 생성하는 기준이 됩니다. 결과물인 삼중쌍에 대한 DPO(직접 선호 최적화) 미세조정은 6개의 공개 가중치 LLM에서 한국 문화적 안전율을 향상시키는 동시에 한국어 일반 능력 벤치마크에서 큰 성능 저하를 일으키지 않았습니다. 정성적 출력 결과는 미세조정된 모델이 한국 법령과 제도적 절차를 명시하고, 적절한 경우 거절과 함께 건설적인 한국어 맥락 정보를 제공하는 것으로 나타났습니다.