PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03025v2cs.AI

선호도의 검증 가능성, 표현 가능성, 그리고 암묵적 구성요소

Verifiable, Articulable, and Tacit Components of Preference

단편 소설을 흥미진진하게 만들거나, 뉴스 기사를 보도 가치 있게 만들거나, 수학적 증명을 우아하게 만드는 것은 무엇일까요? 이러한 개념들은 명시적인 표현(articulation)이나 검증(verification)에 저항하며, 그 의미는 최소한 부분적으로는 암묵적(tacit)입니다. 그러나 현대의 AI 모델(model)들은 주로 명시적으로 표현된 원칙(constitution), 채점 기준표(rubric), 검증기(verifier)를 통해 개선되며(예: RLAIF 및 RLVR), 선호도의 암묵적 구성요소는 대체로 충분히 연구되지 않았습니다. 본 연구에서는 7개 창의적 영역에 걸쳐 3억 1,700만 개의 인간 선호도 판단으로 라벨링된 280만 개의 텍스트와 42개 벤치마크(benchmark) 과제를 포함하는 대규모 라벨링 선호도 데이터셋(dataset) CreativePreferences를 소개합니다. 우리는 이러한 라벨을 실행 가능한 프로그램, 루브릭 뱅크, 조밀하게 학습된 모델(각각 V, A, VAT)로 모델링합니다. 그 결과 견고한 표현 가능성 격차(VAT-VA)와 검증 가능성 격차(VAT-V)를 관찰했습니다. 또한 표현 가능하고 검증 가능한 지표를 발견하고, 허위 변수를 식별하며, 포획-재포획(capture-recapture) 방식을 통해 미발견 지표의 가치를 추정하는 새로운 측정 접근법으로 각 격차의 상한 및 하한을 추정합니다. 이러한 격차는 모든 영역에서 발생하며, 전통적으로 완전히 검증 가능한 것으로 취급되던 영역(예: 수학 및 소프트웨어 공학과 같은 정확성 중심 영역, 뉴스, 특허, 동료 평가와 같은 주장 및 신규성 중심 영역)에서도 나타납니다. 격차의 크기는 도메인에 따라 달라지며(예: 동료 평가 및 창작 글쓰기가 가장 큰 표현 가능성 격차를 보임), 콜린스(Collins)의 집단적 암묵지(collective tacit knowledge)와 일치하게 판단에 참여하는 사람이 많아질수록 격차가 넓어집니다. 우리는 두 가지 결과를 제시합니다: (1) 인간 생성물에 대해 전체 모델이 명시된 기준과 종종 불일치하면서도 인간 선호도와 더 밀접하게 일치하며, (2) 굿하트의 법칙(Goodhart's law)과의 비유처럼 선호도를 명시적으로 표현하는 행위 자체가 선호도를 암묵적 차원으로부터 벗어나게 만듭니다. 표현 가능성 및 검증 가능성 격차는 중대한 영향을 미칩니다. 우리는 어떤 과제를 프롬프트로 처리할 수 있는지, 학습(learning) 메커니즘을 어떻게 개선할 수 있는지, 그리고 언제 판단을 인간에게 맡겨야 하는지에 대한 권장 사항을 제시합니다.

arXiv:2610.02974v1cs.RO

언어 사전분포에서 현장 적응까지: 주행 가능성 추정을 위한 선호도 학습

From Language Priors to Field Adaptation: Preference Learning for Traversability Estimation

이미지 기반 주행 가능성(traversability) 추정은 로봇 플랫폼, 배포 도메인, 임무 선호도에 본질적으로 의존하므로, 특정 목적에 맞춰 학습된 모델의 적용 가능성을 제한합니다. 도메인 적응을 용이하게 하기 위해, 본 연구는 샘플 효율적인 선호도 학습을 사용하여 타깃 도메인에서 필요한 어노테이션 수를 줄이는 것을 목표로 합니다. 제안하는 방법은 동결된 비전-언어(vision-language) 특징(feature) 공간에서 폰 미제스-피셔(von Mises-Fisher) 혼합 프로토타입을 통해 주행 가능성을 표현합니다. 상대적 자연어 규칙은 상식적 사전분포(commonsense prior)를 제공하는 한편, 희소한 상대적 이미지 어노테이션은 계산 및 샘플 효율적인 미세조정(fine-tuning)을 통해 프로토타입의 방향과 효용을 타깃 도메인에 적응시킵니다. WayFAST에서의 실험은 샘플 효율적인 이미지 기반 적응을 가능하게 하면서도 엔드투엔드(end-to-end)로 학습된 추정기와 대등한 정확도를 보임을 입증합니다. 정성적 실험은 언어 사전분포의 제로샷(zero-shot) 적용 가능성과 미세조정된 추정기가 시맨틱 맵에서 향상된 조밀 예측(dense prediction)을 수행함을 추가로 보여줍니다. 또한 의미상 가까운 자연어 프롬프트를 분석하여 학습된 프로토타입의 의미론적 해석을 통해 평가를 보완합니다. 코드와 학습된 추정기는 https://resireg.github.io 에서 확인할 수 있습니다.

arXiv:2610.00666v1cs.CV

VisionQ: 컴퓨터 비전의 정성적 분석을 위한 VLM-as-a-Judge 분류 체계, 데이터셋 및 벤치마크

VisionQ: VLM-as-a-Judge Taxonomy, Dataset and Benchmark for Qualitative Analysis in Computer Vision

정성적 비교 그림은 컴퓨터 비전(CV) 논문의 핵심적인 증거이며, 이를 평가하기 위해 비전-언어 모델(VLM)이 점점 더 많이 사용되고 있습니다. 그러나 기존 벤치마크는 스칼라 품질 점수나 전반적인 선호도만을 평가하므로, 평가 모델이 잘못된 시각적 이유로 선호되는 이미지를 선택하더라도 보상을 받을 수 있습니다. 우리는 모든 판단을 명시된 시각적 기준에 그라운딩(grounding)하는 피어 리뷰된 CV 비교 그림으로 구축된 최초의 벤치마크인 VisionQ를 소개합니다. 각 질문은 기준을 명시하며, 저자가 해당 기준에서 최고라고 밝힌 출력을 선택할 때만 평가 모델이 정답으로 인정받습니다. 우리는 이 태스크를 기준 조건부 시각적 구별(criterion-conditioned visual discrimination)이라고 명명합니다. VisionQ는 다음 네 가지로 구성됩니다: (1) 1,800개 이상의 검증된 비교 그림과 방법별 크롭 이미지를 저자가 명시한 시각적 주장과 연결하는 3,911개의 수동 주석 데이터 포인트를 포함하는 1,409편의 CVPR 및 ICCV 논문 코퍼스; (2) 정성적 판단 이면의 시각적 기준을 다루는 6개 축, 51개 리프(leaf) 분류 체계; (3) 방법 이름, 캡션, 논문 신원을 숨기고 기준별 정확도를 보고하는 기준 조건부 평가 프로토콜; (4) 대칭적 증거 쌍으로 학습(training)되어 미공개 테스트셋에서 마지막 옵션 예측을 7.0%p 낮추고 정확도를 2.5%p 향상시킨 DPO 튜닝된 Gemma-4-E4B 평가 모델인 VisionQ-Judge. 20개의 오픈소스 및 상용 VLM 평가 모델을 평가한 결과, 가장 우수한 모델도 63.1%의 정확도(우연 확률 32.2%)에 불과했으며 기준에 따라 신뢰도가 크게 달라짐을 확인했습니다. 코드: https://github.com/ReML-AI/visionq. 데이터: https://huggingface.co/datasets/visionq-anon-2026/VisionQ-1k.

arXiv:2609.28427v1cs.LG

외골격 개인화를 위한 문맥 연속적 선호도 학습

Context-Continuous Preference Learning for Exoskeleton Personalization

다양한 동작 조건에 걸쳐 외골격(exoskeleton) 보조를 개인화하는 것은 사용자 피드백을 수집하는 데 필요한 시간과 신체적 노력으로 인해 제약을 받습니다. 본 연구에서는 사용자의 선호도 지형(preference landscape)이 동작 조건 전반에서 매끄럽게 변화하는지, 그리고 이러한 연속성이 제한된 피드백으로부터의 학습을 언제 뒷받침하는지 조사했습니다. 본 논문에서는 문맥별 효용 추정치를 유지하면서 인접한 문맥 간 관측치를 공유하는 가우시안 프로세스(Gaussian-process) 선호도 모델인 CCPL(Context-Continuous Preference Learning)을 제안합니다. 성인 9명의 발목 및 팔꿈치 외골격 선호도 데이터를 바탕으로 시뮬레이션과 후향적 분석을 통해 CCPL을 평가했습니다. 시뮬레이션에서 CCPL은 선호도가 매끄럽게 변할 때 독립적 학습(independent learning) 대비 재구성(reconstruction) 및 선호도 기반 베이지안 최적화(Bayesian optimization) 성능을 향상시켰으나, 연속성이 약할 때는 부정적 전이(negative transfer)를 보였습니다. 두 인간 대상 연구 모두에서 각 참가자 및 문맥에 대해 개별적으로 추정된 전체 데이터 기준 지형은 인접한 동작 조건 간에 더 유사한 경향을 보였습니다. 문맥당 5회의 노출 조건에서 CCPL은 독립적 학습 대비 이러한 기준과의 평균 재구성 상관계수를 발목 보조의 경우 0.644에서 0.720으로, 팔꿈치 보조의 경우 0.476에서 0.526으로 높였습니다. 5회 노출 예산은 해당 상관계수와 일치시키는 데 필요한 추정 독립적 학습 예산보다 발목의 경우 약 37%, 팔꿈치의 경우 약 17% 더 낮았습니다. CCPL은 또한 독립적 학습 대비 홀드아웃(held-out) 반응 예측을 개선한 반면, 풀링 학습(pooled learning) 대비 이점은 다양하게 나타났습니다. 이러한 결과는 제한된 피드백 하에서 선호도 관측치를 공유하기 위한 근거로서 문맥 연속성을 지지하지만, 인간 대상의 온라인 개인화에 대한 이점은 여전히 확립되어야 할 과제로 남아 있습니다.

arXiv:2609.26853v1cs.LG

COPE: 사용자 임베딩 및 자체 평가를 통한 희소한 사용자 피드백 하에서의 LLM 지속적 개인화

COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation

대규모 언어 모델(LLM)이 다양한 벤치마크에서 뛰어난 성과를 거두었지만, 규범적 가치에 맞춘 정렬(alignment)은 종종 다양한 사용자 선호도를 반영하지 못하는 획일화된 응답을 초래합니다. 기존의 학습(training) 불필요 방식은 프롬프트 엔지니어링을 통해 귀중한 컨텍스트 윈도우(context window)를 차지하는 경우가 많으며, 학습 기반 방식은 일반적으로 사후 학습(post-training) 이후 정적인 상태로 유지되어 실제 환경에서 요구되는 지속적인 최적화를 지원하지 못합니다. 이러한 문제를 해결하기 위해, 희소한 사용자 피드백이 존재하는 실제 상호작용 환경에 맞춘 새로운 최적화 프레임워크인 COPE(Continual Optimization with Personalized embedding and self-Evaluation)를 제안합니다. 본 프레임워크는 각 사용자에게 학습 가능한 개인화 임베딩을 할당하고, 단일 업데이트 단계 내에서 선호도 포착, 자체 평가 보정, 개인화된 응답 최적화를 시너지 있게 통합합니다. 본 연구의 핵심적인 혁신은 자체 평가를 활용하여 대리 보상(proxy reward)을 생성함으로써 명시적인 사용자 피드백이 제공되지 않는 경우에도 지속적인 모델 업데이트를 가능하게 한다는 점입니다. 실험 결과에 따르면 COPE는 희소한 피드백 환경에서 강력한 학습 불필요 및 학습 기반 베이스라인 모델들을 일관되게 능가하며, 검색-증강 프롬프팅(RAP)과도 상호보완적으로 작동함을 보여줍니다. 추가 분석을 통해 COPE의 신뢰할 수 있는 자체 평가, 유의미한 선호도 패턴, 안정적인 일반 성능, 그리고 선호도 변화 및 대체 평가자 환경에서의 견고성을 확인했습니다.

arXiv:2601.06352v3cs.AI

CARD: 개인화 텍스트 생성을 위한 보상 유도 디코딩 기반 클러스터 수준 적응

CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation

대규모 언어 모델(LLM)을 개별 사용자에 맞게 적응시키는 것은 세밀한 개인화와 확장 가능한 배포 사이의 긴장 때문에 여전히 어렵다. 우리는 점진적 정교화를 통해 효과적인 개인화를 달성하는 계층적 프레임워크인 CARD를 제안한다. CARD는 먼저 공유된 스타일 패턴에 따라 사용자를 클러스터링하고 그룹별 LoRA 어댑터를 학습하여, 견고한 일반화와 저자원 환경에서의 강한 성능을 가능하게 한다. 각 클러스터 내 개인 차이를 포착하기 위해, 사용자가 작성한 텍스트와 클러스터 수준 생성물을 대조하는 암시적 선호 학습 메커니즘을 제안하여, 모델이 수동 주석 없이 사용자별 스타일 선호를 추론할 수 있게 한다. 추론 시 CARD는 기본 모델을 고정한 채, 경량 사용자 선호 벡터와 저랭크 로짓 보정을 통해 디코딩 단계에서만 개인화를 주입한다. LaMP 및 LongLaMP 벤치마크 실험에서 CARD는 기준선 대비 우수한 생성 품질을 달성하면서, 실용적 개인화 텍스트 생성을 위한 효율성과 확장성을 크게 개선함을 보여준다.

arXiv:2503.09020v4cs.SE공식 코드 · Papers with Code

품질 인식 선호 학습을 통한 LLM 생성 코드의 비기능적 품질 준수 향상

Enhancing the Non-Functional Quality Compliance of LLM-Generated Code through Quality-Aware Preference Learning

대규모 언어 모델(LLM)은 상용 코드 자동완성 엔진에 널리 채택되어 코딩 효율과 생산성을 크게 높였다. 그러나 기능적으로 올바른 LLM 생성 코드라도 코딩 표준과 모범 사례를 위반하는 비기능적 품질 문제—예를 들어 스타일 불량이나 유지보수성 부족—를 보일 수 있다. 이를 해결하기 위해, 우리는 LLM이 기준을 준수하는 코드를 생성하도록 유도하는 품질 인식 선호 학습 프레임워크를 제안한다. 우리 접근법은 세 단계로 구성된다. 첫째, 각 쌍이 특정 비기능적 품질 이슈를 보이는 코드와 그 이슈를 해결한 수정 버전을 포함하는, 기준 위반·기준 준수 샘플 쌍으로 데이터셋을 구축한다. 둘째, 품질에 민감한 코드 영역을 강조하기 위한 적응형 토큰 가중 메커니즘을 설계한다. 셋째, 순위 손실(ranking loss)과 언어 모델링 손실 및 KL 발산을 결합한 하이브리드 최적화 목표를 도입하여 효과적인 비교 최적화를 가능하게 한다. DeepSeek-Coder와 Qwen2.5-Coder에 대한 광범위한 실험에서, 우리 방법은 기능적 정확성을 유지하면서 목표 비기능적 품질 기준 준수를 크게 개선하였으며, Qwen2.5-Coder에 대해 MBPP-sanitized에서 Quality Reciprocal Score(QRS)가 75.7% 상대 증가를 달성했다. 7B 모델의 미세조정에는 3시간 미만이 필요하여 실용적 타당성이 높음을 보여준다. 절제 연구와 사용자 연구가 제안 프레임워크의 효과를 추가로 뒷받침한다.

arXiv:2609.23673v1cs.CV

어떤 지형이 더 나은가? 비포장도로 주행 가능성 순위 지정을 위한 VLM 프로토타입 기반 선호도 학습

Which Terrain Is Better? Preference Learning with VLM Prototypes for Off-Road Traversability Ranking

비전 기반 비포장도로 내비게이션에서 로봇은 회피해야 할 장애물뿐만 아니라 어떤 지형이 더 나은지도 파악해야 합니다. 첫 번째 문제는 여유 공간(freespace) 감지나 시맨틱 분할(semantic segmentation)로 처리됩니다. 두 번째 문제는 대개 주행 가능성 점수(traversability score)로 해결되지만, 이러한 점수에는 보편적인 정답(ground truth)이 존재하지 않아 인식이 시맨틱 클래스별로 미리 정의된 값이나 여유 공간 신뢰도에 의존하게 됩니다. 이러한 점수들은 특정 영역이 무엇인지를 나타낼 뿐, 로봇이 어떤 영역을 선호해야 하는지는 알려주지 못합니다. 이에 따라 본 연구에서는 이러한 선호도를 두 영역 간의 비교를 통해 지도(supervision)될 수 있는 가시적 지형 순서 지정인 시각적 주행 가능성 순위 지정(visual traversability ranking)으로 정식화합니다. 표준 어노테이션에는 선호도가 직접 라벨링되어 있지 않지만, 그 방향성이 내포되어 있습니다. 본 논문에서는 이러한 어노테이션을 정렬된 영역 쌍으로 변환하고, 동결된(frozen) 비전-언어 모델(VLM) 패치 토큰(token)에 작은 판독부(readout)를 이 쌍에 맞춰 적합시키는 TravPro를 제안합니다. 토큰은 고정된 프로토타입 뱅크로 한 번 클러스터링되며, 판독부는 프로토타입별 선호도 점수를 학습합니다. 그런 다음 판독부는 모든 패치에 적용되어 픽셀 단위 어노테이션 없이도 희소한 비교를 조밀한 선호도 유사 라벨(pseudo-label)로 변환하는 교사(teacher) 역할을 수행합니다. RGB 학생(student) 모델은 장애물과 배경을 순위 지정에서 제외하는 비지면(non-ground) 마스크와 함께 이 지도들을 조밀한 지형 선호도 맵으로 증류(distill)합니다. 5개의 미확인(unseen) 도메인에서 TravPro는 가장 강력한 기준선(baseline)의 0.783 대비 0.915의 평균 쌍별 정확도(mean pairwise accuracy)를 달성하여, 클래스별 수치로는 표현할 수 없는 노면 상태에 민감한 순서 지정을 생성합니다. 동일한 VLM과 동일한 지도 방식을 사용하더라도 VLM에 프롬프트(prompt)를 주고 지도를 조밀한 타깃으로 사용할 경우에는 이러한 순서가 도출되지 않으며, 중요한 것은 이들을 활용하는 방식입니다.

arXiv:2604.24952v2cs.CV

노이즈가 있는 선호로부터의 학습: 직접 선호 최적화를 위한 준지도 학습 접근법

Learning from Noisy Preferences: A Semi-Supervised Learning Approach to Direct Preference Optimization

인간의 시각적 선호는 본질적으로 다차원적이며, 미학, 디테일 충실도, 의미 정렬을 포괄한다. 그러나 기존 데이터셋은 단일의 전체적 주석만 제공하여 심각한 레이블 노이즈를 초래한다. 일부 차원에서는 뛰어나지만 다른 차원에서는 부족한 이미지가 단순히 승자 또는 패자로만 표시된다. 우리는 다차원 선호를 이진 레이블로 압축하면 Diffusion 직접 선호 최적화(DPO)를 오도하는 상충하는 그래디언트 신호가 발생함을 이론적으로 보인다. 이를 해결하기 위해 우리는 Semi-DPO를 제안한다. 이는 일관된 쌍을 깨끗한 레이블 데이터로, 상충하는 쌍을 노이즈가 있는 비레이블 데이터로 취급하는 준지도 학습 접근법이다. 우리 방법은 합의로 필터링된 깨끗한 부분집합으로 학습을 시작한 다음, 이 모델을 암묵적 분류기로 사용하여 노이즈 집합에 대한 의사 레이블을 생성하고 반복적으로 정제한다. 실험 결과는 Semi-DPO가 최신(state-of-the-art) 성능을 달성하고, 학습 중 추가 인간 주석이나 명시적 보상 모델 없이도 복잡한 인간 선호와의 정렬을 크게 개선함을 보여준다. 코드와 모델은 https://github.com/L-CodingSpace/semi-dpo 에서 공개할 예정이다.

arXiv:2607.02672v2cs.AI

내적 다원주의와 쌍별 비교의 한계

Internal Pluralism and the Limits of Pairwise Comparisons

지역적 쌍별 비교(local pairwise comparison)는 참여적 설계(participatory design)나 정렬(alignment) 등에서 사람들이 의사결정 규칙이 어떻게 작동하기를 원하는지 학습하기 위한 표준적인 도구다. 그러나 이 방법의 사용은 두 가지 강한 가정을 내포한다: 지역적 비교가 자동화된 의사결정 규칙의 동작 방식에 대한 개인의 선호를 파악하기에 충분한 증거가 된다는 것과, 사람들이 항상 해당 비교에 결정적으로 답할 수 있다는 것이다. 우리는 이러한 가정들이 내적 다원주의(internal pluralism) 하에서 어떻게 훼손될 수 있는지를 탐구한다. 내적 다원주의란 개인이 규칙이 어떻게 동작해야 하는지에 대한 복수의 권위 있는 우선순위에 따라 의사결정 규칙을 평가한다는 개념이다. 우리는 의사결정 규칙에 대한 이러한 다원적 선호의 형식적 모델을 제시하고, 이를 통해 강제적 지역적 쌍별 비교 데이터의 두 가지 명확한 실패 유형을 규명한다. 첫째, 비례성(proportionality), 평등주의(egalitarianism), 동등 처우(equal treatment)와 같은 우선순위는 본질적으로 전역적(global)이다: 한 사례에서 이들이 함의하는 바는 다른 곳에서 일어나는 일에 따라 달라질 수 있으므로, 지역적 비교로는 이를 포착하지 못할 수 있다. 둘째, 우선순위가 지역적으로 표현 가능한 경우에도, 강하게 견지되는 우선순위들 사이의 긴장이 내적 갈등을 야기하여, 비교가 강제될 때 잠재적으로 비용이 큰 행동 왜곡을 초래할 수 있다. 이어서 우리는 대안, 즉 사람들이 결정 불능(indecision)을 보고하도록 허용하는 방안을 우리의 모델을 통해 탐구하며, 그 결과 이러한 방식이 선호를 정확하게 학습하는 데 필요한 질의(query) 수를 상당히 줄일 수 있음을 시사한다. 마지막으로, 우리의 모델이 이러한 우선순위를 직접 도출하는 선호 학습(preference-learning) 방법을 어떻게 지향하는지를 설명하며, 이를 통해 사람들이 가치 있게 여기는 것에 대한 보다 충실하고 해석 가능한 설명을 도출할 수 있음을 논의한다.

arXiv:2607.14180v1cs.LG

RENEW: 선호로부터 월드 모델 학습 및 모델 착취 복구를 향하여

RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

월드 모델은 오프라인 강화학습(RL)에서 표본 효율을 높이고 고정된 데이터셋을 넘어 경험을 생성하기 위해 널리 사용된다. 그러나 데이터 커버리지가 얇은 영역에서는 모델 착취(model exploitation)에 취약하다. 기존 연구는 이를 더 많은 전문가 시연을 수집하거나(비용이 많이 들고, 위험하거나, 이용 불가능한 경우가 많음), 불확실한 영역을 피하는 보수적 알고리즘을 통해 해결했는데, 후자는 일반화를 제한한다. 우리는 대신 상상된 롤아웃(imagined rollouts)에 대한 인간 선호(human preferences)를 사용해 착취 문제를 직접 복구하는 방법을 제안하며, 인간이 심각한 역학(dynamics) 환각(hallucination)을 쉽게 발견할 수 있게 하는 강한 직관적 물리 지식을 활용한다. 이를 학습된 역학 모델 하에서 궤적 로그 우도(trajectory log-likelihoods)에 대한 Bradley-Terry 선호 손실(preference loss)인 Dynamics Learning from Human Feedback(DLHF)로 형식화한다. 안타깝게도 순진한(naive) DLHF는 표본 효율이 낮으므로, 인식론적 불확실성(epistemic uncertainty)을 사용해 모델이 가장 착취 가능한(exploitable) 지점에 파인튜닝(fine-tuning)을 집중하는 RENEW를 도입한다. Jumanji 및 고전 제어(classic control) 환경 여러 곳에서 평가한 결과, 순진한 DLHF는 과도한 선호 예산이 필요한 반면, RENEW는 표본 효율을 개선하고, 치명적 망각(catastrophic forgetting)을 제한하며, 사전학습(pretrained)된 월드 모델에서의 착취를 줄여 프레임워크를 실용적으로 만든다. 종합하면, 우리 결과는 선호가 월드 모델 역학을 직접 지도할 수 있다는 초기 증거를 제공하며, 오프라인 모델 기반 강화학습(model-based RL)에서 착취 문제를 해결하는 새로운 접근을 제시한다.

arXiv:2604.09870v2cs.LG

루프형 트랜스포머 내부 상태의 관계적 선호 인코딩

Relational Preference Encoding in Looped Transformer Internal States

본 연구는 루프형 트랜스포머가 인간 선호를 어떻게 인코딩하는지 조사하며, Anthropic HH-RLHF에서 동결된 Ouro-2.6B 루프 반복 상태 위에 경량 평가자 헤드를 학습한다. v2: 정오표가 앞에 추가되었으며, 원고는 변경되지 않았다. 출판 후 감사에서 두 가지 독립적인 평가 오류로 인해 세 가지 핵심 결과가 과장된 것으로 밝혀졌다. 95.2%의 쌍별 평가자 정확도는 정규 순서(canonical-ordering) 인공물이다. 데이터는 올바르게 분할되었지만, 평가자는 먼저 제시된 논증을 선호하도록 학습하였으며, 전체 8,552쌍 테스트 세트에 대한 엄격한 반대칭화(antisymmetrized) 정확도는 63.9%이다. 84.5%의 쌍별 프로브와 기회 수준 이하인 21.75%의 점별(pointwise) 프로브는 소스 항목 누출(source-item leaks)이었다(방향 행과 쌍 파트너가 train/test 분할을 넘어 교차함). 수정된 쌍 분리(pair-disjoint) 값은 각각 56.5%와 54.2%로, 기회 수준 이상이므로 "역전된 극성(inverted polarity)" 발견은 철회된다. 핵심 발견은 훨씬 작은 규모로 남아 있다. 선호는 점별보다 관계적으로 더 정확하게 디코딩되며(쌍별 +2.3점, 95% CI [+1.3, +3.3]), 반대칭화 평가자는 여전히 선형 프로브를 능가하지만, 수정된 판독(readout) 어느 것도 end-to-end 보상 모델에 필적하지 못한다. 방법론적 발견은 그대로 유지된다(상수 출력 퇴화, flip test, swap-protocol 지표 축소). 단, 한 가지 수정이 있다. 관계적 판별을 보증하는 것은 반대칭 상관(antisymmetry correlation)이 아니라 반대칭화 정확도이다. 두 오류는 상호적으로 드러나지 않는다. 분할 감사는 순서 사전분포(ordering prior)를 볼 수 없고, 반대칭화는 누출을 볼 수 없으므로 두 검사 모두 필요하다. 전체 감사는 후속 연구(Kirin, 2026, 준비 중)에 있다.

arXiv:2506.12529v2cs.LG

유사도 기반 보상 정렬: 견고하고 다용도인 선호도 기반 강화학습

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning

선호도 기반 강화학습(PbRL)은 보상 설계의 부담을 줄이기 위해 모델을 인간 의도에 정렬하는 다양한 접근법을 포괄한다. 그러나 기존 PbRL 연구 대부분은 비전문가이거나 시간 제약 하에 작업하는 라벨러에게서 불가피하게 발생하는 라벨러 오류에 대한 견고성을 다루지 않았다. 본 논문은 노이즈가 있는 라벨에 강인하면서도 다양한 피드백 형식에 적응 가능한 단순한 대조(contrastive) 프레임워크인 Similarity as Reward Alignment(SARA)를 제안한다. SARA는 선호되는 샘플의 잠재(latent) 표현을 학습하고, 학습된 잠재 표현과의 유사도를 보상으로 계산한다. 다양한 현실적인 노이즈 비율을 갖는 선호도 데이터에서, 연속 제어 오프라인 RL 벤치마크에서 경쟁력 있고 더 안정적인 성능을 보이며, 기준선(baseline) 대비 통계적으로 유의미한 개선(Wilcoxon signed-rank, p < 0.01)을 입증한다. 또한 근본적인 선호 기준에 대한 정렬을 측정하기 위한 대리 지표로 환경 보상과의 상관관계를 계산한다. SARA가 계산한 보상이 노이즈 비율 전반에 걸쳐 기준선 대비 더 높은 상관관계를 보임을 보인다.

arXiv:2607.14485v1cs.AI

사회 시뮬레이션에서 생성형 에이전트를 위한 단계 수준 선호 학습

Step-Level Preference Learning for Generative Agents in Social Simulations

대규모 언어 모델(LLM) 기반 생성형 에이전트는 계획, 기억 검색, 반성, 행동 선택과 같은 중간 단계로 구성된 장기 의사결정 과정을 통해 인간 행동을 시뮬레이션한다. 그러나 이러한 중간 단계에 대한 세밀한 인간 주석은 여전히 부족하며, 기존 에이전트는 그러한 중간 의사결정에 대한 인간 선호에 기반하고 있지 않다. 이 격차를 해소하기 위해, 우리는 에이전트 의사결정 궤적에 대한 단계 수준 인간 선호 감독을 수집할 수 있는 대화형 시뮬레이션 인터페이스인 \method를 도입하여 57K개의 세밀한 주석으로 구성된 데이터셋을 구축한다. 우리는 이 데이터에 대해 지도 파인튜닝과 직접 선호 최적화를 사용하여 오픈 가중치 언어 모델에서 단계 수준 선호 학습을 수행하고, 시뮬레이션 충실도, 협조, 상호작용 품질을 일관되게 개선하며 더 사회적으로 효과적인 에이전트 행동을 유도한다. 우리의 결과는 단계 수준 인간 감독이 국소적 의사결정 품질과 장기 에이전트 행동 모두를 개선하는 데 효과적인 학습 신호임을 보여준다.

arXiv:2607.13172v1cs.AI

월드 모델을 통한 인간 선호와 정당화 기반 안전 에이전트 행동 학습

Learning Safe Agent Behaviour from Human Preferences and Justifications via World Models

환경 역학이 알려지지 않고 적절한 보상 함수를 사용할 수 없는 설정에서, 에이전트 정책을 안전하게 학습하고 좋고 안전한 정책을 배포하는 문제를 다룬다. 안전이 중요한 환경의 맥락에서 전통적인 강화학습은 비현실적이라고 보고 인간 입력이라는 자원에 의존한다. DROPJ를 소개한다. 이는 안전한 학습과 배포 모두를 위한 인간 중심 방법이다. 먼저 사전 실세계 궤적 데이터셋으로부터 월드 모델(학습된 시뮬레이터)을 학습한다. 그다음 인간이 이 학습된 시뮬레이터에서 게임을 플레이하여 여러 유용한 시뮬레이션 궤적을 추출한다. 이로부터 시뮬레이션 궤적 세그먼트 쌍을 샘플링하고, 인간에게 해당 세그먼트에 대한 선호와 선택 이유(정당화)를 요청한다. 그다음 이러한 정당화된 선호로부터 보상 모델을 학습하고, 월드 모델과 함께 모델 예측 제어(model predictive control)를 사용하여 에이전트를 직접 배포한다. 실제 사용자 실험 결과, 사용자로부터 유용한 시뮬레이션 궤적을 생성하는 것이 다른 전략에 비해 학습 중 계산 비용을 크게 줄이며, 배포 시 성능도 향상시킬 수 있음을 확인한다. 학습된 시뮬레이터 내에서의 학습 맥락에서, 다른 유형의 피드백보다 선호를 사용하는 것이 배포 성능을 상당히 향상시킴을 보인다. 또한 선호에 수반되는 안전성 정당화가 배포 시 안전성을 크게 향상시키거나, 사용자가 지정한 관련 안전성 측면을 우선시할 수 있음을 추가로 입증한다.

arXiv:2602.00846v2cs.CL

Omni-RRM: 자동 루브릭 기반 선호도 합성을 통한 옴니 보상 모델링 발전

Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis

기존 보상 모델이 비전 중심적이고 불투명한 스칼라 점수에 의존하는 한계를 극복하기 위해, Omni-RRM은 텍스트·이미지·비디오·오디오 전반에 걸쳐 루브릭(rubric) 기반 다차원 보상 신호를 생성하는 옴니모달 보상 모델을 제안한다. 자동 루브릭 기반 선호도 합성으로 구축한 Omni-Preference 데이터셋과 점진적 SFT+GRPO 학습 방식을 통해 ShareGPT-Video 80.2%, Audio-HH-RLHF 66.8% 등 5개 벤치마크 전체 정확도 70.4%로 최고 수준의 성능을 달성했다.

arXiv:2607.04590v1cs.AI

어텐션 제한 보상 학습

Attention Limited Reward Learning

쌍별(pairwise) 인간 비교는 현대 AI 시스템이 인간의 선호를 학습하는 주요 인터페이스이다. 인간 피드백 강화학습(RLHF)과 관련 정렬(alignment) 파이프라인은 일반적으로 이러한 비교를 Bradley-Terry 로그-오즈로 모델링하며, 여기서 선택 확률은 잠재 보상(reward) 차이에 의해 결정된다. 이 논문은 합리적 부주의(rational inattention)에서 영감을 받은 축약형(reduced-form) 모델을 통해 이 가정이 놓치는 바를 고찰하는데, 이 모델에서 각 레이블은 저용량 평가 채널에 의해 생성된다. 이 모델은 표준 보상 모델링이 혼동하는 경향이 있는 두 가지 형태의 모호성을 분리한다: 비교가 어려운 이유가 두 후보의 가치가 실제로 유사하기 때문일 수도 있고, 제한된 어텐션(attention) 하에서 관련 구분을 감지하기 어렵기 때문일 수도 있다. 우리는 제한된 어텐션이 쌍별 비교를 통해 드러나는 정보를 근본적으로 왜곡할 수 있음을 보인다. 특히, 수동적 비교 데이터는 일반적으로 보상, 어텐션, 기본 성향을 구별할 수 없으며, 이질적인 어텐션은 표준 Bradley-Terry 보상 모델링이 오도적인 순위를 복원하도록 만들 수 있다. 우리의 분석은 학습이 레이블의 원시 수가 아니라 각 레이블이 담고 있는 주목된 정보의 양에 의해 결정됨을 보여준다. Chatbot Arena의 언어 모델 쌍에 대한 인간 투표를 대상으로 한 사례 연구는 예측된 특징을 보여주는데, 샘플링 노이즈를 초과하며 어떠한 스칼라 보상으로도 표현할 수 없는 비교 데이터의 순환 성분이 그것이다. 지각적 비교를 대상으로 한 두 번째 사례 연구는 응답 시간과 시선이 레이블에 담기지 않은 격차 정보를 담고 있음을 보여준다. 이 관점은 인간 피드백을 직접적인 현시 선호(revealed preference)가 아닌 어텐션 제한 측정 과정으로 다루어야 함을 시사한다: 약한 선호 신호는 진정한 무관심이 아니라 숨겨진 평가 난이도를 반영하는 것일 수 있다.

arXiv:2606.30116v1cs.AI

Open Problems in Constitutional Preference Reconstruction

Pairwise preference data is widely used for training and evaluating language models (e.g., RLHF), but each datapoint records a \emph{choice}, not the rationale behind it. Methods such as Inverse Constitutional AI (ICAI) attempt to improve interpretability by compressing datasets into short ``constitutions'' of natural-language principles. We argue this framing is under-specified: a flat list of principles is not yet an executable decision rule because it leaves principle composition implicit. We use the pairwise setting as a testbed to empirically characterize three open problems in constitutional methods. First, principle quality is hard to measure: coverage and accuracy are useful but incomplete proxies for end-to-end reconstruction. Second, \emph{composition is ambiguous}: holding principles fixed, different executors (LLM judge versus majority vote) agree only $73\%$ of the time. Third, \emph{constitutions differ between LLMs}: cross-model vote agreement is $73\%$, whereas intra-model agreement is $81\%$. Across PRISM, AlpacaEval, and Chatbot Arena, we show that principle refinement (ICAI+) may be a first step towards ameliorating these problems: inter-executor agreement rises to $78\%$, and transparent executors match LLM judge accuracy ($66\%$ vs.\ $67\%$). Our results highlight that constitutions should be evaluated as \emph{constitution--executor systems}, with implications for LLMs-as-a-judge broadly.

arXiv:2606.27180v1cs.LG

비전-언어 모델 가이던스를 활용한 포텐셜 기반 보상 형성 자동화

Automating Potential-based Reward Shaping with Vision Language Model Guidance

경량 VLM의 이미지 쌍 선호 피드백으로 포텐셜 기반 보상 형성(PBRS)용 포텐셜 함수를 학습하는 VLM-PBRS를 제안해, 전문가가 설계한 보상 형성 없이도 최적 정책을 보존한다. Meta-World와 Franka Kitchen에서 샘플 효율이 개선되고 보상 해킹에 견고하며, VLM 선호도 레이블 정확도와 학습 가속 효과가 연관됨을 보였다.

arXiv:2512.23816v2cs.LG

프라이빗 및 강건한 정렬을 위한 개선된 경계

Improved Bounds for Private and Robust Alignment

언어 모델의 프라이빗(private) 및 강건한(robust) 정렬(alignment)을 이론적으로 분석해, 프라이버시 제약과 적대적 손상이 있는 선호 레이블 환경에서 오프라인·온라인 설정 모두의 최적성 격차(suboptimality gap) 상한을 확립한다. 프라이버시 단독 설정에서는 MLE 방식 log loss가 근-최적(near-optimal) 수렴률을 달성함을 보이고, 결합 설정에서는 기존 오프라인 알고리즘이 더 강한 보장을 제공함을 입증하며, 프라이빗·강건 온라인 정렬에 대한 최초 결과를 제시한다.