단순한 근거 제시를 넘어 증거에 기반한 추론: LLM 기반 추천을 위한 검증 가능한 선호도 증명
Reasoning with Evidence, Not Merely Rationales: Verifiable Preference Proofs for LLM-Based Recommendation
한국어 초록
대규모 언어 모델(LLM)은 상호작용 이력과 리뷰로부터 사용자의 선호도를 추론할 수 있지만, 모델이 생성하는 설명(rationale)은 추천에 실제로 사용된 정보를 반영하지 못할 수 있습니다. 선호도 주장이 선택된 증거에 의해 미약하게 뒷받침되거나 최종 순위에 거의 영향을 미치지 못할 수 있으며, 본 논문에서는 이러한 두 가지 실패를 그라운딩-영향력 격차(grounding-influence gap)라고 정의합니다. 본 연구에서는 LLM 기반 추천에서 검증 가능한 선호도 추론을 위한 일반적 프레임워크인 PROVE-REC을 소개합니다. 패스 A는 타깃 이전의 전체 이력을 선택된 증거 항목들과 연결된 긍정 및 회피 주장으로 구성된 간결한 선호도 증명으로 변환합니다. 패스 B는 이 증명과 선택된 증거만을 사용하여 다음 아이템을 예측함으로써 추천 시스템이 추론 경로를 우회하지 못하도록 방지합니다. 증거-증명 간 그라운딩을 검증하기 위해, 선택된 증거를 마스킹했을 때의 효과를 비교 가능한 대조군 항목을 마스킹했을 때와 비교합니다. 증명-추천 간 영향력을 검증하기 위해, 선호도 주장을 제거하고 그에 따른 타깃 아이템의 랭킹 마진(ranking margin) 감소를 측정합니다. 또한 순위 보존 목적함수를 통해 전체 이력에서 유용한 정보를 추가로 유지합니다. 다양한 실제 데이터셋에 대한 포괄적인 실험을 통해 PROVE-REC이 강력한 순차적, 생성형 및 LLM 강화 베이스라인을 일관되게 능가하며 최대 7.45%의 성능 향상을 달성함을 입증합니다. 통제된 소거 연구(ablation study)는 2단계 패스 아키텍처와 검증 목적함수의 효과를 확인해 줍니다. 나아가 PROVE-REC은 순위 품질을 보존하면서도 과거 증거에 더욱 강력하게 그라운딩되고 추천에 더 큰 영향력을 미치는 주장을 생성합니다.
원문 초록
Large language models (LLMs) can infer user preferences from interaction histories and reviews, yet the rationales they generate may not reflect the information actually used for recommendation. A preference claim may be weakly supported by its selected evidence, or may have little effect on the final ranking. We refer to these two failures as the grounding-influence gap. We introduce PROVE-REC, a general framework for verifiable preference reasoning in LLM-based recommendation. Pass A converts the complete pre-target history into a compact preference proof consisting of positive and avoidance claims linked to selected evidence entries. Pass B predicts the next item using only the proof and its selected evidence, preventing the recommender from bypassing the reasoning path. To verify evidence-to-proof grounding, we compare the effect of masking selected evidence with masking a comparable control entry. To verify proof-to-recommendation influence, we remove a preference claim and measure the resulting decrease in the target item's ranking margin. A ranking-preservation objective further retains useful information from the complete history. Comprehensive experiments on wide-ranging real-world datasets demonstrate that PROVE-REC consistently outperforms strong sequential, generative, and LLM-enhanced baselines, with improvements of up to 7.45%. Controlled ablations confirm the effectiveness of the two-pass architecture and verification objectives. Moreover, PROVE-REC produces claims that are more strongly grounded in historical evidence and more influential to recommendation while preserving ranking quality.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RASPER: EHR 결과 예측을 위한 임상 기록의 보상 정렬 요약
RASPER: Reward-Aligned Summarization of Clinical Notes for EHR Outcome Prediction
전자의무기록(EHR)의 비정형 퇴원 요약지는 종종 정형화된 의료 코드와 상호보완적인 신호를 지니며, 표준화된 코호트 수준의 코드만으로는 포착할 수 없는 환자별 근거를 담고 있습니다. 그러나 이러한 임상 기록 내 근거는 특정 임상 예측을 염두에 두고 작성되지 않은 길고 노이즈가 많은 텍스트 속에 묻혀 있는 경우가 많습니다. 요약은 직관적인 해결책이지만, 결과 예측보다는 유창성에 맞춰 조정된 일반적인 요약은 그럴듯하지만 정보성이 없는 세부 사항을 유지하면서 결정적인 근거를 일상적으로 누락합니다. 이를 위해 본 논문에서는 다운스트림 임상 작업에 맞춰 임상 기록 요약을 직접 최적화하는 EHR 예측용 보상 정렬 요약기인 RASPER를 제안합니다. RASPER는 미세조정 가능한 대규모 언어 모델(LLM) 기반 요약기를 활용하여 퇴원 요약지에서 작업 관련 근거를 추출하고, 다운스트림 예측기의 손실(loss)에서 도출된 보상(reward)을 사용하여 예측 피드백 기반 강화학습(reinforcement learning)으로 이를 학습합니다. 요약기를 그라운딩하기 위해 종단적 인코더가 정형 코드를 소프트 프롬프트로 변환하여 각 환자의 임상적 맥락을 임상 기록 요약에 반영합니다. 최종적인 멀티모달 예측 품질에 보상을 제공함으로써, RASPER는 요약기가 정형 코드로 포착된 정보를 중복하기보다는 이를 보완하는 환자별 근거를 유지하도록 유도합니다. RASPER는 MIMIC-III 및 MIMIC-IV 전반에서 재입원 예측과 약물 추천 모두에 대해 강력한 베이스라인을 일관되게 능가합니다.
ARERec: Attentive Local Interaction Model for Sequential Recommendation
TiSASRec: Time Interval Aware Self-Attention for Sequential Recommendation
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화
Mitigating Private Data Leakage in LLMs with Whiteout
최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.