arXiv:2205.08943

CREATER: CTR-driven Advertising Text Generation with Controlled Pre-Training and Contrastive Fine-Tuning

Penghui Wei, Xuanhua Yang, Shaoguo Liu, Liang Wang, Bo Zheng

제출 2022-05-18

원문 초록

This paper focuses on automatically generating the text of an ad, and the goal is that the generated text can capture user interest for achieving higher click-through rate (CTR). We propose CREATER, a CTR-driven advertising text generation approach, to generate ad texts based on high-quality user reviews. To incorporate CTR objective, our model learns from online A/B test data with contrastive learning, which encourages the model to generate ad texts that obtain higher CTR. To alleviate the low-resource issue, we design a customized self-supervised objective reducing the gap between pre-training and fine-tuning. Experiments on industrial datasets show that CREATER significantly outperforms current approaches. It has been deployed online in a leading advertising platform and brings uplift on core online metrics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21620v2cs.AI공통 태그 Text Generation, Contrastive Learning

프로필에서 스티어링 벡터로: 개인화 텍스트 생성을 위한 전역 희소 사전과 지역적 의미 보정

From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation

개인화 텍스트 생성은 모델이 과거 데이터로부터 사용자 고유의 문체를 포착해야 한다. 검색, 매개변수 효율적 미세조정, 또는 활성화 스티어링(activation steering)에 기반한 기존 접근법은 추론 및 저장 오버헤드를 유발하거나, 문체적 신호와 의미적 내용을 분리하는 데 어려움을 겪는다. 우리는 희소 사전(sparse priors)을 활용한 전역-지역 활성화 스티어링(Global-Local Activation Steering)을 통해 개인화 생성을 수행하는 학습 없는(training-free) 프레임워크인 GLASS를 제안한다. GLASS는 희소 오토인코더(sparse autoencoders)를 사용하여 과거 응답으로부터 전역 사용자 문체 사전을 추출하고, 클러스터링된 상호작용 시나리오에 대해 지역적 대조적 문체 벡터를 구성한다. 추론 시, 전역 및 지역 벡터를 서로 다른 모델 레이어에 공동으로 주입하여, 검색이나 매개변수 업데이트 없이 문맥 인식 개인화를 가능하게 한다. LaMP 및 LongLaMP에서의 실험은 GLASS가 ROUGE 지표와 LLM-as-judge 평가 전반에 걸쳐 검색-, 미세조정-, 스티어링 기반 베이스라인을 능가함을 보여준다. 추가 분석은 SAE 기반 표현이 주제 및 길이 변화에 더 강건하여, 문체 정보와 의미적 잔여(semantic residue)의 더 나은 분리를 시사함을 보여준다.

arXiv:2607.23083v1cs.CL공통 태그 Text Generation, Contrastive Learning

성별 포용적 재작성을 위한 LoRA 및 반서사 생성을 위한 활성화 조향

LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation

성별 포용적 언어 생성은 의미와 문맥적 일관성을 유지하면서 편향된 텍스트를 포용적 대안으로 변환하는 것을 목표로 한다. 본 논문은 LT-EDI 2026 공유 과제를 위한 IHLC 시스템을 제시하며, 성별 포용적 재작성과 반서사 생성을 모두 다룬다. 성별 포용적 재작성을 위해 매개변수 효율적인 Low-Rank Adaptation(LoRA) 미세조정을 사용하여 공식 점수 80.00%를 달성했다. 우리의 주요 기여는 반서사 생성을 위한 연산 효율적인 추론 시점 표현 공학(representation engineering) 접근법이다. 대조적 은닉 상태(hidden-state) 활성화로부터 주성분 분석(PCA)을 사용해 주요 조향 방향을 도출하고, 추론 중 Gemma-3-4B-it의 중간 표현에 이를 주입하여 모델 가중치를 수정하지 않고도 포용적 응답을 향한 행동 조향을 가능하게 한다. 제약 프롬프팅(constrained prompting)과 결합하면 이 접근법은 정중하고 문맥에 적절한 반서사를 생성하며, 공식 점수 78.12%를 달성한다. 또한 조향 행동에 대한 수동 분석을 제시하며, 의미 표류(semantic drift), 잔존 바이어스 누출, 층 민감도, 과도 조향(over-steering), 텍스트 퇴화(text degeneration) 등 주요 실패 모드를 식별한다. 우리의 결과는 제어 가능하고 사회적으로 정렬된 언어 생성을 위한 매개변수 업데이트의 경량 대안으로서 활성화 조향(activation steering)의 실용적 잠재력과 현재 한계를 모두 강조한다.

arXiv:2607.23991v1cs.CL공통 태그 Text Generation, Contrastive Learning

SyRuP: 보상 유도 예측을 통한 LLM 디코딩에서의 시스템 프롬프트 준수 향상

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

대규모 언어 모델(LLM)은 역할, 스타일, 형식, 안전성 요구사항을 명시하는 시스템 프롬프트를 통해 점점 더 많이 제어되고 있다. 그러나 모델은 문맥 내 학습(ICL)을 통해서만 이러한 프롬프트를 암묵적으로 따르며, 이는 복잡하거나 구성적(compositional) 프롬프트에는 불충분할 수 있다. 기존 접근법은 종종 모델 튜닝이나 응답 수준 재순위화를 요구하여, 경량 추론 시점 제어의 실용성을 제한한다. 우리는 기본 LM을 고정한 채 시스템 프롬프트 준수를 개선하는 디코딩 시점 프레임워크인 SyRuP를 제안한다. SyRuP는 시스템 프롬프트 조건 선호 쌍으로부터 크로스 어텐션 보상 헤드를 학습하며, 시스템 프롬프트를 별도의 메모리로 취급하여 토큰 수준 준수 점수를 생성한다. 추론 시 SyRuP는 학습된 보상 신호와 시스템에 의해 유도된 로짓 변화를 포착하는 선택적 대조(contrastive) 신호를 기본 로짓과 결합하여 기본 LM의 top-k 후보를 재순위화한다. 시스템 프롬프트 준수 벤치마크에 대한 실험에서 SyRuP는 적당한 추론 오버헤드로 프롬프팅 및 디코딩 시점 베이스라인을 일관되게 능가한다. 이러한 결과는 명시적 토큰 수준 안내가 신뢰할 수 있는 시스템 프롬프트 준수를 위한 효과적이고 실용적인 메커니즘임을 시사한다.

arXiv:2607.21970v1cs.CV공통 태그 Text Generation, Contrastive Learning

TextSLIP: 의료 보고서 생성을 위한 텍스트 자기지도 CLIP

TextSLIP: Text Self-Supervised CLIP for Medical Report Generation

방사선학 보고서 생성의 자동화는 보고 일관성과 임상 워크플로를 개선하는 데 중요하다. 대조적 언어-이미지 사전학습(Contrastive Language-Image Pretraining, CLIP)은 의료 비전-언어 모델링을 발전시켰지만, 기존 CLIP 스타일 접근법은 복잡한 보고서 생성에 필요한 세밀한 의미적 지도를 여전히 충분히 제공하지 못할 수 있다. 표준 CLIP은 주로 교차 모달 정렬을 최적화하며, 시각 표현 학습을 이끄는 텍스트 임베딩 공간을 명시적으로 구조화하지 않는다. 이러한 한계를 해결하기 위해, 우리는 CLIP에 모달 내 텍스트 대조 학습을 추가한 일반적인 의료 비전-언어 사전학습 프레임워크인 TextSLIP을 제안한다. 자기지도 증강 텍스트 쌍을 통해 텍스트 임베딩 변별력을 향상시킴으로써, TextSLIP은 시각 인코더에 더 세밀한 언어적 지도를 제공하도록 설계되었다. 초기 검증으로, 우리는 700만 개의 뇌 MRI 이미지-텍스트 쌍으로 구성된 큐레이션된 데이터셋에서 TextSLIP을 사전학습하고, 보고서 생성 아키텍처 내에서 사전학습된 시각 인코더를 파인튜닝하였다. CLIP 스타일 베이스라인과의 통제된 비교에서 TextSLIP은 보고서 생성 지표에서 일관된 개선을 보였다. 절제(ablation) 연구는 텍스트 측 자기지도가 관찰된 향상에 기여함을 추가로 시사한다. 이러한 결과는 텍스트 수준의 대조 학습이 의료 시각-텍스트 정렬을 개선하는 유망한 방향임을 나타내며, 추가 의료 도메인에 걸친 더 넓은 범위의 검증이 중요한 다음 단계로 남아 있다.

arXiv:2607.21067v2cs.CL공통 태그 Text Generation

PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습

PrefReward: Learning User Preference Matrix for Personalized Text Generation

대규모 언어 모델(LLM)은 사용자 이력과 문맥 단서를 활용하여 개인화된 콘텐츠를 생성하는 데 뛰어난 능력을 보여 왔다. 그러나 기존 개인화 접근법 대부분은 모델 파라미터 내부의 암묵적 표현에 의존하므로 사용자별 선호를 해석하거나 긴 문맥 의존성을 효과적으로 처리하기 어렵다. 이러한 문제를 해결하기 위해, 구조화된 선호 행렬을 통해 사용자 스타일을 명시적으로 모델링하고 이를 보상 신호로서 디코딩 과정에 통합하는 새로운 선호 인식 생성 프레임워크 PrefReward를 제안한다. PrefReward는 두 단계로 구성된다. (1) 개인의 문체 경향을 요약하는 사용자별 선호 행렬을 추출하고, (2) KL 발산 기반 보상 함수를 통해 이 행렬로 생성을 안내한다. LongLaMP 데이터셋에 대한 실험에서 PrefReward는 생성 품질과 개인화 해석 가능성 모두에서 검색 기반 베이스라인 및 컨텍스트 스티어링 방법을 능가하였다.

arXiv:2607.24743v4cs.CV공통 태그 Text Generation

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.