arXiv:2305.03953

Cross-domain Augmentation Networks for Click-Through Rate Prediction

Xu Chen, Zida Cheng, Shuai Xiao, Xiaoyi Zeng, Weilin Huang

제출 2023-05-06

원문 초록

Data sparsity is an important issue for click-through rate (CTR) prediction, particularly when user-item interactions is too sparse to learn a reliable model. Recently, many works on cross-domain CTR (CDCTR) prediction have been developed in an effort to leverage meaningful data from a related domain. However, most existing CDCTR works have an impractical limitation that requires homogeneous inputs (\textit{i.e.} shared feature fields) across domains, and CDCTR with heterogeneous inputs (\textit{i.e.} varying feature fields) across domains has not been widely explored but is an urgent and important research problem. In this work, we propose a cross-domain augmentation network (CDAnet) being able to perform knowledge transfer between two domains with \textit{heterogeneous inputs}. Specifically, CDAnet contains a designed translation network and an augmentation network which are trained sequentially. The translation network is able to compute features from two domains with heterogeneous inputs separately by designing two independent branches, and then learn meaningful cross-domain knowledge using a designed cross-supervised feature translator. Later the augmentation network encodes the learned cross-domain knowledge via feature translation performed in the latent space and fine-tune the model for final CTR prediction. Through extensive experiments on two public benchmarks and one industrial production dataset, we show CDAnet can learn meaningful translated features and largely improve the performance of CTR prediction. CDAnet has been conducted online A/B test in image2product retrieval at Taobao app over 20days, bringing an absolute \textbf{0.11 point} CTR improvement and a relative \textbf{1.26\%} GMV increase.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27758v1cs.CL공통 태그 Translation, Transfer Learning

Hard Negatives Reveal What Easy Negatives Hide: Cross-Lingual Harmfulness Representations Degrade with Resource Tier Under Hard Negatives

대규모 언어 모델(LLM)의 안전성 정렬(alignment)은 주로 영어로 학습되며, 최근 연구는 번역 후에도 기저의 유해성 표현이 유지된다고 보고한다. 영어로 학습된 프로브(probe)는 저자원 언어에서도 영어와 거의 동일하게 유해한 프롬프트와 무해한 프롬프트를 구분한다. 이는 다국어 거부(refusal) 실패가 표현 품질보다는 보정(calibration) 문제를 주로 반영한다는 증거로 해석되어 왔다. 우리는 이 결론이 부정 예(negative) 선택에 의존함을 보인다. 세 자원 등급에 걸친 아홉 개 언어에서, 무해한 프롬프트가 무관한 분포에서 온 경우(쉬운 부정 샘플, easy negatives)에는 전이가 거의 완벽함(AUROC > 0.98)을 재현한다. 유해 요청과 표면적으로 유사하지만 실제로는 무해한 XSTest 대조 프롬프트(어려운 부정 샘플, hard negatives)를 사용하면, 저자원 언어에서는 전이가 붕괴하는 반면 고자원 언어에서는 대체로 안정적이다. Qwen2.5-7B-Instruct에서 평균 AUROC 하락은 영어 0.003, 고자원 0.017, 중간 자원 0.042, 저자원 0.276까지 증가한다. 이 패턴은 Aya Expanse에서도 재현된다. 역번역 chrF 통제와 세 언어에 걸친 chrF 매칭 비교는 번역 품질이 효과를 설명할 가능성을 낮춘다. chrF를 통제한 뒤에도 붕괴는 남으며(partial r = 0.70, p = 0.03). 토크나이저 fertility는 붕괴와 상관하며 자원 등급 효과의 일부를 설명하지만 전부는 아니다. 결과는 쉬운 부정 샘플에서의 전이와 어려운 부정 샘플 하의 상당한 퇴화가 공존할 수 있음을 보여준다. 따라서 쉬운 부정 샘플만으로 평가하는 것만으로는 유해성 표현이 번역을 견디는지 확립할 수 없다.

arXiv:2609.28395v1cs.CL공통 태그 Translation, Transfer Learning

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2609.26097v1cs.CL공통 태그 Translation, Transfer Learning

하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM

One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data

원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.