DADNN: Multi-Scene CTR Prediction via Domain-Aware Deep Neural Network
원문 초록
Click through rate(CTR) prediction is a core task in advertising systems. The booming e-commerce business in our company, results in a growing number of scenes. Most of them are so-called long-tail scenes, which means that the traffic of a single scene is limited, but the overall traffic is considerable. Typical studies mainly focus on serving a single scene with a well designed model. However, this method brings excessive resource consumption both on offline training and online serving. Besides, simply training a single model with data from multiple scenes ignores the characteristics of their own. To address these challenges, we propose a novel but practical model named Domain-Aware Deep Neural Network(DADNN) by serving multiple scenes with only one model. Specifically, shared bottom block among all scenes is applied to learn a common representation, while domain-specific heads maintain the characteristics of every scene. Besides, knowledge transfer is introduced to enhance the opportunity of knowledge sharing among different scenes. In this paper, we study two instances of DADNN where its shared bottom block is multilayer perceptron(MLP) and Multi-gate Mixture-of-Experts(MMoE) respectively, for which we denote as DADNN-MLP and DADNN-MMoE.Comprehensive offline experiments on a real production dataset from our company show that DADNN outperforms several state-of-the-art methods for multi-scene CTR prediction. Extensive online A/B tests reveal that DADNN-MLP contributes up to 6.7% CTR and 3.0% CPM(Cost Per Mille) promotion compared with a well-engineered DCN model. Furthermore, DADNN-MMoE outperforms DADNN-MLP with a relative improvement of 2.2% and 2.7% on CTR and CPM respectively. More importantly, DADNN utilizes a single model for multiple scenes which saves a lot of offline training and online serving resources.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
효율적인 적응을 위한 멀티모달 전문가 혼합(MoE) 모델 내 도메인 전문 전문가 활용
Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation
전문가 혼합(MoE) 아키텍처는 각 토큰을 소수의 전문가 하위 집합으로만 라우팅하는 희소 계산을 통해 모델 용량을 확장합니다. 본 연구에서는 이러한 희소성(sparsity)이 멀티모달 MoE에서 창발적인 내재적 조직화로 이어지는지 탐구합니다. 그 결과, 모듈성을 위해 명시적으로 학습되지 않았음에도 불구하고 전문가들이 모달리티와 도메인 전반에 걸쳐 강력한 의미론적 전문화를 발전시킨다는 것을 발견했습니다. 이러한 구조를 기반으로, 라우터 가중치를 의미론적으로 유의미한 어휘 토큰으로 디코딩하여 사전학습된 모델 가중치로부터 직접 도메인 전문 전문가를 식별하는 데이터 프리(data-free) 방식인 ExpertLens를 소개합니다. 우리는 타깃 도메인과 관련된 전문가를 선택적으로 미세조정(fine-tuning)함으로써 효율적인 멀티모달 적응에 이러한 전문화를 활용합니다. 수학, 의료, 원격 탐사 작업 전반에서 ExpertLens는 모델 파라미터의 21.7~47.0%만을 업데이트하고 평균 4.0배의 학습 속도 향상을 달성하면서도 전체 미세조정과 동등하거나 이를 능가하는 성능을 보였으며, 적응 성능과 학습 효율성 모두에서 LoRA를 능가했습니다. 이러한 결과는 효율성을 위해 도입된 희소성이 효율적인 적응에 직접적으로 유용한 의미론적 모듈성을 만들어낼 수 있음을 보여줍니다.
ScoutNeRV: ScoutNet을 통한 그리드 기반 비디오 INR의 신속 인코딩
ScoutNeRV: Rapid Encoding of Grid-Based Video INRs via ScoutNet
암시적 신경 표현(INR)은 비디오 압축을 위한 유망한 패러다임으로 부상했으며, 유연한 공간·시간 복원을 제공하는 컴팩트한 신경 표현을 제공한다. HiNeRV와 같은 계층적 그리드 기반 아키텍처는 강력한 rate-distortion 성능을 달성하지만, 비디오마다 광범위한 최적화가 필요해 인코딩 비용이 높다. 이 한계를 해결하기 위해 계층적 비디오 INR의 최적화를 가속하는 콘텐츠 적응형 초기화 프레임워크인 ScoutNeRV를 제안한다. ScoutNeRV는 경량의 오프라인 학습 스카우트 네트워크가 소수의 샘플 프레임을 분석하고, 하드 라우팅(hard routing)으로 메모리 뱅크에서 적합한 사전학습 전문가(expert)를 선택한다. 선택된 전문가의 계층적 그리드 및 디코더 파라미터는 비디오별 미세조정 전에 대상 HiNeRV 모델을 초기화하기 위해 이전된다. 보지 못한 ReadySetGo 시퀀스에서 ScoutNeRV는 미세조정 전 초기 PSNR $34.95$~dB를 달성하며, 표준 초기화의 $13.70$~dB 대비 $21.25$~dB 향상에 해당한다. 단 37 에포크 후 ScoutNeRV는 $36.92$~dB에 도달하고, 평가된 rate-distortion 구성 전반에서 300-에포크 HiNeRV 기준선 대비 $0.42$--$0.80$~dB 이내를 유지한다. 또한 제안 초기화는 보고된 런타임 실험에서 wall-clock 기준 $9.25\times$ 속도 향상을 달성한다. 이러한 결과는 콘텐츠 인식 전문가 초기화가 계층적 비디오 INR의 최적화 비용을 크게 줄이면서도 경쟁력 있는 복원 및 압축 성능을 유지할 수 있음을 보여준다. 코드는 https://github.com/nasserdeveloper/ScoutNeRV 에서 제공된다.
ACLArena: 다단계 사후 학습에서의 에이전트 지속 학습
ACLArena: Agent Continue Learning in Multi-stage Post-training
산업 배포를 위한 범용 에이전트를 구축하려면 여러 역량을 통합해야 하며, 각 역량은 일반적으로 서로 다른 학습 단계에서 습득된다. 그러나 현재 에이전트 지속 학습(Agent Continual Learning, ACL)에 대해 잘 정립된 방법론은 없으며, 기존 통합 패러다임 간 트레이드오프에 대한 이해도 부족하다. 이 공백을 메우기 위해 ACL을 포괄적으로 연구·분석·평가하기 위한 프레임워크인 ACLArena를 제안한다. 우리는 먼저 순차적 학습 파이프라인을 구축하고, 모델 수준과 토큰 수준이라는 두 상보적 관점에서 망각과 일반화의 메커니즘을 설명하는 심층 분석을 수행한다. 이 분석을 바탕으로, 다중 교사 온-정책 지식 증류, 자기 증류 기반 미세조정, 모델 병합을 체계적으로 비교하여 이전에 학습한 역량을 회복하면서 새로 습득한 역량을 보존하는 능력을 평가한다. 광범위한 실험을 통해 단계 간 역량이 어떻게 전이되는지에 대한 상세한 이해를 얻는다. 마지막으로, 고품질 궤적에 대한 오프라인 리플레이와 강화학습(RL)을 통해 각각 특화된 다중 LoRA 전문가의 라우팅 네트워크를 결합한 새로운 ACL 방법론을 제안하여, 여러 도메인에 걸친 학습 능력을 크게 향상시킨다. 추론 및 에이전트적 과업 4가지에 대한 포괄적 실험을 도메인 내 및 도메인 외 설정 모두에서 평가한 결과, 우리 분석의 가치와 접근법의 효과가 입증된다.
컬러 안저 사진 분석: 멀티모달 AI를 향한 데이터, 전처리, 모델링의 공진화
Color Fundus Photography Analysis: Co-evolution of Data, Preprocessing, and Modeling toward Multimodal AI
컬러 안저 사진(Color Fundus Photography, CFP)은 안과 및 전신 질환의 대규모 스크리닝을 위한 주요 비침습적 영상 방식이다. 기존 서베이는 주로 과제별 알고리즘, 데이터셋, 또는 전처리 기법을 각각 독립적으로 요약하며, 현대 인공지능과의 공진화에 대한 통합적 관점이 부족하다. 본 리뷰는 데이터셋 진화, 전처리 패러다임, 모델링 프레임워크의 상호작용을 통해 CFP AI에 대한 통합적 개관을 제공한다. CFP 데이터셋이 과제별 라벨을 갖춘 소규모 단일 기관 수집물에서 멀티모달 페어링과 종단 임상 기록을 특징으로 하는 대규모 다기관 자원으로 진화해 왔음을 보인다. 전처리는 기존의 이미지 향상에서 신경망 기반 데이터 엔지니어링 파이프라인, 하드웨어 인식 토큰 최적화, 불완전한 전자 건강 기록(EHR)에 대한 자기지도 보간(self-supervised imputation)으로 발전해 왔다. 한편, 모델링은 합성곱 신경망(CNN)에서 비전 기반 모델(vision foundation models), 상태 공간 모델(SSM), 멀티모달 전문가 아키텍처로 발전해 왔다. 멀티모달 최전선에서 CFP는 EHR 및 종단 환자 정보와 점점 더 통합되어, 고립된 이미지 분석을 넘어 더 포괄적인 임상 추론을 가능하게 한다. 향후 발전은 데이터셋, 전처리, 멀티모달 모델링의 협력적 최적화에 달려 있으며, 이는 견고한 임상 배포, 향상된 교차 도메인 일반화, 자원 효율적인 엣지 지능을 향한 로드맵을 제공한다.
Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
DroneGround: 합성 데이터와 그라운디드 비전-언어 모델을 활용한 오픈 보캐블러리 드론 탑재체 특성 분석
DroneGround: Open-Vocabulary Drone Payload Characterization Using Synthetic Data and Grounded Vision-Language Models
자동화된 드론 감시는 공공 안전, 중요 인프라 보호 및 제한 공역 모니터링을 위해 점점 더 중요해지고 있습니다. 기존의 비전 기반 시스템은 드론 탐지 및 추적에서 뛰어난 성능을 달성하지만, 원거리 촬영 조건에서는 주석이 달린 실제 데이터셋의 부족과 배포 시 직면하는 상당한 분포 변화(distribution shift)로 인해 신뢰할 수 있는 탑재체(payload) 특성 분석이 여전히 매우 어려운 과제로 남아 있습니다. 기존 접근법들은 탑재체 특성 분석을 닫힌 집합(closed-set) 객체 검출 문제로 정식화하여, 이전에 보지 못한 탑재체를 인식하고 학습 분포를 넘어 일반화하는 능력을 제한합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 Unreal Engine 5와 Cosys-AirSim을 사용하여 사실적인(photorealistic) 합성 드론-탑재체 데이터셋을 생성하고, 강력한 오픈 보캐블러리(open-vocabulary) 탑재체 분석을 위한 2단계 프레임워크인 DroneGround(Grounded Vision-Language Payload Characterization)를 제안합니다. DroneGround는 먼저 YOLO26s 검출기를 사용하여 드론의 위치를 특정하고 드론 중심의 이미지 크롭을 추출한 다음, LoRA 파인튜닝된 PaliGemma 비전-언어 모델을 활용해 탐지된 드론 및 부착된 탑재체에 대한 시맨틱 설명을 생성함으로써 사전에 정의된 범주를 넘어서는 오픈 보캐블러리 탑재체 특성 분석을 가능하게 합니다. 또한 폐색 기반 그라운딩(grounding) 모듈은 생성된 설명에 기여하는 이미지 영역을 식별하여 해석 가능한 탑재체 위치 추정 기능을 제공합니다. 합성 및 실제 드론 영상 모두에 대한 광범위한 실험을 통해 DroneGround가 합성-실제(synthetic-to-real) 분포 변화 하에서 견고성을 크게 향상시켜 F1-점수를 82.5%에서 96.3%로 높여 기존의 닫힌 집합 탑재체 검출기를 능가하는 동시에, 이전에 보지 못한 탑재체 범주에 대해서도 훨씬 더 우수한 일반화 성능(F1 80.4% 대 42.7%)을 달성함을 입증합니다. 데이터셋과 코드는 요청 시 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.