本人才疏学浅，不足之处欢迎大家指出和交流。

本文介绍的是第四范式提出的全新的深度神经网络表数据分类模型——深度稀疏网络(Deep Sparse Network，又名NON)。要点：在推荐系统中，如何根据用户的历史行为和item的特征信息，判断用户对商品是否感兴趣成了重要的研究问题之一。而目前的基于模型的方法（如浅层模型如LR，深度模型DNN等）存在一些问题：

• 首先，这些方法会直接融合不同特征域的向量表示，而未显式地考虑域内信息；
• 其次，大多数现有方法使用预定义的特征域交互操作组合（如 DNN、FM），而未考虑输入数据。事实上，预定义的操作组合并不适用于所有的数据，而是应该根据数据选择不同的操作，以获得更好的分类效果；
• 最后，现有方法忽略了特征域交互操作（如 DNN 和 FM）的输出之间的非线性，即最后的输出层均采用的是线性加权的方式，忽略了不同模块输出之间的非线性关系。

为了解决上述问题，本文提出了NON模型(Network On Network)，下面一起来看下细节。

原文：《Network On Network for Tabular Data Classification in Real-world Applications》

由于秋招原因许久未更，现开始逐步看今天最近的论文。 今天分享的是微博＆腾讯关于CTR预估的一篇文章：GateNet:Gating-Enhanced Deep Network for Click-Through Rate Prediction.

要点：在点击率预测中，当前的深度学习模型中基本都包括embedding layer和MLP hidden layers。另一方面，门控机制（gating mechanism）也广泛应用于许多研究领域，如计算机视觉和自然语言处理。目前已有一些研究证明了门控机制提高了非凸深度神经网络的可训练性，于是本文将门控机制与深度CTR模型相结合，并通过实验证明融合模型的性能取得了较大的提升。下面一起来看下细节。

原文：《GateNet:Gating-Enhanced Deep Network for Click-Through Rate Prediction》

本人才疏学浅，不足之处欢迎大家指出和交流。

继续更新，今天要分享的是阿里系第三篇CTR预估文章：Deep Session Interest Network（IJCAI19）。要点：作者们发现用户的行为在每一个会话和异构交叉会话中是高度同质(同构或异构)的，因此提出了DSIN模型，利用用户多个历史会话来模拟CTR预测任务中的用户系列行为。下面一起来看下吧。

原文：《Deep Session Interest Network for Click-Through Rate Prediction》

本人才疏学浅，不足之处欢迎大家指出和交流。

今天继续更阿里系CTR模型三部曲之二，一起学习吧。

今天要分享的是阿里针对电子商务领域的CTR预估的Deep Interest Evolution Network理论，针对DIN做出了相关改进。该模型要点为：主要解决DIN无法捕捉用户兴趣的动态变化性的缺点，提出了兴趣抽取层Interest Extractor Layer、兴趣进化层Interest Evolution Layer。

原文：《Deep Interest Evolution Network for Click-Through Rate Prediction》

本人才疏学浅，不足之处欢迎大家指出和交流。

今天要分享的是阿里针对电子商务领域的CTR预估的Deep Interest Network理论，由盖坤大神团队提出于2017年。该模型要点为：结合Attention机制，充分利用/挖掘用户历史行为数据中的信息，下面一起来看下。

原文：《Deep Interest Network for Click-Through Rate Prediction》

本人才疏学浅，不足之处欢迎大家指出和交流。

迟更几天，今天继续带来传统模型之MLR算法模型，这是一篇来自阿里盖坤团队的方案（LS-PLM），发表于2017年，但实际在2012年就已经提出并应用于实际业务中（膜拜ing），当时主流仍然是我们上一篇提到过的的LR模型，而本文作者创新性地提出了MLR(mixed logistic regression, 混合逻辑斯特回归)算法，引领了广告领域CTR预估算法的全新升级。总的来说，MLR算法创新地提出并实现了直接在原始空间学习特征之间的非线性关系，基于数据自动发掘可推广的模式，相比于人工来说效率和精度均有了大幅提升。下面我们一起来了解下细节。

原文：《Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction》

本人才疏学浅，不足之处欢迎大家指出和交流。

本系列接下来几天要分享的文章是关于线性模型的，在15年后深度模型在ctr预估领域百花齐放之时，仍觉得传统的LR模型有着基石的作用，于是有了今天的分享。话不多说，今天会介绍的是经典的LR模型及Facebook在2014年提出的GBDT+LR（重点）。当时深度学习几乎还没有应用到到计算广告/推荐系统领域，Facebook提出利用GBDT的叶节点编号作为非线性特征的表示，或者说是组合特征的一种方式，可以自动实现特征工程，下面我们一起来看看吧。

两篇原文：

1. Predicting Clicks: Estimating the Click-Through Rate for New Ads

2. Practical Lessons from Predicting Clicks on Ads at Facebook

本人才疏学浅，不足之处欢迎大家指出和交流。

今天要分享的是极深因子分解机模型（XDeepFM)。未闻其声先见其名：
可能我们现在有两个问题，一是为何它叫极深因子分解机（深在哪），二是和DeepFM有何关系？下面我们一起走进模型细节来看看吧。

原文：《xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems》

本人才疏学浅，不足之处欢迎大家指出和交流。

今天要分享的是2017年斯坦福与Google联合提出的DCN模型，和明天要分享的XDeepFM是配套的，同时这篇论文是Google 对 Wide & Deep工作的一个后续研究。本人写文章的顺序尽量严格按照时间顺序来的~话不多说，来看看今天分享的深度模型（串行结构）有哪些创新之处吧。

原文：《Deep & Cross Network for Ad Click Predictions》

本人才疏学浅，不足之处欢迎大家指出和交流。

因个人原因最近都没更新，今天补上一篇FM家族的论文（AFM），接下来会将阿里的几个模型进行汇总下分享，希望大家一起学习呀。

话不多说，今天要分享的是一个Attentional Factorization Machine模型，是17年FM家族的成员。它和NFM是同一个作者，其在FM上的改进，最大的特点就是使用一个attention network来学习不同组合特征(二阶交叉)的重要性。下面我们一起来看下。

原文：《Attentional Factorization Machines: Learning the Weight of Feature Interactions via Attention Network》