网站设计费用入哪个会计科目/网站优化推广招聘

提出动机

解决交叉特征学习问题，虽然传统的FM模型可以学习到二阶交叉特征，对于高阶交叉特征，需要大量的参数，在deep&wide模型，wide部分需要手动进行特征工程，deep&cross模型在wide部分实现了自动生成高阶交叉特征，并使用了resnet的形式，相当于是对deep&wide模型改进。

网络形式

经过公共的embedding和stacking层，左边为cross network，右边为deep network。

Embedding and stacking layer

该层对特征进行拼接成input，对于Dense特征直接拼接，对于sparse特征首先进行embedding，将生成的稠密向量与dense特征进行拼接

Cross network

交叉网络结构如下

表达式为$${\mathbf{x}}_{l+1}={\mathbf{x}}_0{\mathbf{x}}_l^T{\mathbf{w}}_l+{\mathbf{b}}_l+{\mathbf{x}}_l=f\left({\mathbf{x}}_l,{\mathbf{w}}_l,{\mathbf{b}}_l\right)+{\mathbf{x}}_l$$
对于第$l$层的输出$x_{l+1}$，由原始输入$x_0$和上一层的输入$x_l$相乘得到，从而产生高阶交叉特征。这里使用了resnet的形式$y=f(x)+x$，使得网络结构更具有鲁棒性。

注意cross部分维度映射是由${\mathbb{R}}^d\mapsto {\mathbb{R}}^d$的，所以该部分总参数为：
$$d\times L_c\times 2$$ d是输入特征的维度，$L_c$是cross网络的层数。

Deep network

deep部分跟传统DNN相同，由若干个全连接层相连，第$l+1$个隐藏层表达式为：
$${\mathbf{h}}_{l+1}=f\left(W_l{\mathbf{h}}_l+{\mathbf{b}}_l\right)$$其中：$W_l\in {\mathbb{R}}^{n_{l+1}\times n_l},{\mathbf{b}}_l\in {\mathbb{R}}^{n_{l+1}}$
所以整个deep 部分参数个数为：
$$d\times m+m+\left(m^2+m\right)\times \left(L_d-1\right)$$

Combination layer

最终，将cross部分和deep部分的输出结果，合并到一起，
$$p=\sigma \left(\left[{\mathbf{x}}_{L_1}^T,{\mathbf{h}}_{L_2}^T\right]{\mathbf{w}}_{\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{i}\mathrm{t}\mathrm{s}}\right)$$

其中：
$${\mathbf{x}}_{L_1}\in {\mathbb{R}}^d,{\mathbf{h}}_{L_2}\in {\mathbb{R}}^m，{\mathbf{w}}_{\text{logits }}\in {\mathbb{R}}^{(d+m)}，\sigma (x)=1/(1+\exp (-x))$$
$w_{logits}$可以看做合并向量乘上的权重

最终，损失函数由交叉熵和正则项构成：+
$$\mathrm{loss}=-\frac{1}{N}\sum _{i=1}^N{y}_i\log \left(p_i\right)+\left(1-y_i\right)\log \left(1-p_i\right)+\lambda \sum _l{\Vert {\mathbf{w}}_l\Vert }^2$$

参考资料

https://arxiv.org/abs/1708.05123