当前位置: 首页 > news >正文

网站 不 备案/优化设计电子课本

网站 不 备案,优化设计电子课本,手机版 网站建设,质量好网站建设商家引言推荐系统尤其是深度推荐系统已经在工业界得到了广泛应用,尤其是在电商场景下(如淘宝和京东的商品推荐)。一个好的工业级推荐系统可以推动业务增长带来大量的经济效益。那么,工业级推荐系统的最佳实践是怎样的呢?Fa…

3257cb449e1e08da05c1148073c303c0.png

引言

推荐系统尤其是深度推荐系统已经在工业界得到了广泛应用,尤其是在电商场景下(如淘宝和京东的商品推荐)。一个好的工业级推荐系统可以推动业务增长带来大量的经济效益。那么,工业级推荐系统的最佳实践是怎样的呢?Facebook 的推荐团队在本文给出了他们的答案。

本文详细介绍了 Facebook 最新的推荐系统实践包括特征处理、算法建模、代码实现和平台介绍。如此详细清楚的论文,可以说是工业界推荐系统的必读论文之一。作者也开源了代码和最优超参数供大家学习:

https://github.com/facebookresearch/dlrm

2fcd145d04757bfd271c5fe868131726.png

模型架构

本文所设计的推荐系统架构如 Fig 1 所示。整个模型主要包含:特征工程(包含 spare 和 dense 特征),用于特征建模 Embedding 和 Embedding Lookup,用于特征转换的 NNs,用于特征交互的 Interactions 以及最后的预测 NNs。

fc621fb7c0eecd311711c6ffb656c6e5.png

特征表示 Embedding

在实际的推荐场景中,用户和商品通常都有丰富的特征信息。用户的特征通常用性别,年龄,居住地等。如何将这些类别特征转为模型可以处理的向量呢。本文的做法是将这些类别特征编码为 one-hot 的向量,然后通过 embedding lookup 来得到其表示。

44e53215631b9d8a5f827f30bff45fee.png

以用户的性别为例,性别男的 one-hot 编码为 [1, 0] 性别女的 one-hot 编码为 [0,1]。然后,我们针对性别初始化一个关于性别的 embedding matrix,该矩阵大小为 2*d,2 代表性别的可能取值,d 代表 embedding 的维度。那么通过 embedding lookup,性别男的 embedding 其实就是 embedding matrix的第一行,性别女的 embedding 就是 embedding matrix 的第二行。通过上述操作,我们就将难以处理的类别特征转化为了神经网络方便处理的向量。

上述过程得到是类别特征的初始 embedding,我们可以通过 MLP 对其进行非线性转换。初始的特征 embedding 会在模型优化过程中学习到具有区分度的特征表示。

特征交互 Interaction

在得到特征的表示后,我们通过内积等简单操作实现模型的预测:

293e1a91b58244ac89b8d2e0e6d48c89.png

但是,如果我们能够抓住的描述特征关联性,那么模型的预测能力可能会进一步提升。例如,经典的 FM:

704fb7a5dd40bb883db145d73d9c7909.png

特征交叉的好处到底在哪呢?这里给一个形象的例子:经度和纬度分开看并不能精准定位某个地区,但是当经纬度结合起来就可以精准定位地区,该地区的每一部分拥有的类似的特性。

模型预测 NNs

有了特征的表示及其交互之后,我们可以将其送入到 MLP 中,并利用 Sigmoid 函数预测最终的点击概率。

c4e32a2055edb7b4a4f7bd528931fdb2.png

可以看出,本文所提出的 DLRM 模型其实并没有很复杂,但是却将工业界的一些实践方法给出了清晰的介绍。

模型实现

DLRM 实现所需要的相关接口在 PyTorch 和 Caffe2 中都有实现,见 Table 1。

c0ca832cbd442f700976128e21a83488.png

模型并行

在工业界的大规模数据下,模型并行是必不可少的一个步骤。DLRM 模型的主要参数来自于特征的 embedding,后面特征交互和模型预测部分的参数其实很少。假设我们有一亿个用户,如果对其 ID 进行 embedding,那么 embedding matrix 就会有一亿行,这是一个非常大的参数矩阵。

对于特征 embedding 部分,这里采用的是模型并行,将一个大的embedding 矩阵放到多个设备上,然后更新相应的特征 embedding。

对于特征交互和模型预测部分,这里的参数量相对较少而且用户/商品的数量无关,本文采用的是数据并行的方式。在多个设备上计算梯度,然后将梯度合并来更新模型。

实验

本文在随机数据,合成数据和公开数据上进行了实验。对比算法主要是Deep cross network。整个实验运行在 Facebook 的 Big Basin platform 上。

5635a13c3f0e96d7329b8076eec5f902.png

具体实验结果如下:

107422977a11b5a9a3749b76fc1b352c.png

可以看出,本文所提出的 DLRM 算法明显超越谷歌的 DCN。

总结

本文提出了一种工业级推荐系统 DLRM 并实验验证了其优越性。同时,作者也给出了工业界推荐系统的最佳实践,相关代码和超参数设置也进行了开源。可以说,本文是在工业界做推荐系统的必读论文之一。

http://www.lbrq.cn/news/213391.html

相关文章:

  • 可以自己做网站的软件/中国十大经典广告
  • 电商网站建设课件/最近三天的新闻大事
  • 网站制作公司哪家专业/最新腾讯新闻
  • 仿58同城网站模板/安徽网络优化公司排名
  • 网页设计随机点名代码/广州seo外包
  • 济南网站建设jnjy8/活动推广朋友圈文案
  • 做二维码网站/新野seo公司
  • 桂林疫情防控方案最新/南京seo排名优化公司
  • 自己有域名和服务器如何做网站/信息流优化师怎么入行
  • 软件开发的工作内容/兰州网站优化
  • 网站用户体验存在问题/yahoo搜索引擎入口
  • 泉州网站建设方案策划/百度seo关键词排名查询工具
  • 网站建设阿里/自媒体发布平台有哪些
  • 如何做网站seo排名优化/网址生成短链接
  • 如何做seo和网站/百度爱采购官网首页
  • 网站建设视频教程最新/低价刷粉网站推广
  • 3. 是网站建设的重点/seo快速优化软件
  • flash网站建设教程/seo的关键词无需
  • 南京做网站外包/小程序推广运营的公司
  • 网站没有备案信息该怎么做/百度seo优化服务项目
  • 网站开发在线播放ppt/阜平网站seo
  • 模板网站建设套餐/torrentkitty搜索引擎
  • 怎么做网站从0做到权重7/福州seo代理计费
  • 嘉兴网站建设方案外包/电商还有发展前景吗
  • 如何制作网站主页/搜索优化指的是什么
  • 承德做网站boyun/网络营销的种类
  • 制作app定制开发公司/qq群排名优化
  • 做网站怎么报价/网络站点推广的方法
  • 导购网站的seo怎么做/上海抖音推广
  • 醴陵网站建设/seo和sem推广
  • React + Mermaid 图表渲染消失问题剖析及 4 种代码级修复方案
  • 【Elasticsearch】Elasticsearch 快照恢复 API 参数详解
  • 创建项目:使用Spring Initializr初始化你的第一个应用程序
  • 题解:CF1829H Don‘t Blame Me
  • CrewAI与LangGraph:下一代智能体编排平台深度测评
  • 手撕Spring底层系列之:后置处理器“PostProcessor”