当前位置: 首页 > news >正文

莱山做网站的公司/长沙seo全网营销

莱山做网站的公司,长沙seo全网营销,在电脑上做网站的软件,深圳自助建站熵的本质是香农信息量()的期望。现有关于样本集的2个概率分布p和q,其中p为真实分布,q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为:H(p)。如果使用错误分布q来表示来自真实分布p的平均编码长度&a…
熵的本质是香农信息量( log\frac{1}{p} )的期望。

现有关于样本集的2个概率分布p和q,其中p为真实分布,q非真实分布。按照真实分布p来衡量识别一个样本的所需要的编码长度的期望(即平均编码长度)为:H(p)= \sum_{i}^{} p(i)*log\frac{1}{p(i)} 。如果使用错误分布q来表示来自真实分布p的平均编码长度,则应该是:H(p,q)= \sum_{i}^{} p(i)*log\frac{1}{q(i)} 。因为用q来编码的样本来自分布p,所以期望H(p,q)中概率是p(i)。H(p,q)我们称之为“交叉熵”。

比如含有4个字母(A,B,C,D)的数据集中,真实分布p=(1/2, 1/2, 0, 0),即A和B出现的概率均为1/2,C和D出现的概率都为0。计算H(p)为1,即只需要1位编码即可识别A和B。如果使用分布Q=(1/4, 1/4, 1/4, 1/4)来编码则得到H(p,q)=2,即需要2位编码来识别A和B(当然还有C和D,尽管C和D并不会出现,因为真实分布p中C和D出现的概率为0,这里就钦定概率为0的事件不会发生啦)。

可以看到上例中根据非真实分布q得到的平均编码长度H(p,q)大于根据真实分布p得到的平均编码长度H(p)。事实上,根据 Gibbs' inequality 可知,H(p,q)>=H(p)恒成立,当q为真实分布p时取等号。我们将由q得到的平均编码长度比由p得到的平均编码长度多出的bit数称为“相对熵”:D(p||q)=H(p,q)-H(p)= \sum_{i}^{} p(i)*log\frac{p(i)}{q(i)} ,其又被称为KL散度(Kullback–Leibler divergence,KLD)  Kullback–Leibler divergence 。它表示2个函数或概率分布的差异性:差异越大则相对熵越大,差异越小则相对熵越小,特别地,若2者相同则熵为0。注意,KL散度的非对称性。

比如TD-IDF算法就可以理解为相对熵的应用:词频在整个语料库的分布与词频在具体文档中分布之间的差异性。

交叉熵可在神经网络(机器学习)中作为损失函数,p表示真实标记的分布,q则为训练后的模型的预测标记分布,交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题,因为学习速率可以被输出的误差所控制。

PS:通常“相对熵”也可称为“交叉熵”,因为真实分布p是固定的,D(p||q)由H(p,q)决定。当然也有特殊情况,彼时2者须区别对待。
http://www.lbrq.cn/news/1352215.html

相关文章:

  • 手机如何搭建网站/郑州网络推广效果
  • 北京专业响应式网站建设/怎么联系地推公司
  • 常州个人网站建设/百度seo快排软件
  • 陕西咸阳网站建设/关键词seo排名怎么选
  • 建设部安全事故通报网站/深圳seo优化公司
  • 微信公众号做微网站/苏州seo排名优化课程
  • 有没有免费建网站/网站设计专业的公司
  • 西安做网站的公司报价/百度提交收录入口
  • 潍坊网站建设制作/学生个人网页制作成品代码
  • 橙云网站建设/跨境电商seo是什么意思
  • 建一个类似京东的网站/网络广告的形式
  • 邢台网站制作公司哪家专业/央视新闻的新闻
  • 衡水网站建设套餐/seo博客大全
  • 建设网站可选择的方案有/百度浏览器网页
  • 睢宁做网站/百度数据研究中心官网
  • 设计页面纸张大小/seo的优化技巧和方法
  • java做网站合适吗/营销型网站建设托管
  • 网站建设的程序/海外推广代理公司
  • wordpress 木马 查/娄底seo
  • 宽屏wordpress主题/seo外链发布工具
  • 个人网站备案需要多久/线上推广方案模板
  • 模板网站优化/直播发布会
  • 一个网站2级域名多/关键词seo排名怎么选
  • 网站服务器拒绝连接/seo优化包括什么
  • 电子商务网站建设总结/发表文章的平台有哪些
  • 小型电子商务网站规划建设方案/网络营销环境分析包括哪些内容
  • wordpress网站入口/上海职业技能培训机构
  • 子目录做网站/怎样把产品放到网上销售
  • 网站建设平台网站设计/如何自己开发一个网站
  • 网上书店网站建设实训总结/如何制作自己的公司网站
  • 【motion】标签体系设计与检索 1:HumanML3D 和 KIT Motion-Language(KITML)
  • VUE+SPRINGBOOT从0-1打造前后端-前后台系统-邮箱重置密码
  • 分布式文件系统06-分布式中间件弹性扩容与rebalance冲平衡
  • Ethereum:智能合约开发者的“瑞士军刀”OpenZeppelin
  • 【云馨AI-大模型】2025年8月第一周AI浪潮席卷全球:创新与政策双轮驱动
  • Coze Loop:开源智能体自动化流程编排平台原理与实践