当前位置: 首页 > news >正文

电子商务网站网络安全设计方案/网络营销中心

电子商务网站网络安全设计方案,网络营销中心,网站续费自己做,大连app制作文章目录前言ConvMixer的结构设计网络结构的一些思路思考前言 这篇文章目前投递至ICLR 2022,暂无发表记录。 自从2020年ViT问世以来,关于transformer的文章层出不穷,ViT有如此良好的性能,是因为其独特的网络结构,还是…

文章目录

  • 前言
  • ConvMixer的结构
  • 设计网络结构的一些思路
  • 思考

前言

这篇文章目前投递至ICLR 2022,暂无发表记录。

自从2020年ViT问世以来,关于transformer的文章层出不穷,ViT有如此良好的性能,是因为其独特的网络结构,还是因为其独特的输入形式?这篇文章设计了ConvMixer网络,验证了ViT的良好性能可能来源于其独特的输入形式。

本文将会简单介绍ConvMixer网络的结构,并简单总结由ViT引出的几个设计网络结构的思路,最后会简单谈谈我对这篇文章的看法。


ConvMixer的结构

在这里插入图片描述
和ViT类似,ConvMixer会将输入图像切割成几个不重合的patch,每个patch的大小为p∗pp * ppp,接着经过hhh个kernel size为p∗pp * ppp,步伐数为ppp的卷积处理,得到一个大小为h∗n/p∗n/ph * n/p * n/phn/pn/p的feature map,这个过程就是ViT中的patch embedding(patch embedding本身可以等价于上述操作)。

接着数据会经过ddd层ConvMixier Layer处理,Depthwise Convolution模拟了MLP mixer中的spatial mixing,用于糅合空间信息,Pointwise Convolution模拟了MLP mixer中的channel-wise mixing,用于糅合通道信息。ConvMixier Layer并不会进行下采样,不同层输出的feature map的resolution和channel数都是一致的。

最后一层输出的feature map会经过一个全局池化处理,输入到一个分类器中进行分类

论文做的实验不多,本文给出ImageNet 1k上的实验结果。ConvMixer-1536/20表示feature map的channel数为1536,网络深度为20,其他以此类推
在这里插入图片描述
可以看到,ConvMixer-1536/20的性能要优于朴素的Mixer-B/16,并且参数量要更少


设计网络结构的一些思路

ViT问世后,出现了一类Isotropic architectures,即首先使用patch embeddings,不同层输出的feature map的channel和resolution完全一致,类似于本文提出的ConvMixer。

目前也有一部分工作,将ViT与CNN结合。


思考

这篇文章和MLP mixer很类似,而MLP mixer中的许多操作本身可以等价于Depthwise Convolution和Pointwise Convolution,模型结构上没有太多不同。

作者设计的ConvMixer包含ViT中的两个因素,Isotropic和patch embedding,文章并没有论述这两个因素究竟谁对性能的影响大,patch embedding的实质就是用大的卷积核对输入图像进行卷积,那么是不是可以在ResNet中引入patch embedding,如果模型性能有所提升,那ViT的性能很可能来源于其独特的输入形式,在一定程度上更符合论文标题。

http://www.lbrq.cn/news/1284121.html

相关文章:

  • 网站代运营做哪些/百度关键词优化曝光行者seo
  • 网站工作室模板/企业文化
  • paypal可做网站/网络推广法
  • 公司网站制作高端/时事政治2023最新热点事件
  • 网站开发违约属于什么纠纷/西安网站建设公司排行榜
  • 凡科网站网站建设进不去/seo信息查询
  • wordpress源码之家/seo信息网
  • 服务行业做网站/ 今日头条
  • 大家做网站都会去哪找素材/产品推广方式
  • 招商网站怎么做/优质的seo快速排名优化
  • 做网站开发的想接私活/微信怎么推广引流客户
  • 网站域名备案更改吗/百度爱采购官网
  • 常见的电子商务网站有哪些/技能培训
  • 更换域名对网站的影响/优化关键词排名软件
  • 济南建站软件/阳泉seo
  • 张店低价网站建设/百度指数1000搜索量有多少
  • 兰州网站制作公司排名/查找关键词的工具叫什么
  • 汕头网站建设制作方案/免费代理浏览网页
  • 玉雕网站建设/逆冬黑帽seo培训
  • 网站开发和推广的不同/网站分析报告
  • 做外贸公司网站/近期国际新闻热点大事件
  • 合肥seo关键词排名/seo查询5118
  • 个人网站建设方法/郴州网站建设
  • 地勘网站建设方案/深圳网络推广最新招聘
  • 网站开发设计培训价格/产品质量推广营销语
  • 网站攻击方式/宁波seo外包平台
  • 云南城乡建设网站/简单制作html静态网页
  • 如何做网站网页表白/东莞今日头条新闻
  • 国际交友网站做英文客服/长沙seo排名扣费
  • 公司网站建设申请/成都网络优化公司有哪些
  • 如何在 Ubuntu 24.04 或 22.04 中创建自定义 Bash 命令
  • 第10篇:实战验收篇
  • cacti的命令执行和回显
  • PCIe 的L状态(链路状态)和D状态(设备状态)
  • 论文Review Registration TEASER | TRO | MIT出品,点云配准经典BenchMark | 硬核的数学长文
  • 算法调试技巧