当前位置: 首页 > news >正文

用dw做的个人网站/seo海外

用dw做的个人网站,seo海外,南京 高端网站制作,建邺区建设局网站当你和别人都能实现一个某个功能,这时候区分你们能力的不是谁干活多少,而是谁能写出效率更高的代码。比如显示一个订单列表它不仅仅是写一条SELECT SQL那么简单,我们还需要很清楚的知道这条SQL他大概扫描了多少行数据,返回了多少行…
当你和别人都能实现一个某个功能,这时候区分你们能力的不是谁干活多少,而是谁能写出效率更高的代码。比如显示一个订单列表它不仅仅是写一条SELECT SQL那么简单,我们还需要很清楚的知道这条SQL他大概扫描了多少行数据,返回了多少行数据,是否需要创建索引,创建什么样的索引,索引是否生效,等等。
这里以订单列表显示和订单导出为例来谈谈Mysql分页优化。

 

发现问题

下边是一个订单表的简单表结构。里边有大概270万条数据,其中渠道ID为35的有132万调数据。

CREATE TABLE IF NOT EXISTS `order_info` (`order_id` int(11) NOT NULL AUTO_INCREMENT COMMENT '订单ID',`order_sn` varchar(60) NOT NULL COMMENT '订单号',`user_id` int(11) NOT NULL COMMENT '用户ID',`channels_id` int(11) NOT NULL COMMENT '渠道ID',……一些其他字段`order_time` datetime NOT NULL COMMENT '下单时间',  PRIMARY KEY (`order_id`),KEY `channels_id` (`channels_id`),KEY `order_sn` (`order_sn`),KEY `user_id` (`user_id`),KEY `order_time` (`order_time`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8;

一个订单列表页面一般很多人是这么写的。显示一个总数或者总页数,然后是上一页 1 2 3 4 5 下一页

而我们一般会这样写sql语句去实现上边的功能:

select count(1) as num from order_info where channels_id=35;    0.24 sec
select * from order_info where channels_id=35 order by order_id desc limit 0,20;    0.01 sec
select * from order_info where channels_id=35 order by order_id desc limit 1320000,20;    12.55 sec  即便是第二次查询也用了4.27 sec(mysql自身也会有查询缓存机制)

这里获取数据总数用了相当长的时间。随着你数据量的增多需要的时间也会更长。在获取第一页的数据的时候也没用多长时间,但是越往后需要的时间也就越长。
在多人操作尤其是大并发量的情况下,大量的数据被扫描造成系统IO和CPU资源消耗完,进而导致整个数据库不可服务。 而cpu 消耗过大通常情况下都是由于慢sql 造成的,这里的慢sql 包括全表扫描,扫描数据量过大,内存排序,磁盘排序,锁争用等待等; 表现现象为:sql 执行状态为:sending data,Copying to tmp table,Copying to tmp table on disk,Sorting result,locked;

如何优化

普通的limit M,N 的写法越往后查询越慢。因为mysql总是会去扫描M+N条数据来得到你想要的数据。

我们来看一下京东的分页


上边是京东的搜索和分页。京东的订单很明显根据时间维度做了分库或者分表,也可能根据用户维度又做了分库分表。京东没有显示总数,但是显示了页码 1 2 3 4 5

获取数据总数的优化

尽量不要去获取数据总数。如果业务确实需要获取当前搜索条件下的数据总数也建议使用ajax让用户点击按钮触发后获取总数,或者根据时间维度做数据的分表。大多数用户在点击订单列表的时候关心的不是订单总数,也不是很久之前的订单,而是最近一段时间下的订单。

获取数据的优化

下边我们利用索引只获取主键ID。用了0.40 sec,比上边的sql少了很多。

select order_id from order_info where channels_id=35 order by order_id desc limit 1320000,20;    0.40 sec

所以我们可以有这样的优化写法:

select * from order_info,(select order_id from order_info where channels_id=35 order by order_id desc limit 1320000,20) order_info_tmp where order_info.order_id = order_info_tmp.order_id; 0.47 secselect * from order_info,(select order_id from order_info where channels_id=35 order by order_id desc limit 0,20) order_info_tmp where order_info.order_id = order_info_tmp.order_id; 0.00 sec

先查询翻页中需要的N条数据的主键id,然后根据主键id去查询你所需要的N条数据,此过程中查询N条数据的主键ID在索引中完成。

这里我们尽量只显示上一页或者下一页。那么如何去判断下一页是否有数据呢(没有数据的时候把下一页的按钮置灰)?参考laravel的简单分页设计。比如每页显示20条数据,而我显示当前页面的时候去获取21条数据,根据是否存在第21条数据来判断是否需要显示下一页。
如果需要显示页码1 2 3 4 5呢?其实也可以获取当前范围的几个页面的数据来判断,尽量减少扫描范围。


上边的方法虽然快了不少,可是依然扫描了很多的数据行,在数据量大的情况下依然会很慢,尤其是在做数据导出的时候。
比较常见的导出数据的应用场景就是用户输入搜索条件然后按照搜索条件导出数据。数据的导出不像列表页的显示。我们完全可以利用主键来操作。

select * from order_info where channels_id=35 AND order_id <=54388 order by order_id desc limit 20;    0.00 sec

我们主要是利用了主键ID,这里你可以看到即便是非常往后的数据也是很快的速度就能获取到。这样写能很大程度上减少表扫描的行数,减少数据查询的时间。

//auth by duxiaokong 2016-08-23
$fp = fopen('php://output', 'a');
$num_limit = 1000;
$order_id = 0;
$order_list = [];
while (true) {//执行sql  select * from order_info where $where AND order_id > $order_id order by order_id ASC limit $num_limit; 得到$order_list订单列表//这里一定要注意 order_id > $order_id 和 order_id ASC的排序if (empty($order_list)) {break;}$line = 0;$row_str = '';foreach ($order_list as $key => $val) {$order_id = $val['order_id']; //这行代码一定要记得赋值不然会造成死循环$line++;// 获取导出数据$row = [$val['order_sn'],$val['order_time'],$val['user_name']// ……];//$row 过滤 $row中的非法字符$row_str .= mb_convert_encoding(implode(',', $row), 'gbk', 'utf-8') . PHP_EOL;//每获取20次记录写入一次数据库,减少IOif ($line >= 20) {fwrite($fp, $row_str);$line = 0;$row_str = '';}}if (!empty($row_str)) {fwrite($fp, $row_str);$line = 0;$row_str = '';}
}
fclose($fp);

总结:如何优化?最主要的原则就是避免数据量大时扫描过多的记录。

转载于:https://www.cnblogs.com/aksir/p/6774065.html

http://www.lbrq.cn/news/1088803.html

相关文章:

  • 怎么 做网站教学流程/2022年今天新闻联播
  • 可口可乐营销案例分析/专业seo培训
  • 包头做网站哪家好/照片查询百度图片搜索
  • 用vue做网站一般用什么组件库/驻马店网站seo
  • 建wap手机网站/中国工商业联合会
  • flex做的网站/fifa世界排名最新
  • 做网站要具备哪些/微信广告怎么投放
  • 做一个网站先做前段 还是后端/创意营销策划方案
  • 郑州专业网站设计公司/软文是指什么
  • 武汉地铁计划建设在哪个网站查/市场营销说白了就是干什么的
  • 如何选择邯郸做网站/百度推广关键词查询
  • 贵州网站制作设计公司哪家好/北京seo服务商
  • 重庆装修设计公司排名/百度关键词优化词精灵
  • 北京土巴兔全包装修价格表/seo网站优化排名
  • 房产网站设计方案/国外b站视频推广网站
  • sexinsexurl wordpress/对seo的理解
  • 网页游戏排行榜百战沙城/安卓优化大师清理
  • 微信小程序数据库搭建/专业seo站长工具全面查询网站
  • wordpress多站点功能/优化推广关键词
  • 呼和浩特做网站的公司有哪些/免费网站模板
  • 幸运28网站代理怎么做/网络营销产品推广方案
  • 在家做的手工活哪里有网站/torrentkitty磁力猫引擎
  • 有创意的婚纱网站模板/百度商业平台
  • 做网站主要学什么软件/seo 重庆
  • 南海营销网站建设/搜索引擎seo推广
  • 山东网站建设优化/东莞做网站哪家公司好
  • 免费网站收录提交/刷关键词排名软件
  • 一件代发应该在哪个网站上做/如何提高网站排名的方法
  • 网站主页设计优点/微信群推广
  • 网站开发电子商务/2023年7月最新疫情
  • C++ TAP(基于任务的异步编程模式)
  • InfluxDB Flux 查询协议实战应用(二)
  • HTML5 Canvas 绘制圆弧效果
  • LeetCode|Day26|191. 位 1 的个数|Python刷题笔记
  • C++中new和delete的多重面孔:operator new、new operator与placement new解析
  • 开疆智能ModbusTCP转Profient网关连接西门子PLC与川崎机器人配置案例