鹰潭市网站建设公司潍坊关键词优化平台
深圳市的士查询软件(gogo查的后台服务器)
1、现有版本总结
热点区域信息是根据过去半年的历史数据计算得出，短期内属于固定信息，不用做任何改变。现在所用的gogo查的版本中，查询热点区域所用的API，是先在servlet中计算出用户选择区域周围的区域ID，构造出SQL查询语句，最后从postgresql中读取所需的热点区域信息。
SQL语句如下：
Select regionno from sztable.hotregioninfo where dayofweek=’”+ dayofweek+”’ and hour = ‘”+hour+”’ and regionno in “+sBuilder.toString()+”order by amount desc limit ”+return_region_num+”;
具体操作可在XGO API程序中看到。
数据库中所存的热点信息，共有800多W条，在SQL查询中需要耗时至少2~3秒，查询效率低下，导致用户体验下降。故在此采用Redis解决查询较慢的问题。
2、热点区域postgresql转Redis
Redis数据库设计：结合原有数据以及查询需求(需要求周边区域中前N大)，采用Redis中有序集合的数据结构。用“星期：时间”字符串作为key，共有(7*24=168)个；用相应区域号及在该区域成功打车的次数作为value中的memeber和score。
将热点区域信息从postgresql中导入redis:程序代码在PostToRedis中，ToRedis为程序入口。直接运行即可将数据从postgresql中以1中设计格式导入redis。注：由于读取数据量较大，可能会导致计算机为java分配的内存空间不够用，应在运行前进行相应设置(Xms)。
3、查询过程
模拟用户查询操作，采用的模式为：用户提交坐标点及第几天、时间，在serrvlet中计算出坐标点所在区域号，根据半径计算出要查询的范围内所有的区域ID，并写入到Redis有序集合T1(临时，只对本次查询有效，查询结束之后即将该集合销毁)中，然后将T1与之前已经存好的168个key、value中相应时间段的集合求交集。Eg：现在为周三，上午十点钟，就与key为3：10的集合求交集，交集结果按照降序排列，将前N区域号提取出来，并根据将区域号转为坐标的算法得到输出结果。
需要注意的是，每次查询在redis中新增加的key，在本次查询结束之后都要进行销毁或者设置存活时间，使系统能够较快的释放掉该key所占用的内存空间，减少累加查询导致过多无效key存在，一定程度上缓解服务器压力。
热点区域查询的API，在程序包HotRegionRedis中。
4、存在弊端
每次查询都要向redis中写入新的数据集合，虽然redis声称每秒中可支持10W次写入操作，但在既有写又有读、高并发的情况下会导致Redis性能下降。不过在相当一段时间内，这种模式可以满足需求。
5、建议
建议之后将热点区域中分区方法改进，结合Geohash算法。(由于要求前N大，暂时无法避免查询操作时向Redis中写入数据)。
posted on 2014-01-10 09:34 顺其自然EVO 阅读(1315) 评论(0) 编辑 收藏 所属分类: 数据库