当前位置: 首页 > news >正文

什么网站可以做实验室/精准ip地址查询工具

什么网站可以做实验室,精准ip地址查询工具,福州论坛哪个比较好,网站维护需要学什么心血来潮搞了一个简单的爬虫,主要是想知道某个人的b站账号,但是你知道,b站在搜索一个用户时,如果这个用户没有投过稿,是搜不到的,,,这时就只能想方法搞到对方的mid,&…

心血来潮搞了一个简单的爬虫,主要是想知道某个人的b站账号,但是你知道,b站在搜索一个用户时,如果这个用户没有投过稿,是搜不到的,,,这时就只能想方法搞到对方的mid,,就是 space.bilibili.com/9444976 后面的那一串数字。偶然看到这个人关注了某个主播,,想到可能这个人会回复主播的视频,于是想着爬到所有up下的视频的评论对应的用户,这样我就可以在数据库里检索昵称得到mid,,,嘿嘿嘿(然而失败了,,不是所有人都像我这么无聊,,,,有些人真的看视频不会回复,,

这个爬虫的主要功能是爬取某个指定up主下的所有视频中的评论(不包括评论的回复,当然可以实现,但是感觉都差不多,就没考虑这块),最后将爬到的用户数据存到数据库里。整个项目只是抱着学习相关内容的心态来完成,不要做大批量的爬取网站(DDOS)及其敏感数据的事,也不要用作商业用途,,(虽然写的很丑,,,)

简要说明

整个项目的分为三个部分,首先是爬取指定mid up的所有视频的av号,即 CrawlAllVideosOfAUP.py 这个脚本,使用的api是 https://api.bilibili.com/x/space/arc/search?mid=mid&ps=30&tid=0&pn=pn&keyword=&order=pubdate&jsonp=jsonp 具体的说明见脚本内注释。

之后有了所有的av号,使用 CrawlCommentUsersByVideo.py 爬取指定av号下的所有评论,使用的api是 https://api.bilibili.com/x/v2/reply?pn=**&type=1&oid=***&sort=2 爬取av号为 oid 下第 pn 页的评论的信息(sort对应的应该是评论的展示顺序用不到没管。可以爬取到很多的信息,根据自己需求来修改脚本计科。

最后将这两个整合,加一点点细节就行了,,大致是一个能用的脚本(虽然最后没有找到我想要的一个信息,,,,

具体看注释吧,,很简单的一些东西吧,,长见识为主,留印象。。。。

总结

之前很早就接触了Python爬虫,,但是只是用一下就扔了,没有自己完全的编写一个,,所以心血来擦写一个练练手,,说不定以后还会遇到这样类似的事,,,

这个脚本最后将爬取到的数据扔到了数据库里,,因为之前看别人的代码,他是获取一条写入一条,,数据量一大就很慢,,(尤其是用了线程一边获取一遍写入时,因为爬虫一次会获得很多的数据,但是如果保存数据库时一条一条的 commit 些磁盘的io瓶颈就会显露出来,,所以可以加一个 flag ,写入到1000或者某个值时再 commit 这样就很有效率了,,跑偏了)

大概了解了一下python下的线程的写法,思路都是那个思路,,算是简单的见识一下,,,

关于windows下的mysql数据库:我们通常会备份一个数据库的某些表的结构到一个文件中,例如 233.sql ,使用的命令可能是 mysqldump -uroot -p databases > 233.sql 等等类似的,,但是这个命令在windows的 PowerShell 会有bug,,具体原因没有深究(猜测是编码的锅),导出的文件不能使用 source 233.sql 导入,,会爆什么 '\0' 等 ASCII错误,,这时的解决方法就是换 cmd ,,这个错误第一次见,,而且不好解决,,迷惑性太大,,容易带偏QAQ,,,太浪费时间了,,,

好像没啥了。。。(end)

哦对,加个参考。。。

http://www.lbrq.cn/news/1439605.html

相关文章:

  • 抖音小程序推广怎么挂才有收益/哈尔滨关键词优化报价
  • 柳州网站建设33/大地seo视频
  • 辽宁城乡建设工程招标网(官网)/网站seo关键词优化技巧
  • 企业网站开发需要多钱/百度ocpc如何优化
  • 免费的ppt网站推荐/如何建立网页
  • 计算机专业网站建设实训日志/网站seo入门基础教程
  • 销售网站免费做/哈尔滨电话本黄页
  • 建站之星极速版/晨阳seo顾问
  • 如何开网站建设公司/沈阳网络优化培训
  • 河北手机网站制作公司/武汉网站排名提升
  • 公司网站建设好处/盘多多搜索引擎入口
  • 珠海网站建设制作怎么收费/免费python在线网站
  • 搭建h5流程/江苏搜索引擎优化公司
  • 计算机的网站建设/查询网站信息
  • 怎么用java做html5网站/百度首页排名代发
  • 上海商务网站建设/百度广告费
  • 网上有哪些购物网站/查网站
  • 做买东西的网站要多少钱/专业网站建设公司
  • 公司网站建设7个基本流程/淘宝搜索词排名查询
  • 网站开发需要哪些人员/如何在百度搜索到自己的网站
  • 莘县网站建设公司/百度推广登录首页网址
  • 为把网站建设更好/短视频营销成功案例
  • 徐州铜山区建设局网站/淘宝关键词指数
  • 国际转运网站建设/营销目标分为三个方面
  • 编写软件的步骤/武汉seo培训
  • 国外做的比较好的展台网站/武汉百度推广代运营
  • wordpress自定义输入/济源新站seo关键词排名推广
  • 诸暨制作网站的公司有哪些/人工智能培训课程
  • 国外企业合作的网站/sem竞价推广
  • 宁波慈溪网站建设/最近新闻热点大事件
  • PyTorch Tensor完全指南:深度学习数据操作的核心艺术
  • 可视化调试LangChain SQLChatMessageHistory:SQLite数据库查看全攻略
  • archlinux中VLC无法播放视频的解决办法
  • 【KO】android 面试 算法
  • 开发避坑指南(23):Tomcat高版本URL特殊字符限制问题解决方案(RFC 7230 RFC 3986)
  • 开源!!! htop移植到OpenHarmony