当前位置: 首页 > news >正文

做幼儿英语的教案网站/站长统计工具

做幼儿英语的教案网站,站长统计工具,wordpress 独立页面下载,微信小程序应用开发1.什么是爬虫 爬虫就是模拟客户端(浏览器)发送网络请求, 获取响应, 按照规则提取数据的程序模拟客户端(浏览器)发送网络请求 : 照着浏览器发送一模一样的请求, 获取和浏览器一模一样的响应数据 2.爬虫的数据去哪里了 呈现出来: 展示在页面上, 或者展示在app上进行分析: 可以…

1.什么是爬虫

  • 爬虫就是模拟客户端(浏览器)发送网络请求, 获取响应, 按照规则提取数据的程序
  • 模拟客户端(浏览器)发送网络请求 : 照着浏览器发送一模一样的请求, 获取和浏览器一模一样的响应数据

2.爬虫的数据去哪里了

  • 呈现出来: 展示在页面上, 或者展示在app上
  • 进行分析: 可以从爬取的的数据中寻找一些规律

3.需要的软件和环境

  • python3
    • 基础语法 (字符串、列表、字典、判断和循环)
    • 函数 (函数的创建和调用)
    • 面向对象 (如何创建一个类,如何使用这个类)
  • pycharm
    • python编辑器
  • chrome浏览器
    • 分析网络请求用的

4.浏览器的请求

  • url
    • 在chrome中点击检查, 点到network
    • url = 请求的协议+网站的域名+资源的路径+参数
  • 浏览器请求url地址
    • 当前url对应的响应+js+css+图片 >>>> elements中的内容
  • 爬虫请求url地址
    • 当前url对应的响应
  • elements的内容和爬虫获取到的url地址响应不同,爬虫中需要以当前url地址对应的响应为准提取数据
  • 当前url地址对应的响应在哪里
    • 从network中找到当前url地址,点击response
    • 在页面右键显示源码

5.认识HTTP、HTTPS

  • HTTP: 超文本传输协议
    • 以明文的形式传输
    • 效率更高, 但不安全
  • HTTPS: HTTP + SSL (安全套接字层)
    • 传输之前数据先加密, 之后解密数据获取内容
    • 效率较低, 但是安全
  • get请求和post请求的区别
    • get请求没有请求体, post有, get请求把数据放到url地址中
    • post请求常用于登录注册
    • post请求携带的数据量比get请求大、多, 常用于传输大文本的时候
  • HTTP协议之请求
    • 1.请求行
    • 2.请求头
      • User-Agent: 用户代理: 对方服务器能够通过user_agent知道当前请求对方资源的是什么浏览器
        • 如果我们需要模拟手机版的浏览器发送请求, 对应的, 就需要把user_agent改成手机版
      • Cookie: 用来存储用户信息的, 每次请求会被携带上发送给对方的浏览器
        • 要获取登录后才能访问的页面
        • 对方的服务器会通过cookie来判断我们是一个爬虫
    • 3.请求体
      • 携带数据
      • get请求没有请求体
      • post请求有请求体
  • HTTP协议之xiang响应
    • 1.响应头
      • Set-Cookie: 对方服务器通过该字段设置cookie到本地
    • 2.响应体
      • url地址对应的响应
http://www.lbrq.cn/news/204679.html

相关文章:

  • 做网站 售后服务里都写啥/优化 保证排名
  • 沈阳seo专业培训/网站seo优化技巧
  • 单页网站seo如何优化/企业培训权威机构
  • 龙岩做网站公司/怎么做盲盒
  • 个人博客网站设计模板/seo顾问阿亮博客
  • 合肥网站建设方案/百度ai人工智能平台
  • 菏泽建设职业中等专业学校官方网站/免费论坛建站系统
  • 聊城专业做网站公司/排名优化百度
  • 东莞网站设计案例/网站怎么优化
  • 泉州网站建设方案策划/外贸网站建设 google
  • 做网站怎么在图片里面插字/抖音关键词优化排名靠前
  • 重庆响应式网站/app开发
  • 济南360做网站电话/网站推广优化方式
  • 贵阳专业网站建设公司/搜索关键词软件
  • 肥城网站建设公司/主要推广手段免费
  • 大连建网站/每日财经最新消息
  • 陕西网站制作公司/北京百度推广排名优化
  • 竞价网站单页面/营销方式和营销策略
  • 杭州企业网站建设/关键词排名网络推广
  • 曲靖网站建设/html模板网站
  • wordpress免费的吗/商丘seo排名
  • 建设股票网站/seo全网营销
  • 专业3合1网站建设价格/深圳网络推广哪家公司好
  • 微网站建设的第一步是什么 标题/就业培训机构有哪些
  • 宿迁建设局网站/石家庄seo全网营销
  • 徐州网站建设技术/互联网的推广
  • 多商家平台/邯郸seo排名
  • 有可能点进病毒网站怎么做/p2p万能搜索引擎
  • 如何做网站推广页面/湖南竞价优化专业公司
  • 郑州网站建设哪家强/百度指数怎么看
  • ARCGIS PRO DSK 颜色选择控件(ColorPickerControl)的调用
  • 【云原生网络】Istio基础篇
  • 计算机网络:(九)网络层(下)超详细讲解互联网的路由选择协议、IPV6与IP多播
  • C# TCP粘包与拆包深度了解
  • 手滑误操作? vue + Element UI 封装二次确认框 | 附源码
  • 如何保护文件传输安全?文件传输加密