前言

室友喊着没有小说看，让我给他推荐几本，最初寻思我也不看啊，但这能难倒我？

分分钟就用python给他把整个网站的小说都给下载下来了，不愧是我啊！

话不多说，我们直接开整！

环境

python 3.6 解释器
pycharm 编辑器 专业版 是需要激活码

requests >>> pip install requests
parsel >>> pip install parsel
pandas >>> pip install pandas
tqdm >>> pip install tqdm

数据来源分析

1. 确定需求

   爬取小说内容
   进行搜索功能 (当输入一本小说名字或者作者选择下载相应的小说内容)
   2. 数据来源分析

代码实现过程

发送请求 对小说章节列表页发送请求

获取数据 获取网页源代码 (响应体的文本数据response.txt)

解析数据 提取小说名字 / url地址

发送请求 对小说章节url地址发送请求

获取数据 获取网页源代码 (响应体的文本数据response.txt)

解析数据 提取小说的内容 / 小说章节名

保存数据

实现一个搜索功能

import requests  # pip install requests
import parsel  # 数据解析 pip install parsel
import pandas as pd # pip install pandas
from tqdm import tqdm  # pip install tqdmheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
}def get_response(html_url):'''发送请求'''response = requests.get(url=html_url, headers=headers)response.encoding = response.apparent_encodingreturn responsedef save(name, title, content):"""保存小说"""with open(name + '.txt', mode='a', encoding='utf-8') as f:f.write(title)f.write('\n')f.write(content)f.write('\n')# print(title)def get_novel_url(html_url):"""获取小说章节url"""response = get_response(html_url)# 把获取到的html字符串数据 转成 selector 对象selector = parsel.Selector(response.text)name = selector.css('#info h1::text').get()href = selector.css('#list dd a::attr(href)').getall()# https://www.biquges.com/10_10770/6896120.htmlhref = ['https://www.biquges.com/' + i for i in href]for index in tqdm(href):"""获取小说的内容"""response = get_response(index)selector = parsel.Selector(response.text)title = selector.css('.bookname h1::text').get()# getall() 获取所有的标签内容 返回的是列表 get 获取一个 返回的是字符串content_list = selector.css('#content::text').getall()# 把列表转换成字符串content = ''.join(content_list)save(name, title, content)#python学习群：748989764if __name__ == '__main__':# url = 'https://www.biquges.com/10_10770/index.html'# get_novel_url(url)# print(response.text)while True:print('输入0即可退出程序')word = input('请输入你要下载的小说名字(作者): ')if word == '0':breaksearch_url = 'https://www.biquges.com/modules/article/search.php'data = {'searchkey': word,'searchtype': 'articlename'}response_1 = requests.post(url=search_url, data=data, headers=headers)response_1.encoding = response_1.apparent_encodingselector_1 = parsel.Selector(response_1.text)# 第一次提取trs = selector_1.css('#nr')lis = []if trs:for tr in trs:novel_name = tr.css('td:nth-child(1) a::text').get()novel_id = tr.css('td:nth-child(1) a::attr(href)').get().replace('/', '')author = tr.css('td:nth-child(3)::text').get()dit = {'书名': novel_name,'作者': author,'书ID': novel_id,}lis.append(dit)print(f'一共搜索到{len(lis)}数据内容')search_result = pd.DataFrame(lis)print(search_result)num = input('请输入你要下载的小说序号: ')# 序号对应的就是列表里面索引位置num_id = lis[int(num)]['书ID'] # 直接获取小说IDlink_url = f'https://www.biquges.com/{num_id}/index.html'get_novel_url(link_url)print(f"{lis[int(num)]['书名']}已经下载完成了")else:print('抱歉，搜索没有结果^_^')