抑郁症健康,内容丰富有趣,生活中的好帮手!
抑郁症健康 > python爬虫豆瓣大作业-Python爬虫案例:抓取豆瓣编程类高评分书籍

python爬虫豆瓣大作业-Python爬虫案例:抓取豆瓣编程类高评分书籍

时间:2021-12-06 14:34:54

相关推荐

对于很多正在学习计算机的朋友来说,选择合适的学习材料是非常重要的。

本文将通过 Python 来爬取豆瓣编程类评分大于 9.0 的书籍。

此案例很适合入门爬虫的朋友学习,总共也就 3 个函数。

下图是最终的结果:

下面进入正题:

一、采集源分析:

首先我们找到豆瓣的编程类书籍网址:

进入网址之后我们翻到最下面的分页导航:

通过分析分页地址我们可以得出:

这个地址则是我们要采集的内容。第一页 start = 0,第二页 start = 20 ... 以此类推。

找到了要采集的 URL 之后,接下来就是分析我们真正需要的数据在 HTML 文档中的位置。

F12 打开控制台发现,这些 li 标签正是我们的目标内容。

而书名、评论、评分分别对应li 下面的 h2 标签、class 为 rating_nums 的 span 标签, class 为 pl 的 span 标签。

见下图:

<

如果觉得《python爬虫豆瓣大作业-Python爬虫案例:抓取豆瓣编程类高评分书籍》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。