1.爬虫是什么呢?
爬虫是指按照一定的规则,自动地抓取网络数据,再对数据进行解析复用的程序或者脚本。
2.爬虫的分类
网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(General Purpose Web Crawler)、聚焦网络爬虫(Focused Web Crawler)、增量式网络爬虫(Incremental Web Crawler)、深层网络爬虫(Deep Web Crawler)。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。
3.爬虫的应用场景
也就是说你为什么要写这个爬虫程序或者脚本呢?是为了好玩还是用来装酷呢?
本质就是你拿到数据要干嘛呢,
- 3.1你可以进行热门岗位分析比如可以爬取拉勾网python工作职位的薪资以及待遇情况。
- 3.2也可以拿到豆瓣电影(豆瓣图书)的top100的电影名字、演员、上映时间以及各大网友的评论。
- 3.3你也可以做一个软件,可以通过爬取各个商店的同一类产品的数据,来比较他们的价格,销量,好评度等等,让你的朋友们永远你的软件,可以带来更多的乐趣吧。
- 3.4你也可以做一个信息咨询汇集的网页,也就是搜索引擎
- 3.5当然数据分析的前提是需要很多数据的,可以通过爬虫爬取下来。
- 3.6股市预测
- 3.7刷票抢票短信电话轰炸等等
应用还是非常多的,当我们熟练爬虫之后就可以实现我们的一些有趣的想法。