爬虫大概分类

网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(General Purpose Web Crawler)、聚焦网络爬虫(Focused Web Crawler)、增量式网

搜索引擎的三个目标和三个核心问题

三个目标: 1、更全 “更全”是从搜索引擎所索引的网页数量的角度来说的,数据显示,目前能够搜索到的数据大概只有信息量的千分之二,因此,对于“暗网”的抓取需要在“爬虫”上下功夫。 2、更快 “更快