Java——网络爬虫基础


网络爬虫

在这里插入图片描述

工作原理

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:

  1. 通用网络爬虫(General Purpose Web Crawler)
  2. 聚焦网络爬虫(Focused Web Crawler)
  3. 增量式网络爬虫(Incremental Web Crawler)
  4. 深层网络爬虫(Deep Web Crawler)。
  5. 实际的网络爬虫系统通常是几种爬虫技术相结合实现的