这就是搜索引擎–读书笔记三

原文链接:
http://www.cnblogs.com/BaiYiShaoNian/p/4539195.html


前言

考虑到上次的网络爬虫总结一文对基础的知识还没有介绍完整,所以今天花一点时间来补充上次的网络爬虫基础知识。这次给大家总结了两个方面的内容:暗网抓取分布式爬虫。希望对阅读本文的博友们有所收获。

 

暗网抓取

物理学研究表明,在目前宇宙所有物质的总体质量中,星系等可见物质占其中的20%,不可探测的暗物质占据了总质量的80%。互联网中暗网可以与宇宙的暗物质相类比,而其所占网页的比例,更是远大于暗物质占宇宙质量的比例,大约百倍于目前的明网网页。

什么是暗网

所谓暗网,是指目前搜索引擎爬虫按照常规方式很难抓取到的互联网页面。如前所述,搜索引擎爬虫依赖页面中的链接关系发现新的页面,但是很多网站的内容是以数据库方式存储的,典型的例子是一些垂直领域网站,比如携程旅行网的机票数据,很难有显式链接指向数据库内的记录。所以 ,常规的爬虫无法索引这些数据内容,这是暗网的命名由来。

为了能够对暗网数据进行索引,需要研发与常规爬虫机制不同的系统,这类爬虫被称为暗网爬虫。暗网爬虫的目的是将暗网数据从数据库中挖掘出来,并将其加入搜索引擎的索引,这样用户在搜索时便可利用这些数据,增加信息覆盖程度。

目前大型搜索引擎服务提供商都将暗网挖掘作为重要研究方向,因为这直接关系到索引量的大小。在此领域的技术差异,将直接体现在搜索结果的全面性上,自然是竞争对手之间的必争之地。Google目前将其作为重点研发方向,而百度的“阿拉丁计划”目的也在于此。

垂直网站提供的搜索界面,往往需要人工选择或者填写内容,比如机票搜索需要选择出发地、到达地和日期,图书搜索需要支出书名或者作者。而暗网爬虫为了能够挖掘数据库的记录,必须模拟人的行为,填写内容并提交表单。对于暗网爬虫来说,其技术挑战有两点:一是查询组合太多,如果一一组合遍历,那么会给被访问网站造成太大压力,所以如何精心组合查询选项是个难点;第二点就是有的查询是文本框,比如图书搜索中需要输入书名,爬虫怎么样才能够填入合适的内容呢?

查询组合问题

对于暗网爬虫来说,刚才就说到不能简单暴力的查询,那么Google对此就提出了一种方案,称之为富含信息查询模板。那么我们首先解释查询模板。比如如我之类的大学生去智联招聘、前程无忧之类的找工作的网站寻找实习职位时,由于不愿意查看和自己不匹配的职位,这时我们需要用到职位搜索这一栏,完整的查询一般由3个不同的属性组成:职位类别、行业类别和工作地点。如果在向搜索引擎提交查询的时候,部分属性被赋予了值,而其他属性不赋值,则这几个赋值的属性一起构成了一个查询模板。

那么什么又是富含信息查询模板呢?对于某个固定的查询模板来说,如果给模板内每个属性都赋值,形成不同的查询组合,提交给垂直搜索引擎,观察所有返回页面的内容,如果相互之间内容差异较大,说明这个查询模板就是富含信息查询模板。

文本框填写问题

在爬虫运转起来之前,因为对目标网站一无所知,所以必须人工提供一些提示。通过人工观察网站进行定位,提供一个与网站内容相关的初始种子查询关键词表。爬虫根据初始种子词表,向垂直搜索引擎提交查询,并下载返回的结果页面。之后从返回结果页面里自动挖掘出相关的关键词,并形成一个新的查询列表,依次将新挖掘出的查询提交给搜索引擎。如此往复,直到无法下载到新的内容为止。

 

分布式爬虫

对于商业搜索引擎来说,面对海量待抓取网页,分布式爬虫架构是必须采用的技术。只有采取分布式架构,才有可能在较短时间内完成一轮抓取工作。常见的分布式架构有两种:主从式分布爬虫和对等式分布爬虫。

主从式分布爬虫:不同的服务器承担不同的角色分工,其中有一台专门负责对其他服务器提供URL分发服务,其他机器则进行实际的网页下载。URL服务器维护待抓取URL队列,并从中获得待抓取网页的URL,分配给不同的抓取服务器,另外还要对抓取服务器之间的功过进行负载均衡,使得各个服务器承担的工作量大致相等,不至于出现忙的过忙、闲的过闲的情形。抓取服务器之间没有通信联系,每个抓取服务器只和URL服务器进行消息传递。

对等式分布爬虫:服务器之间不存在分工差异,每台服务器承担相同的功能,各自负担一部分URL的抓取工作。

这种架构由于没有URL服务器存在,所以每台抓取服务器自己来判断某个URL是否应该由自己抓取,或者将这个URL传递给相应的服务器。至于判断方法,可以对网址的主域名进行哈希计算,之后去模,如果计算所得的值和抓取服务器编号匹配,则自己下载该网页,否则将该网址转发给对应编号的抓取服务器。

后话

网络爬虫确实有非常多的基础知识和实战技术,目前的我掌握的技能是非常的少,接下来肯定会努力学习爬虫实战技术的,往后也会向大家分享我学习的东西。不过,在搜索引擎这一part,索引对搜索是非常重要的,面对海量的网页内容,如何快速的找到包含用户查询关键词的网页,是一直都需要解决并优化的技术。所以接下来,我会在搜索引擎一系列总结中给大家讲解倒排索引这一方法。

转载于:https://www.cnblogs.com/BaiYiShaoNian/p/4539195.html