python爬虫（四）---scrapy框架之腾讯招聘项目实战

目的：功能就是翻页请求

步骤：如下

在这里插入图片描述

爬取职位名，职位链接等

在这里插入图片描述
 职位名：
 职位详情链接：
 职位类别：
 人数:
 地点:
 发布时间：
在这里插入图片描述

在这里插入图片描述

下一步骤：写爬虫 ：tencent.py文件写

在这里插入图片描述

在这里插入图片描述

方法一：

在这里插入图片描述
在这里插入图片描述

或者这样写
在这里插入图片描述
在这里插入图片描述

获取职位名

在这里插入图片描述

获取链接

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

再传给管道：

在这里插入图片描述

在这里插入图片描述

设置settings函数

在这里插入图片描述

开始翻页（提取第二页的链接）

在这里插入图片描述
以上只是构建了请求但是没有发出去请求，因此需要用yield
在这里插入图片描述

排错一：
因为有的没有类别，所以要判断：
在这里插入图片描述
排错二：
在这里插入图片描述

方法二：用scrapy提取链接
在这里插入图片描述

总结：一个项目的大致流程

在这里插入图片描述


更多精彩内容