在scrapy使用Tor代理Ip的两种方法


第一个:按照https://www.cnblogs.com/kylinlin/archive/2016/03/04/5242266.html 大佬的写法,实现了
1、首先将本地的代理服务器进行设置,,这一步是为了与polipo对接。。
在这里插入图片描述
在这里插入图片描述
2、因为我们在polipo的配置文件中写了 洋葱头代理的地址和端口(9050),我们使用socks请求端口9150发出每次请求。
socksParentProxy = “localhost:9050”

socksProxyType = socks5

diskCacheRoot = “”
http://zhihan.me/network/2017/09/24/socks5-protocol/ 这个是关于sockes5的介绍。。
在这里插入图片描述
3、然后在中间件中写入
在这里插入图片描述
4、在stttings中
在这里插入图片描述
我是在start_requests() 中加了一个检测ip的语句
在这里插入图片描述
在这里插入图片描述
这样是可以运行的。。但是他的IP不会换。。
在这里插入图片描述

第二种:
先把这个关掉。。
在这里插入图片描述
在spider中书写,,
在这里插入图片描述
在这里插入图片描述
这个IP地址会变化的。。更加稳定。。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这种方法,我暂时不会设置使用MySQL;会起冲突,我以为的是本地的localhost和本地ip4的地址配置问题