python3爬虫~~应对反爬策略

通常防止爬虫被反主要有以下几个策略: 一.BAN IP 原因:某一个某一个时刻IP访问量特别特别大 ,或者是超出正常用户使用权限,导致服务器会偶尔把该IP放入黑名单 ,过一段时间再将其放出来 解决办法:分布式爬虫(分布式【分散url的手动分布