Dark web爬虫

deep_web–python 如何进入 环境搭建 开始 demo 如何进入 url多以onion结尾,访问的方式与普通的域名访问方式也不相同,访问他们需要一款名叫Tor的浏览器。也叫洋葱浏览器 环境搭建…

python3爬虫~~应对反爬策略

通常防止爬虫被反主要有以下几个策略: 一.BAN IP 原因:某一个某一个时刻IP访问量特别特别大 ,或者是超出正常用户使用权限,导致服务器会偶尔把该IP放入黑名单 ,过一段时间再将其放出来 解决办法:分布式爬虫(分布式【分散url的手动分布式,以及框架分布式】)以及购买代理IP(Tor代理~~能买暗网代理),转化成app有的也有效…

反反爬虫相关机制(面试必问,后续陆续添加)

通常防止爬虫被反主要有以下几个策略: 一.BAN IP 原因:某一个某一个时刻IP访问量特别特别大 ,或者是超出正常用户使用权限,导致服务器会偶尔把该IP放入黑名单 ,过一段时间再将其放出来 解决办法:分布式爬虫(分布式【分散url的手动分布式,以及框架分布式】)以及购买代理IP(Tor代理~~能买暗网代理),转化成app有的也有效…

Anaconda安装完美避坑指南

简单介绍下anaconda:简单来说,anaconda就是集合了python及其对应的几百种科学包和依赖项,同时还安装了ipython和spyder IDE。也就是说,安装了anaconda之后,就不用再安装numpy,pandas等库,也不用再额外安装IDE了。…

基于opencv-python的车牌识别

记一篇数字图像课程的实训 基于opencv-python的车牌识别,代码主要参考CSDN上几个版主的代码,对代码进行了一定的优化,一定程度上提高了识别的准确率。并重写了一个GUI界面,添加数据导出功能。…

“深网” && “暗网”

深网是网络的一部分,与浅网(surface Web)对立。浅网是互联网上搜索引擎可以抓到的那部分网络。据不完全统计,互联网中其实约 90% 的网络都是深网。因为谷歌不能做像表单提交这类事情,也找不到那些没有直接链接到顶层域名上的网页,或者因为有…

python:透明背景图

图形是白色(颜色、字体可调),背景是透明的。适用于暗色调背景。 图1 折线统计图 代码: #encoding=utf-8 import matplotlib.pyplot as plt import numpy as np import…

利用dlib库进行人脸识别

现如今人脸识别的技术已经十分先进了,识别率很高,dlib也是人脸识别常用的一个库,可以检测出人脸上的68个点,并且进行标注,当我们准备自己的人脸数据时,常常用dlib进行数据提取。 首先需要在python中安装dlib…