在scrapy使用Tor代理Ip的两种方法 2019/9/5 Python 第一个:按照https://www.cnblogs.com/kylinlin/archive/2016/03/04/5242266.html 大佬的写法,实现了 1、首先将本地的代理服务器进行设置,,这一步是为了与polipo对接。。… 阅读
Dark web爬虫 2019/8/30 Python deep_web–python 如何进入 环境搭建 开始 demo 如何进入 url多以onion结尾,访问的方式与普通的域名访问方式也不相同,访问他们需要一款名叫Tor的浏览器。也叫洋葱浏览器 环境搭建… 阅读
Python 语言介绍、IDE安装、新建第一个Python程序 2019/7/12 Python Python 能够用于开发哪些应用? web开发 数据分析 machine learning algorithm deep learning 后台服务 数据可视化 data visualization … 阅读
python3爬虫~~应对反爬策略 2019/6/26 Python 通常防止爬虫被反主要有以下几个策略: 一.BAN IP 原因:某一个某一个时刻IP访问量特别特别大 ,或者是超出正常用户使用权限,导致服务器会偶尔把该IP放入黑名单 ,过一段时间再将其放出来 解决办法:分布式爬虫(分布式【分散url的手动分布式,以及框架分布式】)以及购买代理IP(Tor代理~~能买暗网代理),转化成app有的也有效… 阅读
反反爬虫相关机制(面试必问,后续陆续添加) 2019/6/26 Python 通常防止爬虫被反主要有以下几个策略: 一.BAN IP 原因:某一个某一个时刻IP访问量特别特别大 ,或者是超出正常用户使用权限,导致服务器会偶尔把该IP放入黑名单 ,过一段时间再将其放出来 解决办法:分布式爬虫(分布式【分散url的手动分布式,以及框架分布式】)以及购买代理IP(Tor代理~~能买暗网代理),转化成app有的也有效… 阅读
Anaconda安装完美避坑指南 2019/6/3 Python 简单介绍下anaconda:简单来说,anaconda就是集合了python及其对应的几百种科学包和依赖项,同时还安装了ipython和spyder IDE。也就是说,安装了anaconda之后,就不用再安装numpy,pandas等库,也不用再额外安装IDE了。… 阅读
基于opencv-python的车牌识别 2019/5/16 Python 记一篇数字图像课程的实训 基于opencv-python的车牌识别,代码主要参考CSDN上几个版主的代码,对代码进行了一定的优化,一定程度上提高了识别的准确率。并重写了一个GUI界面,添加数据导出功能。… 阅读
Python PIL库处理图片常用操作,图像识别数据增强的方法 2019/5/11 DeepLearning, Python, 运维 在博客AlexNet原理及tensorflow实现训练神经网络的时候,做了数据增强,对图片的处理采用的是PIL(Python Image Library), PIL是Python常用的图像处理库. 下面对PIL中常用到的操作进行整理:… 阅读
“深网” && “暗网” 2019/4/13 Python 深网是网络的一部分,与浅网(surface Web)对立。浅网是互联网上搜索引擎可以抓到的那部分网络。据不完全统计,互联网中其实约 90% 的网络都是深网。因为谷歌不能做像表单提交这类事情,也找不到那些没有直接链接到顶层域名上的网页,或者因为有… 阅读
python:透明背景图 2019/4/3 Python 图形是白色(颜色、字体可调),背景是透明的。适用于暗色调背景。 图1 折线统计图 代码: #encoding=utf-8 import matplotlib.pyplot as plt import numpy as np import… 阅读
利用dlib库进行人脸识别 2019/3/27 Python, 人工智能, 工具 现如今人脸识别的技术已经十分先进了,识别率很高,dlib也是人脸识别常用的一个库,可以检测出人脸上的68个点,并且进行标注,当我们准备自己的人脸数据时,常常用dlib进行数据提取。 首先需要在python中安装dlib… 阅读
使用darknet识别点选验证码详细过程(附带源码) 2019/3/21 DeepLearning, Python 项目源码:https://github.com/nickliqian/darknet_captcha darknet_captcha 项目基于darknet开发了一系列的快速启动脚本,旨在让图像识别新手或者开发人员能够快速的启动一个目标检测(定位)的项目。… 阅读