浅淡暗网信息抓取

文/腾讯soso soso-spider       写在最前面:之前看过一些关于暗网信息抓取的Paper,觉得这一块是我们今后做好WebSpider的一个重要的努力方向。下面就对暗网信息的抓取做一个通俗简洁的介绍,达到使一般读者能够明白暗网信息抓取基本原理的目的。   …

黑白配第一幕:暗斗

原文链接: http://blog.51cto.com/yueyuanyuan/352369 第一幕:遭遇小白 我叫小黑,黑白的黑。 小黑是我的网名,因为我是网络中的一名侠客,或者通俗点儿说是一名***。我很喜欢行侠仗义的感觉,我崇拜着那种武侠小说里描绘的“侠之大者”和黑社…

民间秘方

说  明 1、 本报告所用药物,以食物为主,绝对无毒。 2、 为使读者易懂,剂量单位均用旧制,如:斤、两、钱等,有的用碗,是指一般性中碗。 3、 所用药物凡带有*记号的一般可到中药店买,药店都有。 4、 报告中所讲的醋,就是一般食用醋,如果用白醋的,报告中另有注明。…

搜索引擎爬虫的基本需求和考核标准

需要包含以下基本功能: (1)网站下载流速控制 国内国外的搜索爬虫,科研机构爬虫数量很多,不同的站点抗抓取能力大相径庭,对网站的下载做好控制,避免将网站抓死。 (2)网页抓全 将互联网网页抓全,是极大的挑战,暗网暂且不提,就是明网抓全也不是容易的事情,新站发现,sitemap协议等用站长主动提交的支持等等。…

网购切莫小看1毛钱 暗藏信用卡诈骗玄机

淘宝、京东、团购网吸引了大量网民,网购的火爆的同时也乐翻了那些职业网上骗子。在百度知道、淘宝网控诉购物被骗的帖子比比皆是。钓鱼欺诈网站 严重威胁网购安全,网民在线购物时,可使用金山卫士、金山网盾防骗。   …

tor

原文链接: http://www.cnblogs.com/moonson/archive/2010/06/29/1767344.html 技巧1-获取网桥:  查找公共网桥地址的方法是给 bridges@torproject.org…

终于用上tor+privoxy上到分布式代理网络了

所有正常情况下访问不了的网站都可以访问到了。 参考: http://www.cppblog.com/riverbeast/archive/2009/01/02/36866.html 使用Tor+Privoxy来进行安全的代理访问是一种非常简单实用的方法。如下的说明都是针对Windows操作系统,其他OS的使用说明和配置方案请参考阅读TorFAQ基本文档。…

重读《修炼一名程序员的职业水准》

今天偶尔翻阅收藏的一些资料,重新看到了此文《修炼一名程序员的职业水准》,对照自身学习计算机技术的过程,一时感触良多。想来十几年前的本科阶段作为一名非计算机专业的学生,最初为了完成自己的本科毕设(记得当时要求用C++实现神经网络,并做一些应用),当时真的是硬着头皮开始学习C++,最后在多方努力下算是完成毕设了。但当我开始硕士阶段的学习时,我就暗下决心,认为尽管我不是计算机专业的学生,我也要使自己的计算机水平达到一个较高的层次,正好硕士阶段导师的管理也比较放松,所以我就从《计算机体系结构》、《计算机组成原理》、《汇编语言》《操作系统》、《数据结构》、《程序设计语言》、《计算机网络》也包括《数据库原理》等方面开始自学,少有人交流,学习中的困难主要靠自己反复的钻研来解决,现在想想,如果当时有几个学伴在遇到难点时一起交流,那将就再好不过了,可惜没有,当什么事都有其两面性,交流固然重要,但对基础知识的反复推敲,反复实践也是学习之初必须去面对的,因为开始水平很菜的时候,不会有人愿意浪费时间帮你进行知识扫盲,除非那个人是你的铁哥们。所以,个人认为无论是专业程序员还是相关行业的计算机应用者,都应尽可能的多深入了解或掌握计算机原理与技术,否则即使有强大的IDE或者有所谓的堆积木式的工具软件帮你,当真的有问题时,你除了到网上求救或找一些和你差不多的人员帮忙外,好像自己就真的素手无策了。而如果对计算机原理和技术有较为透彻认知,情况可能会好的多,甚至你自己就能把遇到的难点攻克了,是否能解决或解决的程度完全依赖于你的计算机水平。这些就是重读《修炼一名程序员的职业水准》的一些感触吧,借助此文也想重新唤醒自己的学习热情,同时也希望对其他学习者有所启迪,写此文的目的就算达到了。…

让你变成ps高手

1.复制图层,混合模式为滤色, 2.涂层2蒙板反向擦出眼睛 3.盖印(alt+ctrl+shift+E) 4.通道混合气,选中单色,红色+54,绿色+54,蓝色+32 6.混合模式-正叠 7.对盖印层调整,图像-调整-暗影/高光-暗影:50,50,144  高光:0,50,30  中间调:20,0  0.01,0.01 8.再次盖印 9.用图章擦去右腮的阳光 10.用减淡工具-范围为高光,强度50%,擦出眼球反光,只擦眼黑, 11.再次盖印,滤镜-其他-高反差,参数80 12.改高反差那一层模式为柔光,加强对比, 13.用自己喜欢的方法锐化 14.长时间少色相饱和的红色,或别的微调试试…

搜索的难题之Invisible Web/Deep Web

转贴来 自:http://www.thinktag.cn/ Deep Web (invisible Web) 中文可以翻译成深层网页或暗网。迈克尔.伯格曼将当今互联网上的搜索服务比喻为像在地球的海洋表面的拉起一个大网的搜索,巨量的表面信息固然可以通过这种…