Month: December 2009

TOR and YOUTUBE

Uncategorized
TOR看youtube的速度还可以，FoxyProxy的模板很强大，但是，想要正常看youtube，需要配置一下。 首先，修改DNS，UBUNTU修改resolv.conf，nameserver8.8.8.8，nameserver8.8.4.4 添加模板：*://*.youtube.com/*和*://*.ytimg.com/*（javascript，不添加会有toran…
阅读

暗时间

开发
暗时间 如果你有一台计算机，你装了一个系统之后就整天把它搁置在那里，你觉得这台计算机被实际使用了吗？没有。因为CPU整天运行的就是空闲进程。运行空闲进程也是一天，运行大数据量计算的程序也是一天，对于CPU来说同样的一天，价值却是完全不一样的。…
阅读

解读阿里巴巴集团发布的《2009年网商发展研究报告》

Uncategorized
解读阿里巴巴集团发布的《2009年网商发展研究报告》 这个报告是电子格式的，70多页，够一本小薄书了，很少人能有耐心逐句读下来并且还分析下来。所以我忍着耐心读下来，然后给大家分享出来。 我从大框架一点点深入，就像剥洋葱头一样。…
阅读

在ubuntu 9.10下安装Tor

linux
[color=red]我已经放弃tor了，速度太慢，而且三天两头bridges被封，要重新更新，好东西，可惜，不适合国情。[/color] 1、在/etc/apt/sources.list中添加以下2行…
阅读

对于未来的搜索引擎的思考！

Uncategorized
原文链接： http://www.cnblogs.com/gujie/archive/2009/12/05/1617416.html 百度说：这个世界存在着暗网，我们还有很多信息没有搜集到。我认为错的，未来的搜索引擎应该是这样的，你给出问题，他能直接给出结果，或者比如你输入网易，他就直接跳到网易的主页，互联网上99%的信息都是垃圾信息，只有1%不到的信息对人真正有用。虽然你搜索引擎算的很快为我们节约了零点几秒，可是网民在重复的信息中查找可能要浪费几分钟。…
阅读

网络爬虫当中暗网爬取初探

java
众所周知，网络爬虫的最基本原理就是模拟HTTP协议向指定网站发送请求，从而从服务器端返回的网页源代码中抽取具有实用价值的信息（也可能下一次任务队列的地址）。这中间涉及到很多算法，根据网站不同域名，网站网页更新速度，网站结构深度，设定爬虫不同的爬取策略。爬虫可以从一些简单的网站上直接获取网页源代码，从而对网页源代码进行分析。但是对于一些需要用户登录的网站，要抓取网站当中被保护的数据具有一定的困难。今天要说就是一个从需要登录的网站上获取收保护数据的方法。…
阅读