用WebCollector爬取网站的图片。
我们爬取一个美食网站，获取里面所有的图片。...
分类：
Web程序 时间：
2014-11-06 00:48:25
阅读次数：
303
用Python爬取色情网站的图片，技术宅的小玩具。在这里我将会向你详细介绍用Python下载一个色情网站图片的全部步骤，你会从中看到Python的简洁以及技术宅的无聊。
首先你应该应该有一个色情网站的网址，当然我不会给你的，自己找！！！我会告诉你其中的规律：
http://www.*****.com/htm/piclist【1】/【2】.htm一个色情网站的图片区中，URL不同的只有【1】...
分类：
编程语言 时间：
2014-11-05 21:30:35
阅读次数：
389
Notes of Daily Scrum Meeting2014年11月3日 星期一 20:00—20:30团队成员今日团队任务当日工作分配额完成情况陈少杰阅读理解代码中底层与数据库连接的部分2h2h王迪阅读理解代码中底层与数据库连接的部分2h2h金鑫阅读代码中数据处理，建立课程目录的部分2h2h雷...
分类：
其他好文 时间：
2014-11-05 21:23:42
阅读次数：
127
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都有自己的搜索引擎，大大小小叫得出来名字得就几十种，还有各种不知名的几千几万种，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。一些智能的搜索引擎爬虫的爬取...
分类：
Web程序 时间：
2014-11-05 18:54:11
阅读次数：
213
我第一次接触爬虫这东西是在今年的5月份，当时写了一个博客搜索引擎，所用到的爬虫也挺智能的，起码比电影来了这个站用到的爬虫水平高多了！
回到用Python写爬虫的话题。...
分类：
编程语言 时间：
2014-11-05 10:59:13
阅读次数：
265
http://www.nowamagic.net/librarys/veda/detail/1767Hadoop是什么Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和...
分类：
其他好文 时间：
2014-11-05 10:48:11
阅读次数：
181
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。尽管Web搜索是漫游Internet的基本要求, 但是现有web搜索引擎的数目却在下降. 并且这很有可能进一步演变成为一个公司垄断了几乎所有的web搜索为其谋取商业利益.这显然 不...
分类：
其他好文 时间：
2014-11-05 10:30:05
阅读次数：
139
事务处理是在数据处理时经常遇到的问题，经常用到的方法有以下三种总结整理如下：方法1：直接写入到sql 中在存储过程中使用 BEGIN TRANS, COMMIT TRANS, ROLLBACK TRANS 实现begin transdeclare @orderDetailsError int,@pr...
分类：
Web程序 时间：
2014-11-05 09:11:30
阅读次数：
260
一、网络爬虫的定义
网络爬虫，即Web Spider，是一个很形象的名字。
把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。
网络蜘蛛是通过网页的链接地址来寻找网页的。
从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，
然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。
如...
分类：
编程语言 时间：
2014-11-05 00:27:37
阅读次数：
338
开发的一个系统中其中有一个抓取第三方网站信息的功能，但是，系统运行一段时间后，被对方服务器拒绝抓取。解决办法，只要我们伪装成浏览器。即可继续正常运行。1 private static readonly string DefaultUserAgent = "User-Agent: Mozilla/4....
分类：
其他好文 时间：
2014-11-05 00:19:18
阅读次数：
270
