第一、爬虫及其行为方式
1.根集
2.连接的提取和相对链接的标准化
从页面提取出链接,然后把相对链接转化为绝对链接
3.避免环路的出现
4.循环和复制
5.记录爬过得链接
树和散列表有损的存在位图集群和索引
6.规范URL
7.避免循环和重复
规范URL广度优先的爬行节流:限制一段时间内机器人可以从一个WEB站点获取的页面的数量限制URL的大小URL/站点黑...
分类:
Web程序 时间:
2014-06-08 17:18:02
阅读次数:
264
1、网络设置
public void checkNetwork(){
//获取连接的管理对象
ConnectivityManager connectivityManager = (ConnectivityManager) getSystemService(Context.CONNECTIVITY_SERVICE);
//获取当前正在使用的网络
NetworkInfo networ...
分类:
其他好文 时间:
2014-06-08 16:40:31
阅读次数:
217
最近项目中用到IBATIS ,我没有用过,现在开始慢慢学习。IBATIS是一个持久层框架,但是比HIBERNATE要轻许多,用ibatis基本上sql语句要自己写。今天下午做了一个简单的demo。
流程:在DAO中读取SqlMapConfig.xml文件(连接数据库,寻找实体类配置文件路径)。当DAO中调用sql语句时候:sqlMapClient.queryForList("getAllStud...
分类:
其他好文 时间:
2014-06-08 10:51:53
阅读次数:
276
标准模板库。从根本上说,STL是一些“容器”的集合,这些“容器”有list, vector,set,map等,STL也是算法和其它一些组件的集合。这里的“容器”和算法的集合指的是世界上很多聪明人很多年的杰作。每一个C++程序员都应该好好学习STL。大体上包括container(容器)、algorithm(算法)和iterator(迭代器),容器和算法通过迭代器可以进行无缝连接。...
分类:
编程语言 时间:
2014-06-08 10:28:00
阅读次数:
344
在有关TCP连接的很多配置中,有很多选项有的配置
net.ipv4.tcp_rmem:这个参数定义了TCP接收缓冲(用于TCP接收滑动窗口)的最小值、默认值、最大值
net.ipv4.tcp_wmem:这个参数定义了TCP发送缓冲(用于TCP发送滑动窗口)的最小值、默认值、最大值
netdev_max_backlog:当网卡接收数据包的速度大于内核处理的速度时,会有一个队列保存这些数据包...
分类:
其他好文 时间:
2014-06-08 10:01:51
阅读次数:
523
四步教你使用Eclipse连接android手机,测试android程序。...
分类:
移动开发 时间:
2014-06-08 09:52:18
阅读次数:
278
通过ls -al命令可以查看到相应档案下的包含的文件及目录,如下;
drwx r-- r--. 1 root root ......
其中第一个字符分为如下几种情况:
1、当为【d】时为目录
2、当为【-】时为档案
3、当为【l】时为连接档(link file)
4、当为【b】时,表示为装置文件里面的可供存储的接口设备(可随机存取装置)
5、当为【c】时,表示为装置文件里面的串行端口...
分类:
其他好文 时间:
2014-06-08 05:53:13
阅读次数:
253
对Microsoft Azure的CloudTable进行操作,有很多种操作失败的可能,比如网络连接异常,比如短时间内发送的请求数太多。很多时候我们在失败之后过一段时间再重试,就能操作成功。但是有些失败不是简单重试就解决的。本文讲述的在修改操作时候发生的Precondition Failed错误就是一个例子。...
分类:
其他好文 时间:
2014-06-08 04:54:48
阅读次数:
305
关于javacv的资料很少,甚至连说明文档都不全。我做这个毕设也是十分头大,现在终于毕业设计结束了,我把我的代码放出来给大家参考,另带毕业论文、开题报告、文献综述等等文档,希望对大家有帮助。
连接地址:基于javacv和SSI框架的图像检索系统
包含的文件:
其中搜图文件夹里面是项目的源代码。项目直接运行应该是不行的,需要很多环境,说明文档里有写。有点基础的人花点时间应该能运行出来。...
分类:
编程语言 时间:
2014-06-08 04:04:29
阅读次数:
233
背景
在windows上,虽然ctags+cscope 甚至可以对java启用, 但是重名的太多,我需要更精确些。于是找到eclim。YCM 目前还不支持java, 且在linux我好像偶尔会卡的感觉, 而eclim 同时支持java和C(需CDT), 虽然基于java (是的: 配置 C IDE 基于java 写的eclipse 需要gui, 在linux ssh 连接终端是...
分类:
编程语言 时间:
2014-06-08 02:12:48
阅读次数:
481