当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问
的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才
需要使用rob...
分类：
其他好文 时间：
2014-06-09 22:51:30
阅读次数：
342
第一、爬虫及其行为方式
1.根集
2.连接的提取和相对链接的标准化
从页面提取出链接，然后把相对链接转化为绝对链接
3.避免环路的出现
4.循环和复制
5.记录爬过得链接
树和散列表有损的存在位图集群和索引
6.规范URL
7.避免循环和重复
规范URL广度优先的爬行节流：限制一段时间内机器人可以从一个WEB站点获取的页面的数量限制URL的大小URL/站点黑...
分类：
Web程序 时间：
2014-06-08 17:18:02
阅读次数：
264
代码清单：
<?php
/**
* 判断字符串是否为utf8编码，英文和半角字符返回ture
* @author ruxing.li
* @param $string
* @return bool
*/
function is_utf8($string) {
return preg_match('%^(?:
[\x09\x0A\x0D\x...
分类：
其他好文 时间：
2014-06-08 10:47:58
阅读次数：
267
twitter对存档的tweet使用lucene做全量索引,新发的推文则是实时索引，实时检索(10秒之内索引)。实时索引和检索系统叫EarlyBird。
感觉写得比较清楚简洁，只要这些信息足够真实可信，完全可以做实现参考。
我简单做了几个记录:
1)基于lucene + java,michael busch是lucene committer
2)词典直接用哈希表，因此不支持term的pr...
分类：
其他好文 时间：
2014-06-08 05:51:59
阅读次数：
482
--unique唯一索引，clustered聚集索引，nonclustered非聚集索引 。主键是唯一的，所以创建了一个主键的同时，也就这个字段创建了一个唯一的索引。SQL SERVER将主键默认定义为聚集索引，事实上，索引是否唯一与是否聚集是不相关的，聚集索引可以是唯一索引，也可以是非唯一索引； 唯一索引实际上就是要求指定的列中所有的数据必须不同
/*
主键一唯一索引的区别：...
分类：
数据库 时间：
2014-06-08 05:50:38
阅读次数：
685
端午和朋友去了苏州金鸡湖游玩，不料第二天下大雨，就呆在酒店玩Linux内核编译...感觉没意思就开始看那本总也看不完的《失控》，读到了一个思想，感觉挺有思想。藏品多没什么意义，关键是索引，你能用最快的速度找到你想找的那件，这才是有意义的。在一个博尔赫斯的那种包含所有图书的图书馆，找到一本书和写出那本书同样困难，找书的过程其实就是写书的过程。狄德罗，百科全书派人物，畅想了人类知识的汇总，汇总于一个博...
分类：
其他好文 时间：
2014-06-08 04:59:17
阅读次数：
212
Intent intent = getIntent();
String contentUri = null;
Uri uri =null;
if (intent.getData() != null) {
uri = intent.getData();
contentUri = "file".e...
分类：
移动开发 时间：
2014-06-08 04:37:56
阅读次数：
425
之前碰到过一些html编码乱码问题，都理解的模模糊糊，问了别人解释的也是模模糊糊。最近要做前端这个问题研究了下只需要两句话就能很清楚的解释了(之前问的那些人是不是自己都没理解很郁闷.)
这段写在head中告诉浏览器用那种编码方式，浏览器就会自动选择对应的编码方式显示网页。
然后在保存这个html文件时选择编码方式(vs中文件---〉另存为，然后可以选择编码方式）必须为charset指定的编...
分类：
Web程序 时间：
2014-06-08 03:56:59
阅读次数：
264
树中除了根节点之外，每个节点都有且仅有一个父节点，为了记录树中节点与节点之间的父子关系，可以为每个节点增加一个parent域，用以记录该节点的父节点。 对于下图中的树： 可以用下表来存储： 由此可见，只要用一个节点数组来保存树中的每个节点，并让每个节点记录其父节点在数组中的索引即可。 Java实现代码...
分类：
编程语言 时间：
2014-06-08 03:42:18
阅读次数：
289
今天说说使用ffmpeg在写视频编码程序中踩的一个坑，这个坑让我花了好多时间，回头想想，很多时候一旦思维定势真的挺难突破的。使用ffmpeg做视频编码过程中，首先要新建数据帧，并为数据帧分配相应内存，以便于保存图像数据，为数据帧分配内存需要用到av_image_alloc()这个函数，该函数将根据传入的图像宽、高、图像格式、数据对齐基数等参数进行内存分配。...
分类：
其他好文 时间：
2014-06-08 02:16:40
阅读次数：
315
