震惊，大多数互联网用户都不是人
网站安全和内容分发公司Incapsula发布了一个数据，56%的网页浏览量都由爬虫机器人贡献。
爬虫机器人因为功能和目的不同分为这几类：
Search engine crawlers：搜索引擎爬虫，它们能够对网页建立索引，这样人们就可以在搜索框查找到对应网页的内容。Google就使用这个爬虫整理全世界的信息。
RSS bots：订阅类爬虫，能够从网站抓取...
分类：
其他好文 时间：
2014-12-26 13:04:56
阅读次数：
156
原文:SQL Server调优系列基础篇（索引运算总结）前言
上几篇文章我们介绍了如何查看查询计划、常用运算符的介绍、并行运算的方式，有兴趣的可以点击查看。
本篇将分析在SQL Server中，如何利用先有索引项进行查询性能优化，通过了解这些索引项的应用方式可以指导我们如何建立索引、调整我们的查询语...
分类：
数据库 时间：
2014-12-22 09:20:44
阅读次数：
208
在大学期间，有段时间对搜索还是比较感兴趣的，就研究了几天。后来，发现搜索引擎太难搞了，分词啥的，好多都是纯算法。感觉没啥意思，so就半途而废，玩别的技术领域去了。 大学毕业加入秒针，对广告和监测有了一定的兴趣。so又想搞搜索引擎了，大概的目标就是，从网上爬去内容，建立索引，网友搜索、点击、广告点击等监测统计，存到数据库。 这个项目，还真是做了，做完了一个Demo版。借助jsoup和自己写几行代...
分类：
其他好文 时间：
2014-12-21 19:29:09
阅读次数：
193
一、lucene建立索引过程：1、解析器用来解析物理文件，从中提取出所需的文本，其作用于物理文件；2、分析器用来分析文本内容（文字），其作用于解析器处理物理文件之后生成的文本；Lucene没有自己开发语言分析程序，JavaCC来生成分析器；分析器（analyzer）主要包含分词器和过滤器。分析器使用...
分类：
Web程序 时间：
2014-12-19 17:16:02
阅读次数：
198
程序猿是如何解决SQLServer占CPU100%的文章目录遇到的问题使用SQLServer Profiler监控数据库SQL1：查找最新的30条告警事件SQL2：获取当前的总报警记录数有哪些SQL语句会导致CPU过高？查看SQL的查询计划选择top记录时，尽量为order子句的字段建立索引查看SQ...
分类：
数据库 时间：
2014-12-19 14:14:47
阅读次数：
308
1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null最好不要给数...
分类：
数据库 时间：
2014-12-18 13:35:04
阅读次数：
239
1.MySQL建立索引时如果没有限制索引的大小，索引长度会默认采用的该字段的长度，也就是说varchar(20)和varchar(255)对应的索引长度分别为20*3(utf-8)(+2+1),255*3(utf-8)(+2+1)，其中"+2"用来存储长度信息，“+1”用来标记是否为空，加载索引信息时用varchar(255)类型会占用更多的内存； （备注：当字段定义为非空的时候，是否为空的标记将...
分类：
数据库 时间：
2014-12-17 18:39:17
阅读次数：
146
这两天有个很强烈的感觉就是自己在一些特别的情况下还是hold不住，脑子容易放空或者说一下子不知道怎么去分析问题了，比如，问“hash和btree索引的区别”，这很难吗，只要掌握了这两种数据结构稍加分析就能得出答案，结果是一下子不知道从何说起。进入正题吧，这两者有啥区别。
1. hash索引查找数据基本上能一次定位数据，当然有大量碰撞的话性能也会下降。而btree索引就得在节点上挨着查找了，很...
分类：
数据库 时间：
2014-12-16 17:09:40
阅读次数：
237
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num...
分类：
数据库 时间：
2014-12-16 14:46:18
阅读次数：
267
1界面1.1抓图：原则: 简化，直观，说明问题，有用 1.2说明：1 对指定文件夹创建索引2 输入关键词，显示查询结果2 实现2.1 创建button1_Click方法：//对制定文件夹建立索引 private void button1_Click(object s...
分类：
其他好文 时间：
2014-12-14 13:10:48
阅读次数：
215
