世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟只是想爬取数据，而非运营一个搜索引擎。开源爬虫汇总表开发语言软件名称软件介绍许可证JavaArach...
分类：
其他好文 时间：
2014-07-10 12:57:25
阅读次数：
489
众所周知，系统读取数据时，从内存中读取要比从硬盘上速度要快好几百倍。故现在绝大部分应用系统，都会最大程度的使用缓存(内存中的一个存储区域)，来提高系统的运行效率。MySQL数据库也不例外。在这里，笔者将结合自己的工作经验，跟大家探讨一下，MySQL数据库中缓存的管理技巧：如何合理配置MySQL数据库...
分类：
数据库 时间：
2014-07-10 12:51:23
阅读次数：
252
List allUsers = new List();SqlConnection conn = new SqlConnection(连接字符串);SqlCommand cmd = new SqlCommand("SELECT语句",conn);conn.Open();using(SqlDataRea...
分类：
其他好文 时间：
2014-07-07 23:41:16
阅读次数：
265
JSON作为一种轻量级的数据交换格式，凭借其易于阅读和编写、易于解析、传输速度快等优点流行了起来。最近正好在学习Android端从服务端端取数据，Json便派上了用场。好，下面开始切入主题。1.准备好服务端首先我们要有个服务器，我用的是Tomcat7.0,这里具体Tomcat的安装过程我就不加以描述...
分类：
移动开发 时间：
2014-07-07 13:32:45
阅读次数：
260
1.新建一个Bundle类 Bundle bundle=new Bundle();2.Bundle类中放入数据（key-value的形式，另一个Activity里面取数据的时候，通过key值找出对应的value值） bundle.putString("key" ," value");3.新建一个.....
分类：
其他好文 时间：
2014-07-01 19:04:23
阅读次数：
196
Problem Description有非常多从磁盘读取数据的需求，包含顺序读取、随机读取。为了提高效率，须要人为安排磁盘读取。然而，在现实中，这样的做法非常复杂。我们考虑一个相对简单的场景。磁盘有很多轨道，每一个轨道有很多扇区，用于存储数据。当我们想在特定扇区来读取数据时，磁头须要跳转到特定的轨道...
分类：
其他好文 时间：
2014-07-01 17:43:54
阅读次数：
183
最近做项目的时候，出现一个只在原生IE9（非模拟）下的bug。bug图片如下：以上两个模块的html代码和样式都是一样的，然而下面的显示却出现了各种对齐的bug。用IE9的调试器查看，代码完全一样，找了很久都没找到原因。后来在同事的指导下，终于发现了原因所在：在读取数据后用js插入数据时在td标签之...
分类：
其他好文 时间：
2014-06-30 22:51:06
阅读次数：
525
shell之文本过滤（awk）分类：linux shell脚本学习2012-09-19 15:531241人阅读评论(0)收藏举报shell正则表达式脚本任务语言如果要格式化报文或从一个大的文本文件中抽取数据包，那么awk可以完成这些任务。为了获取所需信息，文本必须格式化，也就是说要使用域分隔符来划...
分类：
其他好文 时间：
2014-06-30 21:15:20
阅读次数：
324
在jquery mobile开发中，经常需要调用ajax方法，异步获取数据，如果异步获取数据方法由于网速等等的原因，会有一个反应时间，如果能在点击按钮后数据处理期间，给一个正在加载的提示，客户体验会更好一些。先看两个方法，显示和关闭，方法来自于参考：http://blog.csdn.net/zht6...
分类：
Web程序 时间：
2014-06-30 15:12:48
阅读次数：
209
最近一段时间，维护一个旧系统，其中有一个功能，是把Excel上传，并读取数据进行维护，然后转插入至SQL数据库中。下面Insus.NET使用asp.net 标准上传控件:Insus.NET习惯性，在每一个专案中，都会创建一个临时目录。因为很多时候，我们处理一些临时文件，或是数据均可在此临时目录中进行...
分类：
其他好文 时间：
2014-06-29 19:14:06
阅读次数：
204
