我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中，快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理，编辑，检索和浏览。...
分类：
其他好文 时间：
2014-06-05 01:54:15
阅读次数：
220
最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。
本文以一个简单的应用场景为例：对按照二进制格式存储的整数做频数统计。以此来说明如何重写FileInputFormat来实现对非文本数据的处理。...
分类：
其他好文 时间：
2014-06-04 21:53:46
阅读次数：
341
一、网络爬虫的定义网络爬虫，即Web
Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
Web程序 时间：
2014-06-02 09:36:19
阅读次数：
216
网络爬虫，又被称为网页蜘蛛，网络机器人。本文我们就来说说网络爬虫初级。
分类：
其他好文 时间：
2014-06-02 06:24:29
阅读次数：
171
支持树型爬虫结构。例如：A爬虫 搜索"蓝牙开关"关键字||-B爬虫 获得A爬虫所有结果
通过结果
搜索生产厂家目前只提供2种不同爬虫1.只全文搜索关键字。2.筛选爬虫，筛选字频，屏蔽字。通过百度谷歌是否有对应结果筛选。不同种类的爬虫可用在爬虫树中进行组合，xml读入。================...
分类：
其他好文 时间：
2014-06-01 12:20:43
阅读次数：
172
javabean是一种可重复使用且跨平台的软件组件。他可以分为：客户界面组件（UI，user
interface）和没有用户界面，主要负责处理事务（如，数据处理、操作数据库等）地javabeanjavabean的优点：1.使得html和java程序分离，便于维护代码。2.充分利用javabean组件...
分类：
编程语言 时间：
2014-05-31 20:51:43
阅读次数：
348
.Net中也有很多很多开源的爬虫工具，abot就是其中之一。Abot是一个开源的.net爬虫，速度快，易于使用和扩展。项目的地址是https://code.google.com/p/abot/对于爬取的Html，使用的分析工具是CsQuery,
CsQuery可以算是.net中实现的Jquery, ...
分类：
Web程序 时间：
2014-05-31 20:50:25
阅读次数：
388
（一）搜索引擎的开发一般可分为下面三大部分1、数据採集层：一般使用爬虫获取互联网的数据，重要的开源项目有Heritrxi2、数据分析处理层：将从互联网上获取到的数据进行提取归类、分词、语义分析得出索引得内容，等待用户查询使用，重要的开源项目有Lucene3、视图层：也用户的交互界面，如一个站点的首页...
分类：
其他好文 时间：
2014-05-31 20:04:37
阅读次数：
263
自己将这个文本框验证的方式改变了一下，并用到了get方法进行数据处理：1.点击提交按钮时如果文本框为空，文本框就会变成红色边框。2.当再次输入时文本框红色边框消失，输入后点击提交。3.利用jquery的get方法调用后台一般处理程序，处理前台的数据，处理后将值返回到前台。...
分类：
Web程序 时间：
2014-05-31 17:44:39
阅读次数：
267
