一、引言： 最近一直很忙，在做一个全国性项目的IT架构，所以一直没有更新，好在算是告一段落，继续努力吧。项目沟通中过程客户反复在强调，大数据的安全性，言下之意，用了大数据，就不安全了，就有漏洞了。所以花了些时间，针对大数据的安全设计做了一个总结，算是阶段性的成果吧，分享给大家。二、安全架构 大数.....
分类：
其他好文 时间：
2014-06-27 21:45:11
阅读次数：
229
描述 ：我们现在有很多数据，分表存放，现在需要有精度条的导出。最后面有完整源码。效果图：点击导出，实现点击导出统计完成之后点击确定前面导出操作简单，从第二个导出操作开始：点击"确定"调用exportCsv函数导出exportCvs函数如下function exportCsv(){ //清除等待的转动...
分类：
其他好文 时间：
2014-06-27 18:11:43
阅读次数：
315
在前面的文章STL之heap相关操作算法中介绍了堆的相关操作算法，由于堆的注意主要作用是用于排序，我们也知道堆排序的时间复杂度为o(nlogn)，是一种不稳定的排序算法，利用堆这一数据结构，我们可以很快第获取一个大数据中最大（或最小）的k个数。同时，上篇文章中，也提出了相关heap算法的一些问题...
分类：
其他好文 时间：
2014-06-27 08:16:59
阅读次数：
171
大数据可谓是最近几年最火热的一个科技概念。业界对大数据的数据源场景定义，是要么不小于100TB，要么来自于超高速的数据流，要么年增速大于60%。且有四个V的说法：分别是体量（Volume）、复杂（Variety）、速度（Velocity）、真实（Veracity）。而大数据真正对整个行业产生震憾影响...
分类：
其他好文 时间：
2014-06-26 18:46:06
阅读次数：
256
摘要：Hadoop已经成为大数据的代名词。短短几年间，Hadoop从一种边缘技术成为事实上的标准。而另一方面，MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候，谷歌好像早已进入到了下一个时代。 Hadoop技术已经无处不在。不管是好是坏，Hadoop已经成为大数据的代名词。短短...
分类：
其他好文 时间：
2014-06-26 17:02:48
阅读次数：
191
最近一直很忙，在做一个全国性项目的IT架构，所以一直没有更新，好在算是告一段落，继续努力吧。项目沟通中过程客户反复在强调，大数据的安全性，言下之意，用了大数据，就不安全了，就有漏洞了。所以花了些时间，针对大数据的安全设计做了一个总结，算是阶段性的成果吧，分享给大家。...
分类：
其他好文 时间：
2014-06-26 10:46:32
阅读次数：
242
DMCTextFilter和HTMLFilter数据过滤器我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，海量数据处理的三个主要因素：大容量数据、多格式数据和速度，DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产..
分类：
其他好文 时间：
2014-06-26 06:34:02
阅读次数：
239
因为工作当中遇到要处理大数据的excel的玩意，最多的有几十万行。用perl的方式试试，看看效果如何。ppm install OLE::Storage_Lite #如果不安装这个，后面两个安装不了 ppm install Spreadsheet::ParseExcelppm install Spre...
分类：
其他好文 时间：
2014-06-25 12:41:02
阅读次数：
242
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。Impala 为存储在 HDFS 和 HBase 中的数据提供了一个实时 SQL 查询接口。...
分类：
其他好文 时间：
2014-06-25 10:56:38
阅读次数：
355
