在项目中，我们经常遇到或用到分页，那么在大数据量（百万级以上）下，哪种分页算法效率最优呢？我们不妨用事实说话。测试环境硬件：CPU 酷睿双核T5750
内存：2G软件:Windows server 2003 + Sql server 2005OK,我们首先创建一数据库：data_Test,并在此数据...
分类：
其他好文 时间：
2014-06-07 02:43:09
阅读次数：
330
中国气象局公共服务中心与阿里云达成战略合作
5 月 27 日上午消息，中国气象局公共气象服务中心与阿里云达成战略合作，共同挖掘气象大数据的深层价值。海量气象数据将通过阿里云计算平台，变成可实时分析应用的“活数据”，服务国民经济和社会民生。这是国家部委首次采用民营科技公司提供的云计算和大数据服务。
目前，我国每年新增的气象数据达到 PB 量级(1PB=1024TB，1TB=1024GB)...
分类：
其他好文 时间：
2014-06-05 03:07:37
阅读次数：
329
我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中，快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理，编辑，检索和浏览。...
分类：
其他好文 时间：
2014-06-05 01:54:15
阅读次数：
220
这么个标题多少有点蛋疼的感觉，两个都是互联网时代的语言，学习成本和执行效率也差不多，之所以会产生这种需求，多半是想在python中引用java的类，例如安卓和hadoop的生态圈，基本是java代码的天下，虽然python大数据有不错的接口，但直接调用java的需求总是有的。这个目前已经有解决方案，...
分类：
编程语言 时间：
2014-06-04 20:52:14
阅读次数：
261
Hadoop2.0是对Hadoop1.0全面升级，诞生了通用的计算框架YARN，很多计算框架或者应用程序不再基于传统的操作系统开发，而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez，当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本，比如Storm-on-yarn，S...
分类：
其他好文 时间：
2014-06-03 13:09:44
阅读次数：
336
适配器是Android中的数据与View视图的桥梁，作用就是将数据通过适配器显示到对应的View视图上。工作中，在用ListView做适配器数据时候，有些人肯定碰见过，如何优化效率，但是又出现重复数据的情况，如何避免重复数据而且又能提高ListView大数据量时候的效率呢？，解决方案就是2点：1.
...
分类：
移动开发 时间：
2014-06-03 07:19:16
阅读次数：
300
引子：
在大数据时代，总希望存在一个Key-value存储机制，像HashMap一样在内存中处理大量（千万数量级）的key-value对，以便提高数据查找、修改速度。
所以，我们会想到，Memcached和Redis这两个NoSQL数据库（严格来讲二者都不可以算作数据库）。 1、Memcach...
分类：
其他好文 时间：
2014-05-31 15:35:29
阅读次数：
293
随着大数据的到来，越来越多的数据需求需要开发，而这些需求不可避免需要使用JS画出图表，而大多后端JAVA开发人员对JS不太熟悉，导致身心倍受折磨，今天记录以下最近我使用echarts的步骤，供参考：一、环境说明前端框架：echarts、Jquery后端框架：SPRINGMVC二、开发过程前端代码：I...
分类：
编程语言 时间：
2014-05-31 11:43:58
阅读次数：
433
本篇是本人在做一个大数据项目时，对于系统架构的一点总结，如何在保证存储量的情况下，又能保证数据的检索速度。
分类：
其他好文 时间：
2014-05-30 20:34:01
阅读次数：
405
在过去的几年中，雪崩的数据，包括结构化和非结构化数据，推动组织到了一个突破点，大数据时代俨然已经到了。在大数据时代，CIO和IT主管知道，他们能否取得成功，严重依赖于如何挖掘到大数据，并把它充分利用。然而，目前许多高管并不知道如何最好地利用大数据以提高企业决策能力。据凯捷最近发布的关于“决定因素：大...
分类：
其他好文 时间：
2014-05-29 19:01:33
阅读次数：
216
