在项目中,我们经常遇到或用到分页,那么在大数据量(百万级以上)下,哪种分页算法效率最优呢?我们不妨用事实说话。测试环境硬件:CPU 酷睿双核T5750
内存:2G软件:Windows server 2003 + Sql server 2005OK,我们首先创建一数据库:data_Test,并在此数据...
分类:
其他好文 时间:
2014-06-07 02:43:09
阅读次数:
330
环境:
Unbunt 12.04
Hadoop 2.2.x
Sprak 0.9
Scala scala-2.9.0.final.tgz
步骤
1. 下载 scala
2. 解压scala,然后修改/etc/profile,添加如下
export SCALA_HOME=/home/software/scala-2.9.0.final
export PATH=$P...
分类:
其他好文 时间:
2014-06-05 11:52:46
阅读次数:
484
中国气象局公共服务中心与阿里云达成战略合作
5 月 27 日上午消息,中国气象局公共气象服务中心与阿里云达成战略合作,共同挖掘气象大数据的深层价值。海量气象数据将通过阿里云计算平台,变成可实时分析应用的“活数据”,服务国民经济和社会民生。这是国家部委首次采用民营科技公司提供的云计算和大数据服务。
目前,我国每年新增的气象数据达到 PB 量级(1PB=1024TB,1TB=1024GB)...
分类:
其他好文 时间:
2014-06-05 03:07:37
阅读次数:
329
准备开题报告了,先要熟悉一下领域范围,《集体智慧编程》参考一下论点。简单的思路是看一下哪个话题最热门,用google学术来衡量一下论文数,虽然不够精确但是足以反应一点什么。
当然是选择最近比较热门的,同时参考一下国内的论文数目情况。
关键字
总的
2014
国内总数
2014
推荐
2,480,000
...
分类:
其他好文 时间:
2014-06-05 01:59:36
阅读次数:
241
我们已经进入了大数据处理时代,需要快速、简单的处理海量数据,企业邮箱服务也面临着大数据处理,海量数据处理的三个主要因素:大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中,快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理,编辑,检索和浏览。...
分类:
其他好文 时间:
2014-06-05 01:54:15
阅读次数:
220
这么个标题多少有点蛋疼的感觉,两个都是互联网时代的语言,学习成本和执行效率也差不多,之所以会产生这种需求,多半是想在python中引用java的类,例如安卓和hadoop的生态圈,基本是java代码的天下,虽然python大数据有不错的接口,但直接调用java的需求总是有的。这个目前已经有解决方案,...
分类:
编程语言 时间:
2014-06-04 20:52:14
阅读次数:
261
适配器是Android中的数据与View视图的桥梁,作用就是将数据通过适配器显示到对应的View视图上。工作中,在用ListView做适配器数据时候,有些人肯定碰见过,如何优化效率,但是又出现重复数据的情况,如何避免重复数据而且又能提高ListView大数据量时候的效率呢?,解决方案就是2点:1.
...
分类:
移动开发 时间:
2014-06-03 07:19:16
阅读次数:
300
引子:
在大数据时代,总希望存在一个Key-value存储机制,像HashMap一样在内存中处理大量(千万数量级)的key-value对,以便提高数据查找、修改速度。
所以,我们会想到,Memcached和Redis这两个NoSQL数据库(严格来讲二者都不可以算作数据库)。 1、Memcach...
分类:
其他好文 时间:
2014-05-31 15:35:29
阅读次数:
293
随着大数据的到来,越来越多的数据需求需要开发,而这些需求不可避免需要使用JS画出图表,而大多后端JAVA开发人员对JS不太熟悉,导致身心倍受折磨,今天记录以下最近我使用echarts的步骤,供参考:一、环境说明前端框架:echarts、Jquery后端框架:SPRINGMVC二、开发过程前端代码:I...
分类:
编程语言 时间:
2014-05-31 11:43:58
阅读次数:
433
本篇是本人在做一个大数据项目时,对于系统架构的一点总结,如何在保证存储量的情况下,又能保证数据的检索速度。
分类:
其他好文 时间:
2014-05-30 20:34:01
阅读次数:
405