码迷,mamicode.com
首页 >  
搜索关键字:大数据 scala    ( 16997个结果
大数据量分页存储过程效率测试附代码
在项目中,我们经常遇到或用到分页,那么在大数据量(百万级以上)下,哪种分页算法效率最优呢?我们不妨用事实说话。测试环境硬件:CPU 酷睿双核T5750 内存:2G软件:Windows server 2003 + Sql server 2005OK,我们首先创建一数据库:data_Test,并在此数据...
分类:其他好文   时间:2014-06-07 02:43:09    阅读次数:330
Ubuntu 安装 spark
环境: Unbunt 12.04 Hadoop 2.2.x Sprak 0.9 Scala scala-2.9.0.final.tgz 步骤 1. 下载 scala 2. 解压scala,然后修改/etc/profile,添加如下 export SCALA_HOME=/home/software/scala-2.9.0.final export PATH=$P...
分类:其他好文   时间:2014-06-05 11:52:46    阅读次数:484
中国气象局与阿里云达成战略合作
中国气象局公共服务中心与阿里云达成战略合作 5 月 27 日上午消息,中国气象局公共气象服务中心与阿里云达成战略合作,共同挖掘气象大数据的深层价值。海量气象数据将通过阿里云计算平台,变成可实时分析应用的“活数据”,服务国民经济和社会民生。这是国家部委首次采用民营科技公司提供的云计算和大数据服务。 目前,我国每年新增的气象数据达到 PB 量级(1PB=1024TB,1TB=1024GB)...
分类:其他好文   时间:2014-06-05 03:07:37    阅读次数:329
集体智慧编程中相关章节对应论文数
准备开题报告了,先要熟悉一下领域范围,《集体智慧编程》参考一下论点。简单的思路是看一下哪个话题最热门,用google学术来衡量一下论文数,虽然不够精确但是足以反应一点什么。 当然是选择最近比较热门的,同时参考一下国内的论文数目情况。 关键字 总的 2014 国内总数 2014 推荐 2,480,000 ...
分类:其他好文   时间:2014-06-05 01:59:36    阅读次数:241
企业邮箱服务优化软件
我们已经进入了大数据处理时代,需要快速、简单的处理海量数据,企业邮箱服务也面临着大数据处理,海量数据处理的三个主要因素:大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中,快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理,编辑,检索和浏览。...
分类:其他好文   时间:2014-06-05 01:54:15    阅读次数:220
python调用java
这么个标题多少有点蛋疼的感觉,两个都是互联网时代的语言,学习成本和执行效率也差不多,之所以会产生这种需求,多半是想在python中引用java的类,例如安卓和hadoop的生态圈,基本是java代码的天下,虽然python大数据有不错的接口,但直接调用java的需求总是有的。这个目前已经有解决方案,...
分类:编程语言   时间:2014-06-04 20:52:14    阅读次数:261
Android开发之适配器-ListView适配器的重复数据
适配器是Android中的数据与View视图的桥梁,作用就是将数据通过适配器显示到对应的View视图上。工作中,在用ListView做适配器数据时候,有些人肯定碰见过,如何优化效率,但是又出现重复数据的情况,如何避免重复数据而且又能提高ListView大数据量时候的效率呢?,解决方案就是2点:1. ...
分类:移动开发   时间:2014-06-03 07:19:16    阅读次数:300
Redis VS Memcached 转载
引子: 在大数据时代,总希望存在一个Key-value存储机制,像HashMap一样在内存中处理大量(千万数量级)的key-value对,以便提高数据查找、修改速度。 所以,我们会想到,Memcached和Redis这两个NoSQL数据库(严格来讲二者都不可以算作数据库)。 1、Memcach...
分类:其他好文   时间:2014-05-31 15:35:29    阅读次数:293
JAVA开发人员画图表总结(ECHARTS)
随着大数据的到来,越来越多的数据需求需要开发,而这些需求不可避免需要使用JS画出图表,而大多后端JAVA开发人员对JS不太熟悉,导致身心倍受折磨,今天记录以下最近我使用echarts的步骤,供参考:一、环境说明前端框架:echarts、Jquery后端框架:SPRINGMVC二、开发过程前端代码:I...
分类:编程语言   时间:2014-05-31 11:43:58    阅读次数:433
Solr与HBase架构设计
本篇是本人在做一个大数据项目时,对于系统架构的一点总结,如何在保证存储量的情况下,又能保证数据的检索速度。
分类:其他好文   时间:2014-05-30 20:34:01    阅读次数:405
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!