码迷,mamicode.com
首页 >  
搜索关键字:beam 大数据    ( 12980个结果
大数据技术 vs 数据库一体机[转]
http://blog.sina.com.cn/s/blog_7ca5799101013dtb.html目前,虽然大数据与数据库一体机都很火热,但相当一部分人却无法对深入了解这两者的本质区别。这里便对大数据技术(如Hadoop等,主要指MapReduce与NoSQL)与数据库一体机(新一代的主流关系...
分类:数据库   时间:2014-06-29 06:09:08    阅读次数:298
转】MapReduce: Simplified Data Processing(一)
摘要MapReduce是一个编程模型,和处理,产生大数据集的相关实现.用户指定一个map函数处理一个key/value对,从而产生中间的key/value对集.然后再指定一个reduce函数合并所有的具有相同中间key的中间value.下面将列举许多可以用这个模型来表示的现实世界的工作.以这种方式写...
分类:其他好文   时间:2014-06-29 00:17:14    阅读次数:369
真正通用的SQL分页存储过程
关于SQL分页的问题,网上找到的一些SQL其实不能真正做到通用,他们主要是以自增长ID做为前提的。但在实际使用中,很多表不是自增长的,而且主键也不止一个字段,其实我们稍做改进就可以达到通用。这里还增加了索引,以方便大数据量的使用(代码中是先抓到临时表的,从性能上说如果采用自增长式的ID表,当然可以不...
分类:数据库   时间:2014-06-28 23:20:50    阅读次数:292
2504(多项式求和)
明明很简单,我却错了N++遍,主要原因是在于自己,给自己测试数据时,忘了测大数据,因为只保留小数点后两位,而200以后的数都是0.69.#include #include #include #include using namespace std;int main(){ double a[10...
分类:其他好文   时间:2014-06-28 17:00:57    阅读次数:174
Spark
Spark已正式申请加入Apache孵化器,从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名,展现了大数据不常见的“电光石火”。具体特点概括为“轻、快、灵和巧”。轻:Spark 0.6核心代码有2万行,Hadoop 1.0为9万行,...
分类:其他好文   时间:2014-06-23 07:25:53    阅读次数:418
MongoDB与.NET结合使用一(mongodb在windows 2003上的安装)
mongodb发展至今已经到2.6版本了,自从获得了1亿美元的风投之后,发展速度更是比以前快了很多,前段时间因为要用缓存,也比较了mongodb,大家也都觉得比较适合做无关系化的大数据存储,所以系统统计分析的功能就用它了。安装mongodb非常的简单,这里先给出作者的安装环境:windows 200...
分类:数据库   时间:2014-06-23 00:18:59    阅读次数:285
BitMap排序-大数据量节省空间
package com.jp.algorithm.sort;/** * 假设我们要对0-7内的5个元素(4,7,2,5,3)排序(这里假设这些元素没有重复)。那么我们就可以采用Bit-map的方法来达到排序的目的。要表示8个数 * ,我们就只需要8个Bit(1Bytes),首先我们开辟1Byte的空...
分类:其他好文   时间:2014-06-21 16:20:21    阅读次数:352
阿里巴巴曾鸣:数据时代来临
阿里巴巴集团总參谋长曾鸣大数据最重要的特征不在大小,而在死活。就企业而言,数据的死活决定一切,从数据的管理到数据的运用,数据必须能活起来,開始跑通迭代,才干产生持续价值。互联网将高速颠覆众多的传统行业。这两年,这种话听多了,多少有些“狼来了”,让人逐渐麻木。但是,不经意间,出租车这个再传统只是的行业...
分类:其他好文   时间:2014-06-21 08:29:38    阅读次数:180
坚持一下,正态的哲学就在一个百分点——技术需要不断积累
现状IT日新月异,完全让人慌张和措手不及,不久前刚出来MVC,很快就连升几个版本;其他的,Swift,智能穿戴,大数据等等,让我这样笨拙的人情何以堪啊!!!是的,我爱技术,但同时我又比较笨和比较浮躁。(不对称关系组合在一起,真揪心)说比较笨,是因为我CPU处理速度不是那么地快,随着年龄的增长,确实力...
分类:其他好文   时间:2014-06-21 00:01:54    阅读次数:249
简要的谈谈文本数据挖掘的一般步骤
[QQ群: 189191838,对算法和C++感兴趣可以进来] 数据挖掘领域一直都非常的火。现在炒的非常热的大数据,其实也是数据挖掘的一个应用而已,不管工程师用的是Hadoop还是其他平台,其实都是对一堆的数据进行分析,计算,然后得到我们希望得到的结果。所以我们可以知道,文本数据挖掘的必要性是...
分类:其他好文   时间:2014-06-20 21:49:12    阅读次数:255
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!