在过去的几年中,雪崩的数据,包括结构化和非结构化数据,推动组织到了一个突破点,大数据时代俨然已经到了。在大数据时代,CIO和IT主管知道,他们能否取得成功,严重依赖于如何挖掘到大数据,并把它充分利用。然而,目前许多高管并不知道如何最好地利用大数据以提高企业决策能力。据凯捷最近发布的关于“决定因素:大...
分类:
其他好文 时间:
2014-05-29 19:01:33
阅读次数:
216
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建,该方法接受文件的URI地址(或者机器上的文件本地路径,或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例:scala> val distFile...
分类:
其他好文 时间:
2014-05-29 18:58:27
阅读次数:
429
顾名思义。。。云和端就是我们现在很流行讲的云计算、移动开发、大数据处理等。。我们做IT的一般都要先了解这个架构。。而对于架构这个东西,有可能是你要实现一些特定功能的软件架构,也可能是你想要实现特定系统功能的架构。而我讨论的是云和端的架构。首先,云可以理解是我们的服务器系统。或者b/s架构的serve...
分类:
其他好文 时间:
2014-05-29 08:09:38
阅读次数:
301
Currying是一種函數式編程技巧,
指的是把接受多個參數的函數變換成接受一個單一參數的函數。 以一個簡單的例子在Scala中實現.. def f(a:Int, b:Int)={ a+b
}//f(2,3)=5//Currying def curried(a:Int)(b:Int){ a+b }/...
分类:
其他好文 时间:
2014-05-28 03:58:12
阅读次数:
242
背景穿戴式设备承载了物联网、大数据、健康、智能等各路当下或曾经的热门词汇,其风言风语已经飘荡了两年了。当前市面上比较流行的有国外的
jawbone up 手环、NIKE 的 fuelband 和 fitbit force 手环等,国内也不乏类似产品,比如 bong、咕咚等。3
月被网络各种消息吹得心...
分类:
其他好文 时间:
2014-05-28 01:44:01
阅读次数:
207
Google File System中文版Google Bigtable中文版Google
MapReduce中文版
分类:
其他好文 时间:
2014-05-26 19:48:38
阅读次数:
184
在过去几年,Java模块化一直是一个活跃的话题。从JSR 277(现已废止)到JSR
291,模块化看起来是Java进化过程中的必经一环。即便是基于JVM的未来语言,比如Scala,也考虑了模块化的问题。本文是关于模块化Java系列文章中的第一篇,讨论模块化的含义,以及为什么要关注它。51CTO编辑...
分类:
编程语言 时间:
2014-05-26 18:21:34
阅读次数:
256
到底大数据是什么,把这个很神奇的东西拨开以后,它还是很原始的。大家有没有想过,实际上我们一个人就是很精细的大数据分析仪器。我今天认识一个朋友,我的内部会做一个简单判断,我会用眼睛来看,这是图片信息。我会听他的声音,感受声音的声频信息。如果有机会握手,这是一个触摸的信息。通过交流,我能感受到他语言.....
分类:
其他好文 时间:
2014-05-25 18:52:42
阅读次数:
252
在plsql开发中,会涉及到一些大数据量表的数据处理,如将某记录数超亿的表的记录经过处理转换插入到另外一张或几张表。常规的操作方法固然可以实现,但时间、磁盘IO、redo日志等等都非常大。Oracle
提供了一种高级函数,可以将这种数据处理的性能提升到极限。这种函数称为管道函数。在实际项目中,管道函...
分类:
数据库 时间:
2014-05-25 15:05:26
阅读次数:
413
概述这个时代被称之为大数据时代,各行各业生产的数据量呈现爆发性增长,并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此,我们可以很容易的感觉到,在这样一个大数据的时代,我们很多做事情的方法正在发生了改变。例如,基于大数据分析可以做疾病预测控制;基于..
分类:
其他好文 时间:
2014-05-25 08:25:49
阅读次数:
620