本文主要讲述在standalone cluster部署模式下，应用(Driver Application)所需要的资源是如何获得，在应用退出时又是如何释放的。
分类：
其他好文 时间：
2014-07-22 22:48:15
阅读次数：
243
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程...
分类：
其他好文 时间：
2014-07-22 22:45:54
阅读次数：
257
数据库奠基人Jim Gray：“磁带已经死了，磁盘已经落伍，闪存成为存储，内存才是王道”。“不管磁盘是否消融，闪存都是将来的一个趋势。”石油一直直接影响着世累经济的发展速度和发展水平，现在，信息将发挥同样的作用。《经济学人》表示：“数据和信息日益成为商业的新能源，是一种与资本、劳动力并列的新经济元素...
分类：
其他好文 时间：
2014-07-22 22:36:32
阅读次数：
318
1、Spark中采用依赖关系(Dependency)表示rdd之间的生成关系。Spark可利用Dependency计算出失效的RDD。在每个RDD中都存在一个依赖关系的列表
private var dependencies_ : Seq[Dependency[_]] = null
用以记录各rdd中各partition的parent partition。
2、Spark中存在两类Depe...
分类：
其他好文 时间：
2014-07-22 22:34:15
阅读次数：
264
本文详细介绍了Spark SQL的Catalyst里，Analyzer是如何Sql parser的解析的UnResolved逻辑计划，进行resolve的。...
分类：
数据库 时间：
2014-07-22 14:49:52
阅读次数：
396
随着科技的发展，信息的收集也越来越容易，再加上摩尔定律，大的数据量处理也成为了可能。
什么是大数据，也许你有几千个人的基本信息、也许你有数百条购物记录，但这都不不是大数据，大数据至少在千万的数据量上。
大数据有什么作用？其实数据中是包含各种规律的，互联网时代的数据以不在那么直观，再加上超大的数据量，人工已经很难从中找到规律或者关联了，但这并不意味着这些规律联系永远无法被发掘出来，事实...
分类：
其他好文 时间：
2014-07-22 14:46:04
阅读次数：
132
前段时间在做一个项目的时候,遇到了要通过WEB SERVICE从服务器上返回数据量比较大的DATASET,当然，除了显示在页面上以外，有可能还要用这些数据在客户端进行其它操作。查遍了网站的文章,问了一些朋友,也找了一些解决方法.众所周知,如果不用其它方法,直接从WEB SERVICE上传回一个10W...
分类：
Web程序 时间：
2014-07-22 00:06:35
阅读次数：
292
?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
Mahout0.9+Hadoop-2.2.0贝叶斯分类纯java实战代码，希望能给搞大数据数据挖掘的java粉们有所帮助，也希望大家提出建议。也希望Mahout社区大牛，帮忙看看我遇到的问题，先在这里谢过了。。...
分类：
其他好文 时间：
2014-07-21 22:47:27
阅读次数：
365
本文讲解了大数据聚类算法中的一种clara.并通过matalb实例代码实现验证算法...
分类：
其他好文 时间：
2014-07-21 22:28:27
阅读次数：
248
