当我们在运行作业的过程中也可以查看Web控制台的信息：此时发现了一个作业ID，点击进入可以查看作业进一步的信息：进一步看通过Web控制台看SparkWorker1中的Container中的运行信息：刷新Web控制台：
分类：
其他好文 时间：
2014-11-17 20:58:21
阅读次数：
137
Item Quantity Tires Oil Spark Plugs How did you find Bob's? 标签用于为用户输入创建 HTML 表单。表单能够包含input 元素，比如文本字段、复选框、单选框、提交按钮等等。表单用于向服务器传输数据。 ...
分类：
Web程序 时间：
2014-11-17 17:25:57
阅读次数：
271
1. 绪论
1.1背景和目的
社交网络作为一个全新的互联网交友平台与信息传播平台,每天都有海量数据在这个平台上发布。社交网络是一个虚拟社会网络，它是由许多节点构成，是现实社会在网络上的体现。每个节点都代表了现实生活中的一个人或者一个组织，节点之间的好友关系也是现实社会中的社会关系。在这个虚拟社会中，人们从事着大量的社交活动，如交友、分布消息、关注好友状态与分享视频等。在社交网络的平台上，人们可...
分类：
其他好文 时间：
2014-11-17 14:08:11
阅读次数：
291
第二步：构造分布式的Spark1.0.2集群1,下载Scala2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；2，安装和配置Scala...
分类：
其他好文 时间：
2014-11-14 20:56:42
阅读次数：
239
也可以查看一下SparkWorker2上的运行情况： 我们点击具体的Container查看其信息： 程序运行结束后我们可以执行一下命令查看运行结果： 也可通过HDFS控制台查看运行结果： 可以通过Web控制的JobHistory查看历史工作...
分类：
其他好文 时间：
2014-11-14 14:24:39
阅读次数：
148
从业务发展需求，大数据平台需要使用spark作为机器学习、数据挖掘、实时计算等工作，所以决定使用Cloudera Manager5.2.0版本和CDH5。
以前搭建过Cloudera Manager4.8.2和CDH4，在搭建Cloudera Manager5.2.0版本的时候，发现相应的Service Host Monitor 和 Service Monitor不能配置外部表，刚开是还以为是配置出错，后来才发现应该是新版本的Cloudera的存储改变方式了。查了很多文档，果然发现，新版本中Service ...
分类：
数据库 时间：
2014-11-14 12:39:43
阅读次数：
316
当我们在运行作业的过程中也可以查看Web控制台的信息： 此时发现了一个作业ID，点击进入可以查看作业进一步的信息： ? 进一步看通过Web控制台看SparkWorker1中的Container中的运行信息： 刷新Web控制台：...
分类：
其他好文 时间：
2014-11-13 22:40:18
阅读次数：
231
也可以查看一下SparkWorker2上的运行情况：我们点击具体的Container查看其信息：程序运行结束后我们可以执行一下命令查看运行结果：也可通过HDFS控制台查看运行结果：可以通过Web控制的JobHistory查看历史工作记录：点击最近运行的WordCount作业进入历史作业详情：发现我们...
分类：
其他好文 时间：
2014-11-13 22:10:09
阅读次数：
193
1.SparkSpark是继Hadoop之后，另外一种开源的高效大数据处理引擎，目前已提交为apach顶级项目。效率：据官方网站介绍，Spark是Hadoop运行效率的10-100倍（随内存计算、磁盘计算的不同而不同）。语言：支持的语言包括java、scala、python等，此外还支持SQL查询。...
分类：
其他好文 时间：
2014-11-13 20:40:19
阅读次数：
129
