Item Quantity Tires Oil Spark Plugs How did you find Bob's? 标签用于为用户输入创建 HTML 表单。表单能够包含input 元素,比如文本字段、复选框、单选框、提交按钮等等。表单用于向服务器传输数据。 ...
分类:
Web程序 时间:
2014-11-17 17:25:57
阅读次数:
271
Thrift安装介绍,包含安装流程,以及遇到的一些问题与处理办法。...
分类:
其他好文 时间:
2014-11-15 17:13:01
阅读次数:
153
第二步:构造分布式的Spark1.0.2集群1,下载Scala2.10.4,具体下载地址:http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载;2,安装和配置Scala...
分类:
其他好文 时间:
2014-11-14 20:56:42
阅读次数:
239
也可以查看一下SparkWorker2上的运行情况: 我们点击具体的Container查看其信息: 程序运行结束后我们可以执行一下命令查看运行结果: 也可通过HDFS控制台查看运行结果: 可以通过Web控制的JobHistory查看历史工作...
分类:
其他好文 时间:
2014-11-14 14:24:39
阅读次数:
148
从业务发展需求,大数据平台需要使用spark作为机器学习、数据挖掘、实时计算等工作,所以决定使用Cloudera Manager5.2.0版本和CDH5。
以前搭建过Cloudera Manager4.8.2和CDH4,在搭建Cloudera Manager5.2.0版本的时候,发现相应的Service Host Monitor 和 Service Monitor不能配置外部表,刚开是还以为是配置出错,后来才发现应该是新版本的Cloudera的存储改变方式了。查了很多文档,果然发现,新版本中Service ...
分类:
数据库 时间:
2014-11-14 12:39:43
阅读次数:
316
当我们在运行作业的过程中也可以查看Web控制台的信息: 此时发现了一个作业ID,点击进入可以查看作业进一步的信息: ? 进一步看通过Web控制台看SparkWorker1中的Container中的运行信息: 刷新Web控制台:...
分类:
其他好文 时间:
2014-11-13 22:40:18
阅读次数:
231
也可以查看一下SparkWorker2上的运行情况:我们点击具体的Container查看其信息:程序运行结束后我们可以执行一下命令查看运行结果:也可通过HDFS控制台查看运行结果:可以通过Web控制的JobHistory查看历史工作记录:点击最近运行的WordCount作业进入历史作业详情:发现我们...
分类:
其他好文 时间:
2014-11-13 22:10:09
阅读次数:
193
1.SparkSpark是继Hadoop之后,另外一种开源的高效大数据处理引擎,目前已提交为apach顶级项目。效率:据官方网站介绍,Spark是Hadoop运行效率的10-100倍(随内存计算、磁盘计算的不同而不同)。语言:支持的语言包括java、scala、python等,此外还支持SQL查询。...
分类:
其他好文 时间:
2014-11-13 20:40:19
阅读次数:
129
在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。 首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目...