经过了小一天的时间终于把Spark安装好了
我的机器配置是windows7，8G，内存，双核的
安装的软件列表为：
Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic
x86_64)
vmware
Hadoop: 2.6.0
Spark: 1.4.0
jdk-7u75-linux-x64.gz
scala-2.10.4（注意版...
分类：
其他好文 时间：
2015-08-07 20:09:01
阅读次数：
126
从docker 仓库 pull 镜像
docker pull sequenceiq/spark:1.4.0
构建 docker 镜像
docker build –rm -t sequenceiq/spark:1.4.0 .
-t 选项是你要构建的sequenceiq/spark image的tag，就好比ubuntu:13.10一样 –rm 选项是告诉Docker在构建完成后删除临时的Co...
分类：
其他好文 时间：
2015-08-07 19:53:54
阅读次数：
126
安装Spark后进的第一个网址，看你是否安装成功，查看sprak中worker的状态
http://sparkmaster:8080/
查看spark-shell状态
http://sparkmaster:4040/stages/
查看dfs(datanode)的状态
http://sparkmaster:50070
查看nodes的状态
...
分类：
Web程序 时间：
2015-08-07 19:46:45
阅读次数：
105
Spark大数据分析框架的核心部件 Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、Spark SQL数据检索语言、Tachyon文件系统、Spark...
分类：
其他好文 时间：
2015-08-07 13:35:39
阅读次数：
171
spark thriftserver运维： 在root@spark_master_machine机器上 启动 thriftserver========================================================================================================================...
分类：
其他好文 时间：
2015-08-07 13:35:38
阅读次数：
221
课程：云计算：OpenStack | 虚拟化 | 云平台 | Office 365 | 云服务 | Docker | 其他大数据：Spark | Hadoop | Storm | Hive | Yarn | 其他移动开发：Swift | 微信开发 | iOS | Android | HTML5 | ...
分类：
其他好文 时间：
2015-08-07 07:00:12
阅读次数：
128
Spark入门实战系列--2.Spark编译与部署（上）--基础环境搭建【注】1、该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取；2、Spark编译与部署将以CentOS 64位操作系统为基础，主要是考虑到实际应用一般使用64位操作系统，内容分为三部分：基础...
分类：
其他好文 时间：
2015-08-06 23:49:19
阅读次数：
132
Spark及其生态圈简介注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取1、简介1.1Spark简介Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在...
分类：
其他好文 时间：
2015-08-06 08:13:31
阅读次数：
444
1. 自连接假设存在如下文件：[root@bluejoe0 ~]# cat categories.csv
1,生活用品,0
2,数码用品,1
3,手机,2
4,华为Mate7,3每一行的格式为：类别ID，类别名称，父类ID现在欲输出每个类别的父类别的名称，类似于SQL的自连接，注意到join的外键其实是父类ID。首先生成“父类ID->子类ID，子类名称”val categories=sc.text...
分类：
其他好文 时间：
2015-08-06 00:28:52
阅读次数：
171
