前言 加快创建hadoop或spark集群，方法有两种途径：克隆或复制。其实啊，我最近，再返回写下本博文，理清下思路。 比如，你在你的一台电脑里，安装虚拟机。已经搭建好了hadoop或spark集群。为了省时间，同时也我为了亲身动手实践这一环节。 比如啊，我在另外一台电脑里安装好了。克隆或复制如Ha ...
分类：
系统相关 时间：
2016-11-11 14:07:09
阅读次数：
276
Zeppelin默认自带本地spark，可以不依赖任何集群，下载bin包，解压安装就可以使用。 使用其他的spark集群在yarn模式下。 配置： 添加： Zeppelin Interpreter配置 注意：设置完重启解释器。 新建Notebook Tips：几个月前zeppelin还是0.5.6， ...
分类：
其他好文 时间：
2016-10-27 13:22:59
阅读次数：
737
承接上文：
http://blog.csdn.net/wangqi880/article/details/52875524
对了，每台机子的防火墙要关闭哈，不然spark集群启动不起来
前一次，...
分类：
编程语言 时间：
2016-10-22 12:25:47
阅读次数：
405
环境准备： 在虚拟机下，大家三台Linux ubuntu 14.04 server x64 系统（下载地址：http://releases.ubuntu.com/14.04.2/ubuntu-14.04.2-server-amd64.iso）: 192.168.1.200 master 192.16 ...
分类：
其他好文 时间：
2016-09-24 13:40:34
阅读次数：
308
最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多（腾 ...
分类：
其他好文 时间：
2016-09-03 09:41:07
阅读次数：
178
广播变量、累加器、collect spark集群由两类集群构成：一个驱动程序，多个执行程序。 1、广播变量 broadcast 广播变量为只读变量，它由运行sparkContext的驱动程序创建后发送给会参与计算 的节点。也可被非驱动程序所在节点（即工作节点）访问，访问是调用该变量的value方法。 ...
分类：
其他好文 时间：
2016-08-15 14:14:25
阅读次数：
254
使用bokeh-scala进行数据可视化 目录 一、前言 最近在使用spark集群以及geotrellis框架（相关文章见http://www.cnblogs.com/shoufengwei/p/5619419.html）进行分布式空间地理系统设计（暂且夸大称之为地理信息系统），虽说是空间地理信息系 ...
分类：
其他好文 时间：
2016-08-02 01:01:09
阅读次数：
328
1、spark 部署
标签： spark
0 apache spark项目架构
spark SQL -- spark streaming -- MLlib -- GraphX
0.1 hadoop快速搭建，主要利用hdfs存储框架
下载hadoop-2.6.0，解压，到etc/hadoop/目录下
0.2 快速配置文件...
分类：
其他好文 时间：
2016-07-22 19:23:01
阅读次数：
629
实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。 Spark会自动设置以文件作为输入源的RDD的并行度，依据其大小，比如HDFS，就会给每一个block创建一个partition，也依据这个设置并行度。对于r ...
分类：
其他好文 时间：
2016-07-13 15:53:48
阅读次数：
337
因为开发需要在本地组建一个Hadoop/Spark集群，但公司IT政策不允许本地集群接入互联网，所以只能离线安装各种组件。 下面把安装过程记录下来，作为项目文档。 安装准备工作 主机和系统 安装包下载 可以自行到下面列出的文件目录里去找最新版本或直接点文件链接下载parcel和sha文件 注意：这里 ...
分类：
其他好文 时间：
2016-07-10 06:12:10
阅读次数：
455
