我们使用 sbt 创建、测试、运行和提交作业。该教程会解释你在我们的课程中将会用到的所有 sbt 命令。工具安装页说明了如何安装
sbt。我们一般将代码和库做成jar包，通过spark-submit 提交到spark 集群上运行。
1）下载安装：
http://www.scala-sbt.org/
2）创建工程：
比如现在的工程名为“sparksample”。那么...
分类：
其他好文 时间：
2015-08-16 12:29:01
阅读次数：
224
Spark集群处理能力不足需要扩容，如何在现有spark集群中新增新节点？本文以一个实例介绍如何给Spark集群新增一个节点。1. 集群环境现有Spark集群包括3台机器，用户名都是cdahdp，主目录/home/ap/cdahdp，配置是2C8G虚拟机，集群基于yarn架构。 Master：128...
分类：
其他好文 时间：
2015-08-02 15:01:27
阅读次数：
142
讨论Spark的配置监控和性能优化（某课程笔记）
上完这节课以后，你将能够描述集群的概念
通过修改Spark的属性，环境变量，或者是日志属性来配置Spark
使用Web端界面，以及各种不同的外部工具来监控Spark和应用程序
在Spark集群中有三种主要的组成部分。驱动程序，是放置主程序中SparkContext的地方,要运行一个集群，你需要一个集群管理器
它可以是单机...
分类：
其他好文 时间：
2015-08-01 19:09:22
阅读次数：
124
今天想停止spark集群，发现执行stop-all.sh的时候spark的相关进程都无法停止。提示： no org.apache.spark.deploy.master.Master to stop no org.apache.spark.deploy.worker.Worker to stop 上...
分类：
其他好文 时间：
2015-08-01 06:18:49
阅读次数：
199
spark集群运行python作业，pyspark...
分类：
编程语言 时间：
2015-07-31 18:36:52
阅读次数：
224
启动Spark集群spark@master $ ./sbin/start-all.sh也可以一台一台启动，先启动 masterspark@master $ ./sbin/start-master.sh启动两台 slave，spark@worker01 $ ./sbin/start-slave.sh ...
分类：
其他好文 时间：
2015-07-29 15:36:15
阅读次数：
108
众所周知，Nodejs是单进程异步运行的，但不光是单进程，Nodejs也提供了多进程方面的支持
其创始人应该还是比较重视这一块的，最有力的证据就是child_process是Nodejs核心模块之一大多数情况下应该用不到这个模块，但child_process却能做很多有意思的事情shell调用最近用到的比较实用的功能，在做大数据处理的时候，需要根据客户在页面上的点击转化为spark集群的命令
s...
分类：
Web程序 时间：
2015-07-27 19:08:10
阅读次数：
116
Apache Flume是一个用来有效地收集，聚集和移动大量日志数据的分布式的，可获得的服务。这里我们解释一下怎样配置Flume和Spark Streaming来从Flume获取数据。这里有两个方法。
Python API：Flume现在还不支持PythonAPI
方法1：Flume风格的推方法
Flume被设计用来在Flume代理之间推送数据。在这种方法中，Spark Streami...
分类：
Web程序 时间：
2015-07-24 09:24:14
阅读次数：
163
Spark Standalone模式下的Application Application是Spark中类似于Hadoop的Job的用户提交的应用。sc是Spark集群初始化时创建的SparkContext，Spark中包含Action算子和Transferer算子。有宽依赖和窄依赖。默认情况下S...
分类：
其他好文 时间：
2015-07-20 21:29:47
阅读次数：
115
Hadoop：
Hadoop在使用原理上基本上遵照了Map、Reduce这样的一种模式进行项目的实际开发与交互，将一个个任务分解成映射与合并两种方式，然而通过映射进行分类与简化，从而产生部分归并结果，然后对同类结果进行归并计算；
由于Hadoop的中间结果需要依托于hdfs，从而需要经历硬盘及网络io的过程所以在实时性方面表现稍差；
Hadoop主要处理hdfs上的文本文件，而文本文件内容本...
分类：
其他好文 时间：
2015-07-07 19:27:46
阅读次数：
294
