执行流程数据的接收StreamingContext实例化的时候，需要传入一个SparkContext，然后指定要连接的spark matser url，即连接一个spark engine，用于获得executor。实例化之后，首先，要指定一个接收数据的方式，如val lines = ssc.socketTextStream("localhost", 9999)这样从socket接收文本数据。这个步骤...
分类：
其他好文 时间：
2015-03-19 16:25:47
阅读次数：
155
SimplifiedParallelism:NoneedtocreatemultipleinputKafkastreamsandunion-ingthem.WithdirectStream,SparkStreamingwillcreateasmanyRDDpartitionsasthereisKafkapartitionstoconsume,whichwillallreaddatafromKafkainparallel.Sothereisone-to-onemappingbetweenKafkaandRDDp..
分类：
其他好文 时间：
2015-03-18 18:29:45
阅读次数：
630
看到 程序员的自我修养 – SelfUp.cn 里面有Spark MLlib之K-Means聚类算法。
但是是java 语言的，于是我按照例程用Scala写了一个，分享在此。
由于在学习 spark mllib 但是如此详细的资料真的很难找，在此分享。
测试数据
1
2
3
4
5
6
7...
分类：
编程语言 时间：
2015-03-18 18:00:39
阅读次数：
466
机器准备 笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。 192.168.248.150?spark-master
192.168.248.153?ubuntu-worker
192.168.248.155?spark-worker1 根据机器信息加入到...
分类：
其他好文 时间：
2015-03-17 08:15:16
阅读次数：
143
Executor.scala一、Executor类首先判断本地性，获取slaves的host name（不是IP或者host: port），匹配运行环境为集群或者本地。如果不是本地执行，需要启动一个handler来监控所有的executor进程，避免阻塞。然后，初始化Spark执行环境。向Spark...
分类：
其他好文 时间：
2015-03-16 12:42:09
阅读次数：
165
Spark简介Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用...
分类：
其他好文 时间：
2015-03-15 00:29:47
阅读次数：
172
创建一个Scala IDEA工程：点击“Next”：点击“Finish”完成工程的创建：修改项目的属性：首先修改Modules选项：在src下创建两个文件夹，并把其属性改为source：再修改Libraries：因为要开发Spark程序，所以需要把Spark的开发需要的jar包导进来：导入包完成后，...
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.sp...
分类：
Web程序 时间：
2015-03-14 16:54:22
阅读次数：
141
接下来进行打包，使用Project Structure的Artifacts：使用From modules with dependencies：选择Main Class：点击“OK”:把名称改为SparkDemoJar：因为每台机器上都安装了Scala和Spark，所以可以把Scala和Spark相关...
悄悄地，spark 还是像往常一样，发布了1.3版本，从release notes可以看出，这一版本比较大的变化是1. 增加了DataFrame API，这样以后操作一些结构化的数据集时将会变的非常方便，它可以通过数据源如Hive tables, JSON data, a JDBC databa.....
分类：
其他好文 时间：
2015-03-14 13:44:25
阅读次数：
192
