利用一个spark receiver 接收多个flume agentString host = args[0];
int port = Integer.parseInt(args[1]);
String host1 = args[2];
int port1 = Integer.parseInt(args[3]); InetSocketAddress address1 = new Ine...
分类：
Web程序 时间：
2015-04-08 18:09:37
阅读次数：
195
Spark读取Hbase中的数据大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下：1JavaRDD<Integer>myRDD=sc.parallelize(Arrays.asList(1,2,3));Scala版本如下：1valmyRDD=sc...
分类：
其他好文 时间：
2015-04-07 20:01:18
阅读次数：
285
RDD[T]Transformations
rdd api
备注 persist/cache
map(f: T => U)
keyBy(f: T => K)
特殊的map，提key
flatMap(f: T => Iterable[U])
map的一种，类似UDTF
filter(f: T => Boolean)
map的一种
distinct(...
问题导读：1.什么是sbt？2.sbt项目环境如何建立？3.如何使用sbt编译打包scala?sbt介绍sbt是一个代码编译工具，是scala界的mvn，可以编译scala，java等，需要java1.6以上。sbt项目环境建立sbt编译需要固定的目录格式，并且需要联网，sbt会将依赖的jar包下载...
分类：
其他好文 时间：
2015-04-07 15:28:49
阅读次数：
160
1.安装JDK2.安装scala 2.10spark-1.0.2依赖 scala 2.10, 我们必须要安装scala 2.10.下载 scala-2.10.*.tgz 并 保存到home目录(已经在sg206上）.$ tar -zxvf scala-2.10.*.tgz$ sudo mvscala...
分类：
其他好文 时间：
2015-04-07 15:16:18
阅读次数：
143
一天一段scala代码（十六）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
object Example16 {
//scala操作XML
//scala本身自带了强大操作XML的功能，当然也可以调用java的包
//该部分...
分类：
其他好文 时间：
2015-04-06 15:45:53
阅读次数：
133
一天一段scala代码（十五）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
object Example15 {
//注解可以在程序中的各项条目添加信息，这些信息可以被编译器或外部工具处理。
//下面是一个使用...
分类：
其他好文 时间：
2015-04-06 15:45:29
阅读次数：
152
一天一段scala代码（十四）
为了更好的驾驭spark，最近在学习scala语言特性，主要看《快学scala》，顺便把一些自己认为有用的代码记下来。
package examples
object Example14 extends App{
var ch='9'
var sign= ch match{
case '+' => 1...
分类：
其他好文 时间：
2015-04-05 23:34:52
阅读次数：
192
背景 使用spark开发已有几个月。相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验。 Spark基础 基石RDD spa...
分类：
其他好文 时间：
2015-04-05 17:23:53
阅读次数：
181
