1、SBT编译vi project/SparkBuild.scala修改仓库："Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类：
其他好文 时间：
2014-09-12 11:29:43
阅读次数：
234
1、SBT添加插件.sbt/0.13/plugins/plugins.sbt 没用手工创建addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")addSbtPlugin("com.github.mpeltonen...
分类：
其他好文 时间：
2014-09-12 11:29:33
阅读次数：
294
spark自带的example中就有streaming结合kafka使用的案例：$SPARK_HOME/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWordCount.scala使用方法参见代码描述：Usage: ...
分类：
其他好文 时间：
2014-09-10 17:29:50
阅读次数：
219
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第2期互动问答分享】Q1：新手学习spark如何入手才好？先学习Scala的内容，强烈推荐《快学Scala》；然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布..
分类：
其他好文 时间：
2014-09-10 14:20:40
阅读次数：
211
一、什么是kafka?kafka是LinkedIn开发并开源的一个分布式MQ系统，现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式（能将消息分散到不同的节点上）MQ。Kafka仅仅由7000行Scala编写，据了解，Kafka每秒可以生产约25万消息（50MB），每秒处理55万消息（11..
分类：
其他好文 时间：
2014-09-10 02:50:40
阅读次数：
342
简介 从Scala2.10.0开始提供了一种利用现有数据（变量等）创建字符串的方式--字符串插值(String Interprolation）。 字符串插值允许用户直接在字符串字面量中嵌入变量引用。下面是一个例子： scala> val name = "Jame"name: String = Jam...
分类：
其他好文 时间：
2014-09-09 21:26:09
阅读次数：
194
kestrel用的是scala，java无法直接使用。如想用java来运行kestrel，需要利用Xmemcached库。创建queue_kestrel.java# cd# mkdir test# export source_dir=~/test# vi queue_kestrel.java----...
分类：
编程语言 时间：
2014-09-09 11:04:18
阅读次数：
230
Scala中的构造器相较于Java比较特殊，分为两种：主构造器，从构造器。主构造器是和类中字段和方法的定义混合在一起的。在Scala中，不需要像Java一样需要在类中定义一个与类名相同的方法来当作构造器。主构造器的参数列表写在类名的后面，而构造器的内容，则直接写在类定义里面，所以说，一个Scala类...
分类：
其他好文 时间：
2014-09-07 15:57:35
阅读次数：
213
注：本文主要参考自《快学Scala》 Java中的包 在讲这个问题之前，有必要先了解一下Java里面的类和成员变量的访问控制符（本人也有点模糊，顺便复习下） 一.首先说下Java中类的访问控制符： 在Java中类的访问控制符只有public和default两种 public访问控制符修饰的类，可以在...
分类：
其他好文 时间：
2014-09-06 00:57:32
阅读次数：
421
http://blog.csdn.net/oopsoom/article/details/23447317def/:[B](z:B)(op:(B,A)=>B):B=foldLeft(z)(op)def:\[B](z:B)(op:(A,B)=>B):B=foldRight(z)(op)
分类：
其他好文 时间：
2014-09-05 19:49:11
阅读次数：
302
