1， 动手实战Scala中类的使用 为方便后续代表的编写，我们创建一个新的代码工作区： 创建一个Person类： 其中的“_”是PlaceHolder，下面我们看一下如果使用该类： 下面看一下private[this]的使用： 所以使用pri...
分类：
其他好文 时间：
2014-11-26 22:49:59
阅读次数：
253
1，动手实战Scala中类的使用为方便后续代表的编写，我们创建一个新的代码工作区：创建一个Person类：其中的“_”是PlaceHolder，下面我们看一下如果使用该类：下面看一下private[this]的使用：所以使用private[this]定义后的内容就无法外部使用了，这起到了非常好的保护...
分类：
其他好文 时间：
2014-11-26 22:23:11
阅读次数：
144
WordCount.Scala代码如下：package com.husor.Spark/** * Created by huxiu on 2014/11/26. */import org.apache.spark.{SparkContext, SparkConf}import org.apache....
这两天在研究了hbase，hadoop，hive，spark由于spark.py不支持clust（jar才支持，但是太麻烦了>_<）所以最终决定使用hive在hive中用create external table后可以一同指定partition和location，这样就可以直接在hadoop的原始数...
分类：
其他好文 时间：
2014-11-26 01:17:25
阅读次数：
210
3，Scala中的表达式实战 首先看一下Scala中优雅的条件的表达式： 接下来看一下while循环表达式： 下面看一下for条件表达式： 在for中也可以使用until： 如果想在条件表达式中筛选出1到10中所有偶数，可以采用下面...
分类：
其他好文 时间：
2014-11-25 23:56:48
阅读次数：
320
关于SQL和Hadoop的实现参考这里 MapReduce编程-自连接
这里用相同的原理，使用spark实现。本人也是刚学Scala，可能写的不好，还请指正。
object SelfUion {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("SelfUnion")
val sc ...
分类：
其他好文 时间：
2014-11-25 23:51:43
阅读次数：
303
本文由cmd markdown编辑，原始链接：https://www.zybuluo.com/jewes/note/35032RDD是什么？RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组 的区别是，RDD中的...
3，Scala中的表达式实战 首先看一下Scala中优雅的条件的表达式： 接下来看一下while循环表达式： 下面看一下for条件表达式： 在for中也可以使用until： 如果想在条件表达式中筛选出1到10中所有偶数，可以采用下面的写法：
分类：
其他好文 时间：
2014-11-25 22:51:59
阅读次数：
122
1. Win7下利用Intellij IDEA构建Spark开发环境前提：Intellij IDEA Community 免费版下载（最新版14.0.1），Scala插件下载（最新版scala-intellij-bin-1.1.2.zip）1> 安装Intellij IDEA Scala运行环境ht...
分类：
其他好文 时间：
2014-11-25 17:47:01
阅读次数：
613
前言 Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。 Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.8.1版本，这个版本是当前最新的版本，而且网...
分类：
移动开发 时间：
2014-11-25 16:42:51
阅读次数：
257
