欢迎转载，转载请注明出处，徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识继续生效，而无须去学什么scala或其它script.一般来说任意一个sql子系统都需要有parser,op...
分类：
数据库 时间：
2014-07-07 14:34:40
阅读次数：
396
欢迎转载，转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套sp...
分类：
其他好文 时间：
2014-07-07 14:29:15
阅读次数：
205
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
后来我发现在eclipse的Preferences -> Android -> Build中有一项“Skip packaging and dexing until export or launch....”，原来这个选项默认是被勾选的，这个选项的意思是“跳过packing和dexing，直到expo...
分类：
移动开发 时间：
2014-07-06 19:43:57
阅读次数：
203
scala中有9大基本类型:Byte 、Short 、Int 、Long、 Char 、String 、Float、 Double 、Boolean与java的基本类型看起来基本是一致的，但实际上除了String，其他的所有的类型，都是使用scala包下的成员。scala虽然是强类型的语言，但是通过...
分类：
其他好文 时间：
2014-07-06 15:08:30
阅读次数：
175
Scala是一门运行在jvm上的多范式语言，作为一个java程序员，使用Scala来写写程序，既不用担心会没有java强大的库支持，又能快速地写出简短强悍的代码，除此之外scala还为我们提供了强大的并发支持，Let's love it! 安装 下面来看看如何安装它（在此之前，确保已经安装好了...
分类：
其他好文 时间：
2014-07-05 20:44:21
阅读次数：
223
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
函数和闭包1 成员方法java中函数存在的方式，我们给一个类追加一个功能的途径就是给他追加一个方法。2 本地方法所谓的本地方法就是存在于一个方法内部的方法。如果一个类中有一个方法是private的，且只有一个方法使用到他，那么这个方法完全可以被定义为一个本地方法3 函数式一等公民方法分为：1 方法名...
分类：
其他好文 时间：
2014-07-02 21:29:31
阅读次数：
217
Lua提供了一组传统的，小巧的控制结构，包括用于条件执行的if，用于迭代的while、repeat和for。所有的控制结构都有一个现实的终止符号：if for while 都以end结尾，repeat以until作为结尾。控制结构中的条件表达式可以使任何的值，Lua将所有false和nil的值视为“...
分类：
其他好文 时间：
2014-07-01 12:41:38
阅读次数：
253
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
