SparkSql
允许spark执行sql语句，hivesql,scala的描述的基于关系的查询。其实是封装了新的RDD-SchemaRDD，由行对象组成，有一个模式描述每列的数据类型。SchemaRDD与关系型数据库的表很相似，可以通过存在的RDD/Parquet文件/Json文件/用Hive中的数据HiveSql创建。其中相关功能入口是SQLContext()及其子类。
如HiveCon...
分类：
数据库 时间：
2016-05-12 19:53:55
阅读次数：
240
Scala不可变集合Scala不可变集合的设计目标是提供高效又安全的实现。这些集合中的大部分都是用高级技巧来在集合的不同版本之间“共享”内存。其中较长使用到的是Vector和List。
在一般的编程任务中，不可变集合有很多超出可变集合的优点。尤其重要的一点是不可变集合可以在多线程之中共享而无需加锁。Vector内部结构Scala的Vector实现为一组嵌套数组，在分割和连接时非常有效率。适用于大部...
分类：
其他好文 时间：
2016-05-12 11:59:40
阅读次数：
183
IDEA Eclipse
下载scala
下载地址
scala.msi
scala环境变量配置
（1）设置SCALA-HOME变量：如图，单击新建，在变量名一栏输入： SCALA-HOME 变量值一栏输入： D:\Program Files\scala 也就是scala的安装目录，根据个人情况有所不同，如果安装在E盘，将“D”改成“E”即可。...
分类：
其他好文 时间：
2016-05-07 07:47:52
阅读次数：
143
LINUX系统下Java和Scala的环境配置 最近，笔者在研究一个有关“自然语言处理”的项目，在这个项目中，需要我们用Spark进行编程。而Spark内核是由Scala语言开发的，所以在使用Spark之前，我们必须配置好Scala，而Scala又是运行在JVM上的，所以在配置Scala之前，先要配 ...
分类：
编程语言 时间：
2016-05-06 20:30:45
阅读次数：
227
Part_1: Windows下安装 1. 保证电脑中已经安装1.6以后版本的jdk 2. 通过图片中的地址下载scala,可得到直接安装的msi文件,点击下一步安装,直到完成 安装完成后,重新打开一个cmd窗口,查看是否可以获得scala的版本信息 3. 可能安装上面的安装方法后,输入scala ...
分类：
其他好文 时间：
2016-05-06 19:12:06
阅读次数：
151
java switch-case（对值）
scala不仅对值，而且可以对类型，集合（map，list元数据匹配），object，class
scala大量使用模式匹配（match case）Scala的模式匹配，与Java的switch case的区别：1.不仅可以匹配值，可以匹配类型2.可以匹配数组的集合
相同数组、长度相同的数组、以某个元素开头的数组
对于长度相同的数组，会进行自动变量赋...
分类：
其他好文 时间：
2016-05-06 14:58:07
阅读次数：
212
1.map,flatmap,filter用的是scala的内部实现。 2.cogroup rdd1:[(1,2,3),(2,3,4)] rdd2:[(1,3,5),(2,4,6)] rdd1.cogroup(rdd2) 对rdd1调用cogroup: rdd1->cogroup(rdd2)->CoG ...
分类：
其他好文 时间：
2016-04-21 16:40:02
阅读次数：
156
最近，一直在研究一个有关“自然语言处理”的项目，在这个项目中，我们需要利用Spark进行编程，实现算法。而Spark内核是由Scala语言开发的，所以在使用Spark之前，我们必须配置好Scala，而Scala又是运行在JVM上的，所以在配置Scala之前，先要配置好JDK。下面是我个人的一些总结。 ...
分类：
编程语言 时间：
2016-04-08 14:33:35
阅读次数：
194
概述Scala的集合类可以从三个维度进行切分：
可变与不可变集合（Immutable and mutable collections）
静态与延迟加载集合 （Eager and delayed evaluation )
串行与并行计算集合（Sequential and parallel evaluation ）
关于第一个维度我想我们不需要再介绍了。关于第二维度，是这样解释的， 首先我们来解释一个概...
分类：
其他好文 时间：
2016-04-07 15:58:25
阅读次数：
236
前言首先，我们要在一开始强调一件很重要的事：Scala的模式匹配发生在但绝不仅限于发生在match case语句块中，这是Scala模式匹配之所以重要且有用的一个关键因素！我们会在文章的后半部分详细地讨论这一点。模式匹配的种类在Scala中一共有如下几种类型的模式匹配：
通配符匹配（Wildcard Pattern Matching ）
常量匹配 （Constant Pattern Matching...
分类：
其他好文 时间：
2016-04-04 18:15:34
阅读次数：
168
