Actions
The following table lists some of the common actions supported by Spark. Refer to the RDD API doc (Scala, Java, Python)
and pair RDD functions doc (Scala, Java)
for details.
Ac...
分类：
其他好文 时间：
2014-09-21 03:39:19
阅读次数：
279
Transformations
The following table lists some of the common transformations supported by Spark. Refer to the RDD API doc (Scala, Java, Python)
and pair RDD functions doc (Scala, Java)
for deta...
分类：
其他好文 时间：
2014-09-21 03:05:49
阅读次数：
305
# consumer offset commit 使用kafka的python api时遇到了offset回滚的问题，因为最初使用了autocommit参数，发现有时会重复取记录，发现autocommit是批量提交，并且有offset回滚的问题，具体原因未发现，解决方法...
分类：
其他好文 时间：
2014-09-21 02:23:20
阅读次数：
439
数组 / 映射 / 元组一、数组1、定长数组声明数组的两种形式：声明指定长度的数组 val 数组名= new Array[类型](数组长度) 提供数组初始值的数组，无需new关键字 Scala声明数组时，需要带有Array类名，且使用 () 来指明长度或提供初始值序列。在JVM中，Sca...
分类：
其他好文 时间：
2014-09-20 01:06:06
阅读次数：
253
最近用spray做点东西，刚开始入门，把doc大概过了一遍，最灵活的要数它的routing-DSL了。当然由于scala强大的特性，很多不同于Java的东西，源码看起来还是相当费劲的，尤其是对于我这种scala使用没多久的新手。 ...
分类：
其他好文 时间：
2014-09-19 15:47:36
阅读次数：
410
配置完成后保存退出并执行source命令使配置文件生效。Step3：运行IDEA并安装和配置IDEA的Scala开发插件：官方文档指出：我们进入IDEA的bin目录：此时，运行“idea.sh”出现如下界面：此时需要选择“Configure”进入IDEA的配置页面：选择“Plugins”，进入插件安装界面：此时点..
分类：
其他好文 时间：
2014-09-19 14:01:46
阅读次数：
285
配置完成后保存退出并执行source命令使配置文件生效。Step 3：运行IDEA并安装和配置IDEA的Scala开发插件：官方文档指出：我们进入IDEA的bin目录：此时，运行“idea.sh”出现如下界面：此时需要选择“Configure”进入IDEA的配置页面：选择“Plugins”，进入插件...
分类：
其他好文 时间：
2014-09-19 13:25:35
阅读次数：
220
一、基础1、变量val 标志符： 声明常量； 如，val answer = 1var 标志符：声明变量； 类型推断：变量的类型由scala根据初始化变量的表达式推断而来； 鼓励使用val； 注：声明变量时不做初始化会报错。明确类型： scala的变量或函数的类型总是写在变量或函数的后面。1 ...
分类：
其他好文 时间：
2014-09-19 01:10:14
阅读次数：
378
scala混合了面向对象和函数式的特征。在函数式的编程语言中，函数是可以像其他的数据类型一样被传递和操作。这对于想将详细动作传入给算法时变得非常有用。importscala.math._
valfun=ceil_/从技术上将_的作用是将ceil方法变成了函数
res=fun(num)/num=3.14,res=4
Array(3.14,..
分类：
其他好文 时间：
2014-09-18 16:45:25
阅读次数：
188
鸭子类型：“当看到一只鸟走起来像鸭子、游泳起来像鸭子、叫起来也像鸭子，那么这只鸟就可以被称为鸭子。” 一般在动态语言里面才有，因为静态语言是强类型的，会在编译期检查类型，很难实现。但是Scala作为一门s...
分类：
其他好文 时间：
2014-09-15 23:00:39
阅读次数：
415
