2，Scala函数特性编程实战 ? 当函数不带参数的使用，我们调用的时候可以省略括号： 接下来定义一个匿名函数、调用并运行： 在Scala总函数式一等公民?，所以我们可以把函数付给一个常： 另外一个特性是Scala函数...
分类：
其他好文 时间：
2014-11-24 22:47:05
阅读次数：
284
Spark调优本文系根据官方文档翻译而来，转载请注明本文链接 http://www.oschina.net/translate/spark-tuning?print数据序列化内存优化确定内存用量调整数据结构序列化RDD存储垃圾收集调整其他考虑因素并行化水平Reduce任务的内存用量Broadcast...
分类：
Web程序 时间：
2014-11-24 09:56:40
阅读次数：
335
spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs...
分类：
编程语言 时间：
2014-11-23 23:16:01
阅读次数：
396
1. Scala集合学习：http://blog.csdn.net/lyrebing/article/details/203622272.scala实现kmeans算法http://www.thinksaas.cn/group/topic/93852/3. Spark之Scala学习网站http:/...
分类：
其他好文 时间：
2014-11-23 23:09:07
阅读次数：
280
RDD（Resilient Distributed Datasets）弹性分布式数据集，是在集群应用中分享数据的一种高效，通用，容错的抽象，是Spark提供的最重要的抽象的概念，它是一种有容错机制的特殊集合，可以分布在集群的节点上，以函数式编操作集合的方式，进行各种并行操作。
RDD是只读的，不可变的数据集。RDD也是容错的，假如其中一个RDD坏掉，RDD中有记录之前的依赖关系，依赖关系中记录算...
分类：
其他好文 时间：
2014-11-23 21:44:22
阅读次数：
292
这篇blog介绍 Jackson 的特点和使用方法Jackson支持三种使用方法流API（streaming api Incremental parsing/generation）JsonParse reads, JsonGenerator writes高效和part 1 json的用法类似，不好用...
分类：
Web程序 时间：
2014-11-23 17:26:49
阅读次数：
212
以前总是用java写一些MapReduce程序现举一个例子使用Python通过Hadoop Streaming来实现Mapreduce。 任务描述： HDFS上有两个目录/a和/b，里面数据均有3列，第一列都是id，第二列是各自的业务类型(这里假设/a对应a，/b对应b)，第三列是一个jso...
分类：
编程语言 时间：
2014-11-23 13:07:40
阅读次数：
270
1，在命令行和Scala?IDE?for?Eclipse中动手体验Scala ? Scala一门基于JVM的面向对象和函数式编程相结合的静态语言，安装和运行Scala首先需要Java虚拟环境，直接到官方网站下载和安装Java即可： http://www.o...
分类：
其他好文 时间：
2014-11-22 23:24:37
阅读次数：
500
和分布式文件系统和NoSQL数据库相比而言，spark集群的安装配置还算是比较简单的...
分类：
其他好文 时间：
2014-11-22 23:09:26
阅读次数：
287
