python(4)4.1 高阶函数：map/reducemap：实际上map也是一个函数，只不过他可以在参数里面包含别的函数。他有两种参数：第一种：函数（作用在后面要说的序列上），第二种：一个序列例如：map(f,[1,2,3,4,5]) 而这个函数 f 功能是把一个数字平方，那么就会输出一个Lis...
分类：
编程语言 时间：
2014-07-11 19:26:09
阅读次数：
244
Scala二十四点游戏(1):表达式计算(一)Scala二十四点游戏(2):表达式计算(二)Scala二十四点游戏(3):表达式计算(三)Scala二十四点游戏(4):算法之一Scala二十四点游戏(5):List简介Scala二十四点游戏(6):实现全排列Scala二十四点游戏(7):穷举可能的表达式Scala二十四点游戏(8): 计算24的算法Scala二十四点游戏(9): 完整的代码和计算结...
分类：
其他好文 时间：
2014-07-08 20:33:44
阅读次数：
218
近期开始学习swift，以后mac和ios开发就指望它，以前学oc半途而废了，主要原因是oc等语法实在能适应，现在有swift了，语法有js，scala，python，c＋＋，oc等语言的影子，重新开始学习吧！目标是今年彻底搞定ios和mac开发...
分类：
其他好文 时间：
2014-07-08 13:37:59
阅读次数：
176
欢迎转载，转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套sp...
分类：
其他好文 时间：
2014-07-07 14:29:15
阅读次数：
205
欢迎转载，转载请注明出处，徽沪一郎。概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala安装sbt安装java启动spark-shell单机模式运...
分类：
其他好文 时间：
2014-07-07 14:14:34
阅读次数：
231
scala中有9大基本类型:Byte 、Short 、Int 、Long、 Char 、String 、Float、 Double 、Boolean与java的基本类型看起来基本是一致的，但实际上除了String，其他的所有的类型，都是使用scala包下的成员。scala虽然是强类型的语言，但是通过...
分类：
其他好文 时间：
2014-07-06 15:08:30
阅读次数：
175
Scala是一门运行在jvm上的多范式语言，作为一个java程序员，使用Scala来写写程序，既不用担心会没有java强大的库支持，又能快速地写出简短强悍的代码，除此之外scala还为我们提供了强大的并发支持，Let's love it! 安装 下面来看看如何安装它（在此之前，确保已经安装好了...
分类：
其他好文 时间：
2014-07-05 20:44:21
阅读次数：
223
GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
函数和闭包1 成员方法java中函数存在的方式，我们给一个类追加一个功能的途径就是给他追加一个方法。2 本地方法所谓的本地方法就是存在于一个方法内部的方法。如果一个类中有一个方法是private的，且只有一个方法使用到他，那么这个方法完全可以被定义为一个本地方法3 函数式一等公民方法分为：1 方法名...
分类：
其他好文 时间：
2014-07-02 21:29:31
阅读次数：
217
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
