scala与java之间的关系，我认为可以用一句话来开头：scala来源于java，但又高于java。scala的设计者Martin Odersky就是一个JAVA控，这位牛人设计了javac和编写了jdk中的通用代码。可以说java语言本身就是Martin Odersky一步一步看着长大的。所以s...
分类：
编程语言 时间：
2014-08-28 22:26:56
阅读次数：
393
scala 最吸引人的一点就是actor并发编程了。但是纵观scala官方文档，baidu文档，IBM文档都写的通过字符串传呀传，如果用作actor编程说明当然没有问题。但是在正式开放中，光传字符串就显的势单力薄了。所以如何传对象呢？先看通过字符串传递消息的模型：消息接收类：import scala...
分类：
其他好文 时间：
2014-08-28 17:48:45
阅读次数：
227
在VMWare 中准备第二、第三台运行Ubuntu系统的机器； ? 在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。 与安装第一台Ubuntu机器不同的几点是： 第一点：我们把第二、三台...
分类：
其他好文 时间：
2014-08-28 17:04:31
阅读次数：
264
今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类，于是修改了spark-env.sh在spark_classpath里添加了hive的库路径exportSPARK_CLASSPATH=/usr/local/spark-1.0.0/lib_managed/jars/spark-assembly-1.0.0-..
分类：
其他好文 时间：
2014-08-28 15:00:30
阅读次数：
339
scala属于强类型语言，在指定变量类型时必须确定数据类型，即便scala拥有引以为傲的隐式推到，这某些场合也有些有心无力。例如：java同属强类型语言，但java可以进行类型强转。因此在进行面向接口编程时，借助类型强转，只要编码没有问题，就可以使用准备使用的class类。但在scala中，这条路就...
分类：
其他好文 时间：
2014-08-28 14:45:29
阅读次数：
192
前提你得安装有Hadoop 我的版本hadoop2.3-cdh5.1.01、下载maven包2、配置M2_HOME环境变量，配置maven 的bin目录到path路径3、export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCa...
分类：
其他好文 时间：
2014-08-27 18:37:18
阅读次数：
252
1.Tachyon简介Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的 Jobs/Queries以及框架都能...
分类：
其他好文 时间：
2014-08-27 18:32:08
阅读次数：
454
执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示： 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在，在我们刚刚构建的伪分布式模式下运行wordcount程序： 运行完成后我们查看一下输出的结...
分类：
其他好文 时间：
2014-08-27 13:13:48
阅读次数：
314
执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的...
分类：
其他好文 时间：
2014-08-27 12:49:47
阅读次数：
236
Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：基于文件系统的单点恢复(Single-Node Recovery with Loc...
分类：
其他好文 时间：
2014-08-26 19:00:56
阅读次数：
567
