一、配置scala环境1.实验环境Node1192.168.1.1master
Node2192.168.1.2worker
Node3192.168.1.3worker2.检查java环境（每个节点）#java-version
javaversion"1.7.0_05"
Java(TM)SERuntime
Environment(build1.7.0_05-b05)
JavaHotSpot(TM)64-Bit
ServerVM(build23.1-b03,mixedm..
分类：
其他好文 时间：
2014-10-15 15:11:31
阅读次数：
585
一、安装Hive1.下载并解压Hive[root@node1soft]#tar-zxfapache-hive-0.13.1-bin.tar.gz-C/usr/local/
[root@node1soft]#ln-s/usr/local/apache-hive-0.13.1-bin//usr/local/hive
[root@node1soft]#2.配置hive环境变量[root@node1soft]#cat/etc/profile.d/hive.sh
HIVE_HOME=/us..
分类：
其他好文 时间：
2014-10-15 14:36:51
阅读次数：
260
DAGScheduler面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler运行。每个Stage内，都是独立的tasks，他们共同运行同一个compute function，享有同样的shuffledependencies。DAG在切分stag...
分类：
其他好文 时间：
2014-10-14 23:37:19
阅读次数：
344
一、Tachyon介绍Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的Jobs/Queries以及框架都能内存的速度来访..
分类：
其他好文 时间：
2014-10-14 21:33:59
阅读次数：
638
一、配置系统环境1.清除默认防火墙规则#serviceiptablessave
iptables：将防火墙规则保存到/etc/sysconfig/iptables：[确定]2.关闭Selinux#cat/etc/sysconfig/selinux|grepSELINUX|grep-v^#
SELINUX=disabled
SELINUXTYPE=targeted
#3.配置ip地址#cat
/etc/sysconfig/network-s..
分类：
其他好文 时间：
2014-10-14 21:32:29
阅读次数：
298
一、Tachyon配置说明Tachyon配置参数分为4类：Master,Worker,Common(MasterandWorker),andUserconfigurations。环境变量配置文件在$TACHYON_HOME/conf/tachyon-env.sh，这些变量将会被TACHYON_JAVA_OPTS调用，这个文件的配置模版为$TACHYON_HOME/conf/tachyon-env.sh.template..
分类：
其他好文 时间：
2014-10-14 20:55:19
阅读次数：
242
一、环境配置1.集群环境主机名IP角色
Node1192.168.1.1TachyonMaster、TachyonWorker
Node2192.168.1.2TachyonWorker
Node3192.168.1.3TachyonWorker2.每个节点上清空iptables规则#serviceiptablessave
iptables：将防火墙规则保存到/etc/sysconfig/iptables：[确定]
#3.每个节..
分类：
其他好文 时间：
2014-10-14 20:54:10
阅读次数：
174
“发现最有正能量的网络达人”，Spark开发者大赛火热进行！ ????? 2014年9月30日，2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒...
分类：
其他好文 时间：
2014-10-14 20:39:29
阅读次数：
249
一、主页描述了当前系统状态信息，包括Tachyon汇总状态、集群汇总状态、和节点汇总状态。二、系统配置查看页面三、文件系统查看页面四、查看在内存中的文件页面
分类：
Web程序 时间：
2014-10-14 19:50:00
阅读次数：
205
“发现最有正能量的网络达人”，Spark开发者大赛火热进行！2014年9月30日，2014Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从..
分类：
其他好文 时间：
2014-10-14 19:30:40
阅读次数：
275
