7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;8,启动并验证Hadoop分布式集群第一...
分类：
其他好文 时间：
2014-10-16 17:50:52
阅读次数：
226
GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。
该技术包括两个单元：和Hadoop HDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统的MapReduce进行了扩展，为大数据处理情况提供了更好的性能。...
分类：
其他好文 时间：
2014-10-16 17:15:42
阅读次数：
235
ExtensibleMessagingandPresentProtocol可扩展通讯和表示协议功能:XMPP使用TCP传送XML流,做即时通讯官方网站:xmpp.org服务器环境:ejabberd和Openfireejabberd:安装简单Openfire:需要PHP环境(LAMP),集成了客户端(Spark)在macos上有集成好的PHP环境,但是需要配置,没有图形界面在m..
分类：
其他好文 时间：
2014-10-15 20:30:11
阅读次数：
240
一、修改Hadoop配置文件1.修改core-site.xml文件添加如下属性，让MapReduce作业可以使用Tachyon文件系统作为输入和输出<property>
<name>fs.tachyon.impl</name>
<value>tachyon.hadoop.TFS</value>
</property>2.配置hadoop-env.sh在hado..
分类：
其他好文 时间：
2014-10-15 16:36:41
阅读次数：
175
一、tachyon命令介绍#tachyon
Usage:tachyonCOMMAND
whereCOMMANDisoneof:
format[-s]格式化FormatTachyon(如果指定-s参数,表示在underfs不存在时进行)
bootstrap-conf生成一个配置文件，如果不存在
tfs命令行客户端
loadufs加载三、Tachyon命令行操作现有的底层文件系统到Tach..
分类：
其他好文 时间：
2014-10-15 16:22:51
阅读次数：
220
四、配置Master容错1.修改Tachyon配置[root@node1conf]#pwd/usr/local/tachyon/conf
[root@node1conf]#tailtachyon-env.sh
JAVA_HOME=/usr/java/default
exportTACHYON_MASTER_ADDRESS=node1
exportTACHYON_UNDERFS_ADDRESS=hdfs://node2:9000
-Dtachyon.master.journal.folder..
分类：
其他好文 时间：
2014-10-15 16:04:11
阅读次数：
252
一、安装zookeeper集群1.下载并解压zookeeper[root@node1soft]#tar-zxfzookeeper-3.4.5.tar.gz-C/usr/local/
[root@node1soft]#ln-s/usr/local/zookeeper-3.4.5//usr/local/zookeeper
[root@node1soft]#2.创建zookeeper数据目录[root@node1zookeeper]#pwd/usr/local/zookeeper
..
分类：
其他好文 时间：
2014-10-15 15:15:11
阅读次数：
237
一、配置scala环境1.实验环境Node1192.168.1.1master
Node2192.168.1.2worker
Node3192.168.1.3worker2.检查java环境（每个节点）#java-version
javaversion"1.7.0_05"
Java(TM)SERuntime
Environment(build1.7.0_05-b05)
JavaHotSpot(TM)64-Bit
ServerVM(build23.1-b03,mixedm..
分类：
其他好文 时间：
2014-10-15 15:11:31
阅读次数：
585
一、安装Hive1.下载并解压Hive[root@node1soft]#tar-zxfapache-hive-0.13.1-bin.tar.gz-C/usr/local/
[root@node1soft]#ln-s/usr/local/apache-hive-0.13.1-bin//usr/local/hive
[root@node1soft]#2.配置hive环境变量[root@node1soft]#cat/etc/profile.d/hive.sh
HIVE_HOME=/us..
分类：
其他好文 时间：
2014-10-15 14:36:51
阅读次数：
260
DAGScheduler面向stage的调度层，为job生成以stage组成的DAG，提交TaskSet给TaskScheduler运行。每个Stage内，都是独立的tasks，他们共同运行同一个compute function，享有同样的shuffledependencies。DAG在切分stag...
分类：
其他好文 时间：
2014-10-14 23:37:19
阅读次数：
344
