今天在centos6.3上搭建了hadoop+hive＋spark系统，在运行/usr/local/spark-1.0.0/bin/spark-shell出现找不到hive相关的类，于是修改了spark-env.sh在spark_classpath里添加了hive的库路径exportSPARK_CLASSPATH=/usr/local/spark-1.0.0/lib_managed/jars/spark-assembly-1.0.0-..
分类：
其他好文 时间：
2014-08-28 15:00:30
阅读次数：
339
scala属于强类型语言，在指定变量类型时必须确定数据类型，即便scala拥有引以为傲的隐式推到，这某些场合也有些有心无力。例如：java同属强类型语言，但java可以进行类型强转。因此在进行面向接口编程时，借助类型强转，只要编码没有问题，就可以使用准备使用的class类。但在scala中，这条路就...
分类：
其他好文 时间：
2014-08-28 14:45:29
阅读次数：
192
前提你得安装有Hadoop 我的版本hadoop2.3-cdh5.1.01、下载maven包2、配置M2_HOME环境变量，配置maven 的bin目录到path路径3、export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCa...
分类：
其他好文 时间：
2014-08-27 18:37:18
阅读次数：
252
1.Tachyon简介Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的 Jobs/Queries以及框架都能...
分类：
其他好文 时间：
2014-08-27 18:32:08
阅读次数：
454
执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示： 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在，在我们刚刚构建的伪分布式模式下运行wordcount程序： 运行完成后我们查看一下输出的结...
分类：
其他好文 时间：
2014-08-27 13:13:48
阅读次数：
314
执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的...
分类：
其他好文 时间：
2014-08-27 12:49:47
阅读次数：
236
Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：基于文件系统的单点恢复(Single-Node Recovery with Loc...
分类：
其他好文 时间：
2014-08-26 19:00:56
阅读次数：
567
红色留着继续思考。问题背景： CCSWYB ，在云平台上模拟shell流程，在各个节点上分配fvcom计算任务。Spark程序流程： 从HDFS中读取tasklist.txt(每一行对应一个任务) 经过一些操作过后生成一个JavaPairRDD ，记作data，对data执行foreac...
分类：
其他好文 时间：
2014-08-26 01:47:25
阅读次数：
5885
本文就拟牛顿法L-BFGS的由来做一个简要的回顾，然后就其在spark mllib中的实现进行源码走读。
分类：
其他好文 时间：
2014-08-25 20:55:34
阅读次数：
2698
第四步：配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoo...
分类：
其他好文 时间：
2014-08-25 16:51:54
阅读次数：
267
