在本机（Windows 8）上安装spark玩一玩，Spark的Quick Start上没有指明具体步骤，自己Build好了之后把步骤记录一下。 首先，到Spark的官网上下载Spark的压缩包，然后解压缩到本地文件夹。我下的是Spark 1.1.0，目...
结束historyserver的命令如下所示： ? 第四步：验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录，创建过程如下所示： Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的...
分类：
其他好文 时间：
2014-11-13 13:10:19
阅读次数：
166
当我们在运行作业的过程中也可以查看Web控制台的信息：此时发现了一个作业ID，点击进入可以查看作业进一步的信息：进一步看通过Web控制台看SparkWorker1中的Container中的运行信息：刷新Web控制台：
分类：
其他好文 时间：
2014-11-12 22:54:40
阅读次数：
241
大数据“火”的有段日子了，原来打算学习hadoop……后知道spark要比hadoop更牛，故而转学spark。其原码为scala所写，为了更好的研究spark，故又开始学习scala.将自己所学记录在此，不为点赞，只为加深记忆，加深理解…不是都说写一遍等于读十遍嘛……1、基本类型： Byte...
分类：
其他好文 时间：
2014-11-12 22:40:41
阅读次数：
257
目前，SPARK在大数据处理领域十分流行。尤其是对于大规模数据集上的机器学习算法，SPARK更具有优势。一下初步介绍SPARK在linux中的部署与使用，以及其中聚类算法的实现。...
分类：
编程语言 时间：
2014-11-12 21:21:04
阅读次数：
264
进入 $HADOOP/bin一.文件操作文件操作 类似于正常的linux操作前面加上“hdfs dfs -”前缀也可以写成hadoop而不用hdfs,但终端中显示Use of this script to execute hdfs command is deprecated.Instead use ...
分类：
其他好文 时间：
2014-11-11 18:42:45
阅读次数：
226
笔记：在配置好了spark后，如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves，将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
分类：
其他好文 时间：
2014-11-11 14:08:26
阅读次数：
589
1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左側排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模...
分类：
编程语言 时间：
2014-11-10 23:02:16
阅读次数：
289
1、同步时钟自动同步crontab -e输入如下内容 01*** /usr/sbin/ntpdate us.pool.ntp.org2、配置主机名gedit /etc/sysconfig/network 修改主机名如下NETWORKING=yes #启动网络NETWORKING_IPV6=noHOS...
分类：
其他好文 时间：
2014-11-10 21:45:00
阅读次数：
201
用到的软件：Hadoop-2.4.0、scala-2.10.4、spark-1.1.0一、预备工作配好ssh二、配置工作首先配置Hadoop 这个可以参考官方网站电接点配置http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-...
分类：
其他好文 时间：
2014-11-10 11:23:08
阅读次数：
183
