第四步修改配置文件slaves，如下所示：
我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：
第五步修改配置文件core-site.xml，如下所示：
把core-site.xml文件的内容修改为：
上述是core-site.xml文件的最小化配置，core-si...
分类：
其他好文 时间：
2014-10-10 12:26:24
阅读次数：
148
在介绍sparkSQL之前，我们首先来看看，传统的关系型数据库是怎么运行的。当我们提交了一个很简单的查询：
SELECT a1,a2,a3 FROM tableA Where condition
可以看得出来，该语句是由Projection（a1，a2，a3）、Data Source（tableA）、Filter（condition）组成，分别对应sql查询过程中的Result...
分类：
数据库 时间：
2014-10-10 10:48:14
阅读次数：
2980
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在hadoop目录下按照如下命令创建文件夹：接下..
分类：
其他好文 时间：
2014-10-09 20:58:38
阅读次数：
216
PageRank算法是Google的核心搜索算法，在所有链接型文档搜索中有极大用处，而且在我们的各种关联系统中都有好的用法，比如专家评分系统，微博搜索/排名,SNS系统等。 PageRank算法的依据或思想： 1，被重要的网页链接的越多（外链） ，此网页就越重要 2，此网页对外的链接越少越重要 这两...
分类：
编程语言 时间：
2014-10-09 18:59:37
阅读次数：
260
项目中实现的html5断点续传。使用spark-md5.js计算文件MD5值，resumable.js和file api实现断点续传。后台使用java接收文件流，不支持html5的浏览器使用插件进行断点续传。以下是html5的demo：
分类：
Web程序 时间：
2014-10-09 17:27:28
阅读次数：
344
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压： 修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令...
分类：
其他好文 时间：
2014-10-09 17:16:48
阅读次数：
168
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：
修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。
接下来在hadoop目录下按照如下命令创建文件夹：
\接下来开始...
分类：
其他好文 时间：
2014-10-09 16:17:18
阅读次数：
181
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在h...
分类：
其他好文 时间：
2014-10-09 15:57:48
阅读次数：
179
本文用实例介绍Spark中RDD和MapReduce相关的API。...
1.环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive：0.11.0JDK:1.7.0_60Spark:1.1.0（内置SparkSQL）Scala:2.11.22.Spark集群规划账...
分类：
数据库 时间：
2014-10-09 01:49:27
阅读次数：
306
