Spark已正式申请加入Apache孵化器，从灵机一闪的实验室“电火花”成长为大数据技术平台中异军突起的新锐。本文主要讲述Spark的设计思想。Spark如其名，展现了大数据不常见的“电光石火”。具体特点概括为“轻、快...
分类：
其他好文 时间：
2014-08-15 14:53:59
阅读次数：
338
一、集群启动过程--启动Master$SPARK_HOME/sbin/start-master.shstart-master.sh脚本关键内容：spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MAST...
分类：
其他好文 时间：
2014-08-14 19:36:09
阅读次数：
387
安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中...
分类：
其他好文 时间：
2014-08-14 13:50:18
阅读次数：
879
王家林 Spark公开课大讲坛第一期：Spark把云计算大数据速度提高100倍以上 http://edu.51cto.com/lesson/id-30816.html
Spark实战高手之路 系列书籍 http://down.51cto.com/tag-Spark%E6%95%99...
分类：
数据库 时间：
2014-08-14 10:32:38
阅读次数：
218
快刀初试：Spark GraphX在淘宝的实践作者：明风（本文由团队中梧苇和我一起撰写，并由团队中的林岳，岩岫，世仪等多人Review，发表于程序员的8月刊，由于篇幅原因，略作删减，本文为完整版） 对于网络科学而言，世间万物都可以抽象成点，而事物之间的关系都可以抽象成边，并根据不同的应用场景，...
分类：
其他好文 时间：
2014-08-13 22:20:27
阅读次数：
824
spark版本：spark-1.0.2-bin-hadoop2.tgz下载链接：http://www.apache.org/dist/spark/spark-1.0.2/Scala版本：scala-2.10.4.tgz下载链接：http://www.scala-lang.org/files/arch...
分类：
其他好文 时间：
2014-08-13 17:48:06
阅读次数：
156
安装Java1.打开终端，建立新目录“/usr/lib/java”，如下图所示：2.把下载的JDK文件移到刚刚创建的“/usr/lib/java”中，如下图所示3.解压JDK文件，如下图所示：解压完成的文件目录如下图所示：4.修改环境变量:进入如下图所示的配置文件中：按下“i”进入INSERT模式，...
分类：
其他好文 时间：
2014-08-13 12:30:46
阅读次数：
211
Spark1.0.x入门指南 1 节点说明 ? IP Role 192.168.1.111 ActiveNameNode 192.168.1.112 StandbyNameNode,Master,Worker 192.168.1.113 DataNode,Master,Worker 192.168.1.114 DataNode,Worker HDFS集群和Spark...
分类：
其他好文 时间：
2014-08-12 17:45:25
阅读次数：
278
