一、集群启动过程--启动Master$SPARK_HOME/sbin/start-master.shstart-master.sh脚本关键内容：spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MAST...
分类：
其他好文 时间：
2014-08-14 19:36:09
阅读次数：
387
安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中...
分类：
其他好文 时间：
2014-08-14 13:50:18
阅读次数：
879
1、Async library ? ? ?SIP-14 Futures and Promises ? ? ?http://docs.scala-lang.org/sips/completed/futures-promises.html ? ? ?http://en.wikipedia.org/wiki/Futures_and_promises 2、Akka ? ? ...
分类：
其他好文 时间：
2014-08-14 11:06:58
阅读次数：
200
王家林 Spark公开课大讲坛第一期：Spark把云计算大数据速度提高100倍以上 http://edu.51cto.com/lesson/id-30816.html
Spark实战高手之路 系列书籍 http://down.51cto.com/tag-Spark%E6%95%99...
分类：
数据库 时间：
2014-08-14 10:32:38
阅读次数：
218
REPL
在Scala中的书籍中会提及REPL，REPL(Read-Eval-Print
Loop)；这被称为“读取-求值-打印”循环。
不带参数的Scala方法通常不使用圆括号，例如，StringOps类的API显示它有一个distinct方法，不带()，其作用是获取字符串中不重复的字符。调用如下： print("hello".distinct);
Scaladoc
...
分类：
其他好文 时间：
2014-08-13 22:33:57
阅读次数：
281
快刀初试：Spark GraphX在淘宝的实践作者：明风（本文由团队中梧苇和我一起撰写，并由团队中的林岳，岩岫，世仪等多人Review，发表于程序员的8月刊，由于篇幅原因，略作删减，本文为完整版） 对于网络科学而言，世间万物都可以抽象成点，而事物之间的关系都可以抽象成边，并根据不同的应用场景，...
分类：
其他好文 时间：
2014-08-13 22:20:27
阅读次数：
824
spark版本：spark-1.0.2-bin-hadoop2.tgz下载链接：http://www.apache.org/dist/spark/spark-1.0.2/Scala版本：scala-2.10.4.tgz下载链接：http://www.scala-lang.org/files/arch...
分类：
其他好文 时间：
2014-08-13 17:48:06
阅读次数：
156
安装Java1.打开终端，建立新目录“/usr/lib/java”，如下图所示：2.把下载的JDK文件移到刚刚创建的“/usr/lib/java”中，如下图所示3.解压JDK文件，如下图所示：解压完成的文件目录如下图所示：4.修改环境变量:进入如下图所示的配置文件中：按下“i”进入INSERT模式，...
分类：
其他好文 时间：
2014-08-13 12:30:46
阅读次数：
211
设计应用的一个方面是规划HTTP请求的URL规范，超链接，HTTP表单以及可能的公用API接口。在Play这是通过路由配置，然后在控制器中实现相应的接口。Play应用中的路由配置可以Controller类构成了MVC框架中的控制层，如下图所示：在Play应用中Controller为定义了HTTP接口的Scala类，而你的路由配置决定了给定的HTTP请求调用哪个Controller中定义的方法，这些...
分类：
Web程序 时间：
2014-08-13 10:33:35
阅读次数：
217
