1.7 Spark Web 界面
每一个SparkContext发布一个web界面，默认端口是4040，它显示了应用程序的有用信息。这包括：
Ø 一系列的调度阶段和任务
Ø 对于RDD大小和内存使用的总结
Ø 环境信息
Ø 运行的执行器（executor）的信息
你可以通过浏览器访问http://:4040，当然，你必去先启动SparkContext。比如命令：./bin/sp...
分类：
Web程序 时间：
2014-07-28 16:35:43
阅读次数：
1584
Problem Description
As we all know, machine scheduling is a very classical problem in computer science and has been studied for a very long history. Scheduling problems differ widely in the nature of...
分类：
其他好文 时间：
2014-07-28 15:47:03
阅读次数：
308
Apache Spark MLlib是Apache Spark体系中重要的一块拼图：提供了机器学习的模块。不过，目前对此网上介绍的文章不是很多。拿KMeans来说，网上有些文章提供了一些示例程序，而这些程序基本和Apache Spark 官网上的程序片断类似：在得到训练模型后，几乎都没有展示如何使用该模型、程序执行流程、结果展示以及举例测试数据等部分。笔者根据Apache Spark官网上的程序片断，写了一个完整的调用MLlib KMeans库的测试程序，并成功在Spark 1.0 + Yarn 2.2 的...
分类：
其他好文 时间：
2014-07-28 00:01:39
阅读次数：
343
先上个效果图：在关于页面时，在点击邻居管理后，实现所在页面的提示，相当于文字导航。实现方法：js： 1 var a,b; 2 function admin_op(a,b){ 3 if(b==0){ 4 history.go(0) 5 return tr...
分类：
其他好文 时间：
2014-07-27 10:03:52
阅读次数：
207
Spark SQL 中Catalyst的核心优化器Optimizer源码剖析...
分类：
数据库 时间：
2014-07-26 02:17:36
阅读次数：
390
Tigase是一种XMPP服务器，可以作为采用XMPP协议的各种IM(Instant Messeging)工具（如Pandion、Spark等）的服务器。在Linux环境下安装Tigase的步骤如下：(1)下载安装文件到https://projects.tigase.org/projects/tig...
分类：
系统相关 时间：
2014-07-25 18:58:52
阅读次数：
733
（1）history查看一下最近的操作（2）last看一下系统状态http://blog.csdn.net/chaofanwei/article/details/11826567crash 意味着你的系统halt或者reboot 的时候，系统在syslog给出的标记是crashhttp://os.5...
分类：
系统相关 时间：
2014-07-25 14:03:11
阅读次数：
295
见明知意的文件名，还用我来介绍？？可以说我闲的蛋疼，反正我已经做了记录了，哈哈 ? sbin目录下的脚本文件 slaves.sh???????????????在所有定义在${SPARK_CONF_DIR}/slaves的机器上执行一个...
分类：
其他好文 时间：
2014-07-25 00:07:34
阅读次数：
241
使用！来调用过往命令!!重复执行上一条指令!a重复执行上一条以a为首的指令!nubmer重复执行上一条在history表中记录号码为number的指令!-number重复执行前第number条指令ailasabc=‘cdxxxxxxxxxxx/xxxxxxxx/xxxxxxxxxxxxx‘unaliasabc""将一串字符当成字符串来看，可以转译特殊字..
分类：
系统相关 时间：
2014-07-24 23:58:14
阅读次数：
515
在/etc/profile追加exportHISTORY_FILE=/var/log/history/userhistory.log
readonlyPROMPT_COMMAND=‘{date"+%y-%m-%d%T#####$(whoami|awk"{print\$1\"\"\$2\"\"\$NF}")####$(id|awk"{print\$1}")####$(history1|{readxcmd;echo"$cmd";})";}>>$HISTORY_FILE‘重读source/et..
分类：
系统相关 时间：
2014-07-24 23:54:14
阅读次数：
281
