前言
今天Spark终于跨出了里程碑的一步，1.0.0版本的发布标志着Spark已经进入1.0时代。1.0.0版本不仅加入了很多新特性，并且提供了更好的API支持。Spark SQL作为一个新的组件加入，支持在Spark上存储和操作结构化的数据。已有的标准库比如ML、Streaming和GraphX也得到了很大程度上的增强，对Spark和Python的接口也变得更稳定。以下是几个主要的改进点...
分类：
其他好文 时间：
2014-06-03 00:43:41
阅读次数：
269
这两天因为工作需要，在写一些vbs的脚本，才知道，vbs不能像其他可执行文件一样，在 需要提升访问权限时，弹出UAC窗口，那么，如何通过UAC提升vbs脚本的访问权限呢？
查了一些资料，将结果整理一下：
第一种：
If WScript.Arguments.length =0 Then
Set objShell = CreateObject("Shell.Application")
'...
分类：
其他好文 时间：
2014-06-03 00:18:37
阅读次数：
305
参考：lunar1983的专栏 实现：从给定目录树中grep出含制定字符串的行，并给出所在路径
代码如下所示： #！/bin/sh -if [ $# -ne 2 ] then echo "usage traverse " exitfi{function
ergodic(){for file in `...
分类：
系统相关 时间：
2014-06-02 17:31:29
阅读次数：
395
今天才发现原来位置变量也可以玩的这么爽！！这是使用位置变量进行文件目录备份：#!/bin/bashDATE=`date +%F` //日期以年月日输出tar
czf $1.$DATE.tar.gz $1 > /dev/null 2>> /opt/$1.bak.log
//打包$1变量包，将错误追加到...
分类：
其他好文 时间：
2014-06-02 17:28:52
阅读次数：
264
#!/bin/bashfunction myfun(){ echo "echo result"
return 0}returnValue=$(myfun)echo "${returnValue}"这里returnValue得到的并不是0,而是"echo
result",想要得到funct...
分类：
其他好文 时间：
2014-06-02 17:19:17
阅读次数：
190
前段时间看了下scala做了下笔记，为后续看spark做点准备，笔记内容见图片。...
分类：
其他好文 时间：
2014-06-01 15:35:40
阅读次数：
182
今天遇到一个问题，在终端里运行newLISP脚本，一切正常，移动到crontab中就不行。即便crontab -e命令运行在同一个用户下，还是有问题。由于newLISP脚本要用到hive和hadoop，估计是环境变量的问题。所以先用newLISP shell运行(env)命令，将当前环境变量记录到文件evn.lsp中。然后在newLISP脚本中加载之。下面是env.lsp文件部分内容：(set '...
分类：
其他好文 时间：
2014-06-01 10:26:57
阅读次数：
330
昨晚早早跪了，身体太累了，根本吃不消CF了，早上起来继续刷一题！Then,写写python，shell,基本又一天。
题目还是中文题～！
思路：一开始看起来这题目有dfs，但这个矩阵貌似太大了，dfs不敢碰，还是老老实实dp吧，我的做法是，先刷掉最第一列，因为第一列只能从左上往下，then,第i行第j列应该就是dp[i][j]=max(dp[i-1][j],dp[i][k] )+dp[i]...
分类：
其他好文 时间：
2014-06-01 09:49:34
阅读次数：
238
就在昨天，北京时间5月30日20点多。Spark 1.0.0终于发布了：Spark 1.0.0 released
根据官网描述，Spark 1.0.0支持SQL编写：Spark SQL Programming Guide
个人觉得这个功能对Hive的市场的影响很小，但对Shark冲击很大，就像win7和winXP的关系，自相残杀嘛?
这么着急的发布1.x 版是商业行为还是货真价实的体现，让我们拭目以待吧~~~~
本文是CSDN-撸大湿原创，如要转载请注明出处，谢谢：http://blog.csdn.net...
分类：
其他好文 时间：
2014-06-01 08:55:43
阅读次数：
460
