本文主要介绍了Spark SQL里目前的CLI实现，代码之后肯定会有不少变动，所以我关注的是比较核心的逻辑。主要是对比了Hive CLI的实现方式，比较Spark SQL在哪块地方做了修改，哪些地方与Hive CLI是保持一致的。
基本上Spark SQL在CLI这块的实现很靠近Hive Service项目里的CLI模块，主要类继承体系、执行逻辑差不多都一样。Spark SQL修改的关键逻辑在CLIService内的SessionManager内的OperationManager里，将非元数据查询操作的q...
分类：
数据库 时间：
2014-08-05 00:44:58
阅读次数：
939
链接：http://poj.org/problem?id=1789
题意：卡车公司有悠久的历史，它的每一种卡车都有一个唯一的字符串来表示，长度为7，它的所有卡车（除了第一辆）都是由以前的卡车派生出来的。现在一些砖家想研究这些卡车的历史，他们定义了卡车类型编码的距离：卡车编码字符串（长度7）相同位置字符不同的个数。比如一个卡车编码是aaaaaaa，另一个是bbaaaaa，则他们的距离是2,。他们又...
分类：
其他好文 时间：
2014-08-04 21:36:48
阅读次数：
236
如果你经常使用 Linux 命令行，那么使用 history（历史）命令可以有效地提升你的效率。本文将通过实例的方式向你介绍 history 命令的 15 个用法。使用 HISTTIMEFORMAT 显示时间戳当你从命令行执行 history 命令后，通常只会显示已执行命令的序号和命令本身。如果你想...
分类：
系统相关 时间：
2014-08-04 20:42:47
阅读次数：
374
【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂
分类：
其他好文 时间：
2014-08-04 17:08:57
阅读次数：
211
1 概述
Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。
在部署和运行Spark Application的过程中，如果不注意一些小的细节，也许会导致一些问题的出现。
2 防火墙
部署好Spark...
分类：
其他好文 时间：
2014-08-04 14:23:27
阅读次数：
297
1. 查看docker信息（version、info）
# 查看docker版本
$docker version
# 显示docker系统的信息
$docker info
2. 对image的操作（search、pull、images、rmi、history）
# 检索image
$docker search image_name
# 下载image
$docker pull ...
分类：
其他好文 时间：
2014-08-04 14:19:37
阅读次数：
224
在Eclipse里利用Sbt构建开发Scala程序的一般步骤，并用实例讲解了整个流程。...
分类：
系统相关 时间：
2014-08-04 02:03:06
阅读次数：
476
1、创建项目sp
create new project->scala->NOT SBT->next->设置项目名称'sp'
2、导入相关jar包
File->Project Structure->Libraries->点绿色'+'->java->找到spark-assembly-1.0.0-hadoop2.2.0.jar->OK
按照类似的方法导入scala-compiler.jar,...
分类：
其他好文 时间：
2014-08-03 20:39:35
阅读次数：
262
Apache Crunch是FlumeJava的实现，为不太方便直接开发和使用的MapReduce程序，开发一套MR流水线，具备数据表示模型，提供基础原语和高级原语，根据底层执行引擎对MR Job的执行进行优化。从分布式计算角度看，Crunch提供的许多计算原语，可以在Spark、Hive、Pig等地方找到很多相似之处，而本身的数据读写，序列化处理，分组、排序、聚合的实现，类似MapReduce各阶段的拆分都可以在Hadoop里找到影子。
本文介绍Crunch在数据表示模型、操作原语、序列化处理方面的设计和...
分类：
其他好文 时间：
2014-08-03 18:02:06
阅读次数：
267
一、命令历史history命令主要用于显示历史指令记录内容,下达历史纪录中的指令。命令历史保存的条数：环境变量：HISTSIZE用户退出时命令历史的持久保存位置：环境变量：HISTFILE，通常默认为用户家目录下的.bash_history此文件中可保存的最大数目：环境变量：HISTFILESIZE用法：..
分类：
其他好文 时间：
2014-08-03 15:26:36
阅读次数：
276
