1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an...
分类：
数据库 时间：
2015-12-31 12:53:47
阅读次数：
970
Don’t Repeat Yourself Don’t Repeat Yourself，这是程序员修炼之道中的经典名言。源代码版本管理对程序员来说是非常重要的工作。因为它让你能够回到过去，而不用做重复的工作。比调试代码更令人痛苦的是你回不到你之前的版本的状态，而且你也记不得到底修改了哪些地方，源代码...
分类：
其他好文 时间：
2015-12-29 07:37:34
阅读次数：
160
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-12-28 22:09:41
阅读次数：
246
1.类，对象和方法的概念类是对象的独特表现，每个对象包含各自的私有信息，方法是改变和提供访问的这些数据的手段。因此，objective-c 采用特定的语法对类和实例应用方法：［classOrInstance method］;或者理解为消息的传递和接受［receiver message］;实例如下：1...
分类：
移动开发 时间：
2015-12-06 19:06:41
阅读次数：
162
作者：周志湖
微信号：zhouzhihubeyond本节为下一节Kafka与Spark Streaming做铺垫主要内容1.kafka 集群搭建1. kafka 集群搭建
kafka 安装与配置到下面的地址下载：Scala 2.10 - kafka_2.10-0.8.2.1.tgz
http://kafka.apache.org/downloads.html
下载完成后，使用命令
tar...
分类：
其他好文 时间：
2015-12-03 00:49:36
阅读次数：
408
初次想到写博客，正好笔者想学习ios 相关工作，因此记录下学历历程，方便自己日后回忆复习，同时也可以和喜欢ios 的同学分享我的学历过程。因为笔者之前从事c／c++语言相关的开发，因此，一些c语言基础性的知识此处省略。1. 实现如何用终端编译执行programadmin $ clang -fobjc...
分类：
移动开发 时间：
2015-12-02 00:29:09
阅读次数：
172
主要内容
Spark SQL、DataFrame与Spark Streaming
1. Spark SQL、DataFrame与Spark Streaming源码直接参照：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming/SqlNetworkW...
分类：
数据库 时间：
2015-11-29 19:41:25
阅读次数：
243
花了一个星期看完了这本书，把随笔写一写，还摘录了一些书里封装好的函数，偶尔多看看（只捡了感觉重要的东西）HTML(Model)+CSS(View)+javascript(Controller)怪异模式是因为DTD触发，也就是 Document Type Definition (文档定义类型) 多种组...
分类：
Web程序 时间：
2015-11-26 15:19:51
阅读次数：
422
Driver与Executor间的消息传递
class DriverEndpoint(override val rpcEnv: RpcEnv, sparkProperties: Seq[(String, String)])
extends ThreadSafeRpcEndpoint with Logging {
//省略非关键代码
override def rece...
分类：
其他好文 时间：
2015-11-06 00:23:27
阅读次数：
450
Task执行在上一节中，我们提到在Driver端CoarseGrainedSchedulerBackend中的launchTasks方法向Worker节点中的Executor发送启动任务命令，该命令的接收者是CoarseGrainedExecutorBackend（Standalone模式），类定义源码如下：private[spark] class CoarseGrainedExecutorBack...
分类：
其他好文 时间：
2015-10-29 00:49:13
阅读次数：
243
