大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成LogicalPlan的。...
分类：
数据库 时间：
2014-07-19 11:15:13
阅读次数：
389
前言: 通过对spark集群脚本的研读, 对一些重要的shell脚本技巧, 做下笔记. *). 取当前脚本的目录sbin=`dirname "$0"` sbin=`cd "$sbin"; pwd`代码评注:# 以上代码为获取执行脚本所在的目录的常用技巧# sbin=$(dirname $0) ...
分类：
其他好文 时间：
2014-07-18 19:16:52
阅读次数：
239
上篇博文讲述了如何通过修改源码来查看调用堆栈，尽管也很实用，但每修改一次都需要编译，花费的时间不少，效率不高，而且属于侵入性的修改，不优雅。本篇讲述如何使用intellij idea来跟踪调试spark源码。
分类：
其他好文 时间：
2014-07-18 17:13:03
阅读次数：
210
hostzhu点评：MPlayer对流媒体的支持，让大家能更进一步地利用linux来看网络直播，对Linux下多媒体应用的推动作用可以说不可度量。RTSP/RTP streaming support for MPlayerThe Open Source "MPlayer" media player ...
分类：
其他好文 时间：
2014-07-18 10:07:06
阅读次数：
500
前言: spark最近非常的火热, 本文不讲spark原理, 而是研究spark集群搭建和服务的脚本是如何编写的, 管中窥豹, 希望从运行脚本的角度去理解spark集群. 研究的spark为1.0.1版. spark集群采用standalone模式搭建, 其基础架构为master-slave(w.....
分类：
其他好文 时间：
2014-07-17 23:26:44
阅读次数：
345
对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林把Spark集群的构建分为了四个步骤，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。从零起步，构建Spark集群经典四部曲： 第一步：搭建H...
分类：
其他好文 时间：
2014-07-17 21:35:29
阅读次数：
389
1.RTSP与几个相关协议RTSP（Real Time Streaming Protocol）实时流协议，是用来控制声音或影像的多媒体串流协议，并允许同时多个串流需求控制，传输时所用的网络通讯协定并不在其定义的范围内，服 务器端可以自行选择使用TCP或UDP来传送串流内容.用于多媒体数据流的控制，如...
分类：
其他好文 时间：
2014-07-16 17:06:23
阅读次数：
415
前言: CDH4不带yarn和spark, 因此需要自己搭建spark集群. 这边简单描述spark集群的安装过程, 并讲述spark的standalone模式, 以及对相关的脚本进行简单的分析.spark官网: http://spark.apache.org/downloads.html*)安装....
分类：
其他好文 时间：
2014-07-16 16:56:22
阅读次数：
235
程序功能：收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类：
其他好文 时间：
2014-07-16 16:34:28
阅读次数：
299
