在飞速发展的云计算大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年.....
分类：
其他好文 时间：
2014-07-03 10:43:37
阅读次数：
181
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询...
分类：
其他好文 时间：
2014-07-03 10:19:26
阅读次数：
208
194#user nobody;worker_processes 8;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;event...
分类：
其他好文 时间：
2014-07-03 09:31:43
阅读次数：
457
Spark目前支持多种分布式部署方式：一、Standalone Deploy Mode；二Amazon EC2、；三、Apache Mesos；四、Hadoop YARN。第一种方式是单独部署，不需要有依赖的资源管理器，其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之...
分类：
其他好文 时间：
2014-07-02 13:48:43
阅读次数：
299
nginx配置文件：usernginx;worker_processes1;##启动进程的个数（进程个数并不是并发越多越好。一般来说，进程个数与CPU个数相等。如果进程个数多于CPU个数，要进行上下文切换，会耗时。）events{worker_connections1024;}##一个进程并发请求数nginx不仅可以做网页服务器，还可..
分类：
其他好文 时间：
2014-07-02 06:20:28
阅读次数：
324
override def preStart() { logInfo("Starting Spark master at " + masterUrl) webUi.bind() //绑定WEBUI masterWebUiUrl = "http://" + masterPubli...
分类：
其他好文 时间：
2014-07-01 20:21:15
阅读次数：
251
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。...
分类：
其他好文 时间：
2014-07-01 08:17:24
阅读次数：
576
Spark1.0.0发布一个多月了，那么它有多少行代码（Line of Code, LOC）？...
分类：
其他好文 时间：
2014-07-01 08:08:16
阅读次数：
192
在这里重点介绍nginx怎样调用gearman中间件
nginx在高并发异步调用的性能够强，这地球人都知道了
lua的协程，也可以实现并发的异步调用
把这两个结合起来看看效果
先看下apache+php调用gearman的情况，同步一调用一gearman任务，假如这个任务要3S钟，那么当前这个apache的httpd进程就会被阻塞，它无法为其它客户端服务了
再来看看nginx+lua调用gearman的实现：
nginx同样是一个worker，worker进程里通过lua协程调用gearman任务，即...
分类：
数据库 时间：
2014-06-30 17:54:01
阅读次数：
542
