前言今天Spark最终跨出了里程碑的一步，1.0.0版本号的公布标志着Spark已经进入1.0时代。1.0.0版本号不仅增加了非常多新特性，而且提供了更好的API支持。Spark SQL作为一个新的组件增加，支持在Spark上存储和操作结构化的数据。已有的标准库比方ML、Streaming和Grap...
分类：
其他好文 时间：
2014-06-18 15:29:22
阅读次数：
208
请参考：http://wiki.nginx.org/Main#定义Nginx运行的用户和用户组user www www;#nginx进程数，建议设置为等于CPU总核心数。worker_processes 8;#全局错误日志定义类型，[ debug | info | notice | warn | e...
分类：
其他好文 时间：
2014-06-18 14:15:20
阅读次数：
211
首先来分析一下HTTP模块是如何介入Nginx的。
当master进程fork出若干个workr子进程后，每个worker子进程都会在自己的for死循环中不断调用事件模块：
for ( ;; ) {
....
ngx_process_events_and_timers(cycle); /* 调用事件模块 */
....
}...
分类：
其他好文 时间：
2014-06-18 08:03:22
阅读次数：
246
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark
history serve...
分类：
其他好文 时间：
2014-06-18 07:45:40
阅读次数：
250
本文分析了Spark1.0.0的Client，Master和Worker之间是如何通信的。通过对通信的分析，可以清楚的理解各个角色的作用和责任，和它在集群中扮演的不同角色。
当然了，为了便于源码分析，本文开始分析了akka，一个非常优秀的actor的实现：高性能，易于编程，可扩展和弹性无中心。...
分类：
其他好文 时间：
2014-06-18 06:59:54
阅读次数：
183
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
在软件开发中，经常会遇到这样的情况，单元测试时确认每个模块都能单独工作，但这些模块集成在一起之后会出现有些模块不能正常工作。例如，在chrome环境下用js写了一个实时捕捉video中特定区域的模块，正常工作；利用worker线程进行webgl场景渲染，也正常；可是当两个运算合并时，出现一个模块不能正常运行，原因在于两个模块不适合在worker线程中结合，基于worker本身的局限性，只能有一个模...
分类：
其他好文 时间：
2014-06-18 06:39:27
阅读次数：
280
本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。组成cluster的不同节点，启动时有没有固定的顺序，为什么是这样的顺序，针对这些问题，本文会做一个详尽的分析。
分类：
其他好文 时间：
2014-06-18 00:10:53
阅读次数：
253
1、Oracle中的SQL select count(1)from a_V_PWYZL_CUSTACCT_PSMIS t where not exists (select 1 from tb_show_multi_question q WHERE q.dqmp_rule_code = '仅比对系统有...
分类：
数据库 时间：
2014-06-17 23:29:32
阅读次数：
309
1. Install Java and set JAVA_HOME2. Install IntelliJ IDH and Scala plugin3. Download spark1.0.04. Generate a workspace for IDEA[shaochen@linux spark-1...
分类：
其他好文 时间：
2014-06-17 19:55:22
阅读次数：
262
