map:-D stream.map.output.field.separator=. 定义mapoutput字段的分隔符为. 用户可以自定义分隔符（除了默认的tab）-D stream.num.map.output.key.fields=4 第四个.前面的是key，后面的是value。如果该行......
分类：
其他好文 时间：
2015-01-08 13:19:22
阅读次数：
223
通过Hash Based Shuffle和Sort Based Shuffle的源码，可以得出使用Spark Pluggable框架开发一个第三方的Shuffle Service是比较容易的；这个容易是指功能实现方面。但是这个实现必须要考虑超大规模数据场景下的性能问题，资源消耗问题。...
分类：
其他好文 时间：
2015-01-08 08:19:06
阅读次数：
273
Spark 启动历史任务记录进程，报错 Logging directory must be specified解决...
分类：
系统相关 时间：
2015-01-07 22:09:54
阅读次数：
260
该项目分析了目前主流分布式通讯相关开源产品中使用的No Schema序列化产品Kryo，Fastjson，Hessian的序列化机制，通过构造相对比较复杂的数据model，针对序列化size，序列化时间进行了细致测试。通过测试报告可以清晰的看出Kryo无疑是大赢家，无论是序列化大小，还是速度上都更胜一筹，这也就不难理解为什么Spark,Storm等流计算框架会选它作为序列化工具。另外，可以看出这三款软件在BitSet，EnumSet等特殊类型的序列化上还有不少问题，作者也给Kryo，Fastjson社区提了...
分类：
其他好文 时间：
2015-01-07 18:49:57
阅读次数：
151
正在准备做Spark SQL external data source与关系型数据库交互的部分，参考下Sqoop2是如何操作关系型数据库的。下载地址：http://archive.cloudera.com/cdh5/cdh/5/下载并安装：cd /home/spark/app/wget http:/...
分类：
其他好文 时间：
2015-01-07 18:19:09
阅读次数：
373
英文原文：Reverse Ajax, Part 5: Event-driven web development 前言 这一文章系列展示了如何使用反向Ajax（Reverse Ajax）技术开发事件驱动的web应用，第1部分内容介绍了反向Ajax、轮询（polling）、流（streaming）、.....
分类：
Web程序 时间：
2015-01-07 16:47:33
阅读次数：
205
英文原文：Reverse Ajax, Part 4: Atmosphere and CometD 前言 这一系列文章展示了如何使用反向Ajax技术开发事件驱动的web应用，第1部分内容介绍了反向Ajax（Reverse Ajax）、polling（轮询）、streaming（流）、Comet和长.....
分类：
Web程序 时间：
2015-01-07 16:32:55
阅读次数：
202
英文学习篇 http://spark.apache.org/docs/latest/sql-programming-guide.html 可以对照官方的API进行对照 http://spark.apache.org/docs/latest/api/scala/index.html 中文学习篇 http://demo.netfoucs.com/boo...
分类：
数据库 时间：
2015-01-07 15:14:36
阅读次数：
155
hadoop通过hadoop streaming 来实现用非Java语言写的mapreduce代码。 对于一个一点Java都不会的我来说，这真是个天大的好消息。官网上hadoop streaming的介绍在：http://hadoop.apache.org/docs/r2.6.0/hadoop-ma...
分类：
编程语言 时间：
2015-01-07 12:51:28
阅读次数：
151
