ShuffleMapTask的计算结果保存在哪，随后Stage中的task又是如何知道从哪里去读取的呢，reduceByKey(_ + _)中的combine计算发生在什么地方，本文将为你一一揭晓。
分类：
其他好文 时间：
2014-07-24 14:41:35
阅读次数：
308
* Flex开发中可用两种语言1.MXML2.ActionScript* Flex中使用两个组件集1.MX (mx.*) 早期的Flex版本用到的组件集2.Spark (spark.*) Flex4及以后的版本用到的组件集。Spark比MX组件有更多皮肤外观及其它方面的优点。它们有相同的组件（如按钮...
分类：
其他好文 时间：
2014-07-24 14:40:35
阅读次数：
209
本文编译方法所支持的hadoop环境是Hadoop-2.2.0，YARN是2.2.0，JAVA版本为1.8.0_11，操作系统Ubuntu14.04Spark1.0.0 源码下载地址：http://mirror.bit.edu.cn/apache/spark/spark-1.0.0/spark-1....
分类：
其他好文 时间：
2014-07-24 09:59:23
阅读次数：
448
问： ????今天花一天时间给centos6.3 64bit的系统搭建了hadoop，顺便把hive和mysql也装上了，测试什么的都没问题。 但是，迷茫了，我怎么用它分析网站的日志。他的工作原理迷迷糊糊的， 而且我这个hadoop用的...
分类：
其他好文 时间：
2014-07-23 21:35:46
阅读次数：
332
1.配置环境
1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar
2.编写udf函数
1.extends UDF
2.重新定义UDF的evaluate函数。
package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calen...
分类：
其他好文 时间：
2014-07-23 20:58:47
阅读次数：
217
Are you a hacker?How to build another QQ/Wechat/whatsapp/skype/imessage?Let's go through this!!!!Materials:A linux/unix/windows/mac computer/server, a...
分类：
数据库 时间：
2014-07-23 20:44:35
阅读次数：
568
王家林：Android架构师、高级工程师、咨询顾问、培训专家；通晓Android、HTML5、Hadoop，迷恋英语播音和健美；致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案；国内最早（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及...
分类：
其他好文 时间：
2014-07-23 20:37:25
阅读次数：
377
使用的ide是eclipsepackage com.luogankun.spark.baseimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContex...
分类：
其他好文 时间：
2014-07-23 18:01:14
阅读次数：
177
