Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关方面的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越乱。前端时间在做MapReduce job性能调优的工作，需要深入代码研究MapRedu
分类：
其他好文 时间：
2016-01-31 21:38:30
阅读次数：
344
简介 在Hadoop中，Writable的实现类是个庞大的家族，我们在这里简单的介绍一下常用来做序列化的一部分。 Java原来类型 除char类型以外，所有的原生类型都有对应的Writable类，并且大部分通过get和set方法可以操作他们的值。 IntWritable和LongWritable还有
分类：
其他好文 时间：
2016-01-31 21:37:47
阅读次数：
311
Hive中常见的高级查询包括：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们来看看order by操作，Order by表示按照某些字段排序，语法如下： [java] view plain copy sel
分类：
其他好文 时间：
2016-01-31 21:38:20
阅读次数：
341
项目背景 最近公司做一个项目，用户需要对网站访问者的广告点击/浏览记录进行实时统计分析，分析结果存入数据库，输出报表。我们采用了Kafka+Storm+Zookeeper的解决方案。之前没有接触过，经过一段时间的研究，最终完成了项目。接下来的内容我将介绍我们的解决方案。供大家参考。我们的系统结构如下
分类：
其他好文 时间：
2016-01-31 21:37:34
阅读次数：
270
1 #include <iostream> 2 3 using namespace std; 4 5 int dp[1000001]; 6 7 int main() { 8 int n; 9 while (cin >> n) { 10 dp[1] = 1; 11 dp[2] = 2; 12 for
分类：
其他好文 时间：
2016-01-31 21:38:02
阅读次数：
194
转自：http://blog.163.com/chenqingshuang_2/blog/static/54409195200710247110161/ 自适应交叉adaptive crossover 自适应变异adaptive mutation 等位基因allele 算术交叉arithmetic
分类：
其他好文 时间：
2016-01-31 21:36:53
阅读次数：
472
JVM是Java程序运行的环境，同时是一个操作系统的一个应用程序进程，因此它有自己的生命周期，也有自己的代码和数据空间。 JVM体系主要分为三个子系统和两大组件，分别是：类装载器子系统、执行引擎子系统和GC子系统，组件是内存运行数据区域和本地接口。 JVM工作是指操作系统装入JVM，是通过JDK中的
分类：
其他好文 时间：
2016-01-31 21:34:43
阅读次数：
155
一：背景 为了使得MapReduce计算后的结果显示更加人性化，Hadoop提供了分区的功能，可以使得MapReduce计算结果输出到不同的分区中，方便查看。Hadoop提供的Partitioner组件可以让Map对Key进行分区，从而可以根据不同key来分发到不同的reduce中去处理，我们可以自
分类：
其他好文 时间：
2016-01-31 21:34:07
阅读次数：
338
郝萌主倾心贡献。尊重作者的劳动成果，请勿转载。假设文章对您有所帮助，欢迎给作者捐赠。支持郝萌主。捐赠数额任意，重在心意^_^ 我要捐赠: 点击捐赠Cocos2d-X源代码下载：点我传送游戏官方下载：http://dwz.cn/RwTjl游戏视频预览：http://dwz.cn/RzHHd游戏开发博客
分类：
其他好文 时间：
2016-01-31 21:33:47
阅读次数：
326
Hive文件存储格式包括以下几类： 1.TEXTFILE 2.SEQUENCEFILE 3.RCFILE 4.ORCFILE(0.11以后出现) 其中TEXTFILE是默认格式，建表是不指定默认为这个格式，导入数据时会直接把数据文件拷贝到HDFS上不进行处理。SEQUENCEFILE、RCFILE、
分类：
其他好文 时间：
2016-01-31 21:35:35
阅读次数：
234
Hive中表连接操作大致分为以下四种： 1：join即等值连接，只有某个值在两个表中同时存在才会被检索出来。 2：left outer join即左外连接，左边表中的值无论是否存在右表中，都会输出，但是右表中的记录只有在左表中存在时才会输出。 3：right outer join即右外连接，右边表中
分类：
其他好文 时间：
2016-01-31 21:33:33
阅读次数：
201
1 public class MainActivity extends Activity implements OnClickListener{ 2 3 private Button button; 4 private EditText editText; 5 private ImageView i
分类：
其他好文 时间：
2016-01-31 21:32:49
阅读次数：
193
单点登录(Single Sign On)，简称为SSO，SSO不仅在企业级开发很常用，在互联网中更是大行其道。随便举几个例子，比如我们登录新浪微博后，再访问新浪首页后，我们发现，已经自动登录了；再比如我们登录CSDN后，可以写博客、逛论坛、下载资源等等。前者是完全跨域的单点登录，下文会讲，后者是共同
分类：
其他好文 时间：
2016-01-31 21:32:04
阅读次数：
138
很多朋友跟我一样，已经使用Java开发很久了，可是对JDK,JRE,JVM这三者的区别与联系一直都是模模糊糊的，下面我们来总结一下。 JDK Java Development ToolKit(Java开发工具包)。JDK是整个Java的核心，包括了Java运行环境(Java Runtime Envi
分类：
其他好文 时间：
2016-01-31 21:32:45
阅读次数：
243
在Linux终端直接输入storm，不带任何参数信息，或者输入storm help，可以查看storm命令行客户端(Command line client)提供的帮助信息。Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下： [html] view plain copy
分类：
其他好文 时间：
2016-01-31 21:32:15
阅读次数：
186
非常无奈，模板重新无奈的打错了。。只是，非常快便找到了。。 题意：给一些边，有一些操作，每次操作，都要在这些边上加上1，求每一个边的边权。。 #include<cstdio> #include<iostream> #include<cstring> #include<algorithm> using
分类：
其他好文 时间：
2016-01-31 21:33:58
阅读次数：
239
