版本：CDH5.0.0，HDFS：2.3.0，Mapreduce:2.3.0,Yarn:2.3.0。场景描述：求一组数据中按照不同类别的最大值，比如，如下的数据：data1:A,10
A,11
A,12
A,13
B,21
B,31
B,41
B,51data2:A,20
A,21
A,22
A,23
B,201
B,301
B,401
B,501最后输出为：A,23
B,501假如这样的逻辑的m...
分类：
其他好文 时间：
2014-05-15 08:15:04
阅读次数：
374
http://acm.hdu.edu.cn/showproblem.php?pid=2473并查集设置虚拟父节点。 1 #include 2 #include
3 #include 4 #define maxn 1100000 5 using namespace std; 6 7 int f...
分类：
其他好文 时间：
2014-05-15 02:18:05
阅读次数：
328
hadoop分割与读取输入文件的方式被定义在InputFormat接口的一个实现中，TextInputFormat是默认的实现，当你想要一次获取一行内容作为输入数据时又没有确定的键，从TextInputFormat返回的键为每行的字节偏移量，但目前没看到用过
以前在mapper中曾使用LongWritable（键）和Text（值），在TextInputFormat中，因为键是字节偏移量，可以是L...
分类：
移动开发 时间：
2014-05-15 01:31:37
阅读次数：
454
启动opensips时报下列错误[root@OpenSIPSopensips]#opensipsctlstartINFO:StartingOpenSIPS:ERROR:PIDfile/var/run/opensips.piddoesnotexist--OpenSIPSstartfailed查看日志文件[root@OpenSIPSopensips]#tail-f/var/log/messagesMay1415:52:41OpenSIPSopensips:CRITICAL:core:y..
分类：
其他好文 时间：
2014-05-15 01:06:09
阅读次数：
344
本篇介绍MapReduce的一些高级特性，如计数器、数据集的排序和连接。计数器是一种收集作业统计信息的有效手段，排序是MapReduce的核心技术，MapReduce也能够执行大型数据集间的“”连接（join）操作。...
分类：
其他好文 时间：
2014-05-14 23:53:44
阅读次数：
553
hive执行query语句时提示错误：org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:...
分类：
编程语言 时间：
2014-05-14 21:49:08
阅读次数：
378
http://acm.hdu.edu.cn/showproblem.php?pid=1224
基础的求最长路以及记录路径。感觉dijstra不及spfa好用，wa了两次。
#include
#include
#include
#include
#include
#include
#include
#include
#define LL long long
#define...
分类：
其他好文 时间：
2014-05-14 20:59:54
阅读次数：
295
ReduceTask的运行
Reduce处理程序中需要执行三个类型的处理，
1.copy,从各map中copy数据过来
2.sort,对数据进行排序操作。
3.reduce,执行业务逻辑的处理。
ReduceTask的运行也是通过run方法开始，
通过mapreduce.job.reduce.shuffle.consumer.plugin.class配置shuffle的plugin,
...
分类：
其他好文 时间：
2014-05-14 20:23:57
阅读次数：
519
题目连接：http://acm.hdu.edu.cn/showproblem.php?pid=3367
题意：在图论中，如果一个森林中有很多连通分量，并且每个连通分量中至多有一个环，那么这个森林就称为伪森林。
现在给出一个森林，求森林包含的最大的伪森林，其大小通过所有边的权值之和来比较。
分析：1、一开始想的是：在每个连通分量中求一个最大生成树，然后加一条最大的边，再把每个连通分量算出...
分类：
其他好文 时间：
2014-05-14 20:19:51
阅读次数：
230
近来多次和百度、阿里、腾讯、中移动数据中心的架构师进行交流，同时也在网上的论坛/社区主导大数据分析范例的一些讨论，与互联网/云开发人员进行沟通。由此，我愉快地发现，大数据分析在中国非常普遍：不光是星巴克、纸牌屋等美国文化元素在中国广受追捧；Hadoop也受到广泛接纳，并且在中国的云开发人员的讨论中占据了主导地位。...
分类：
其他好文 时间：
2014-05-14 19:37:49
阅读次数：
255
