1.Tachyon简介Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能...
分类:
其他好文 时间:
2014-08-27 18:32:08
阅读次数:
454
故名思义,拆分fork+合并join。jdk1.7整合Fork/Join,性能上有大大提升。思想:充分利用多核CPU把计算拆分成多个子任务,并行计算,提高CPU利用率大大减少运算时间。有点像,MapReduce思路感觉大致一样。jdk7中已经提供了最简洁的接口,让你不需要太多时间关心并行时线程的通信...
分类:
其他好文 时间:
2014-08-27 16:09:38
阅读次数:
182
Hadoop MapReduce编程入门案例简析...
分类:
其他好文 时间:
2014-08-24 18:06:12
阅读次数:
207
package com.libc;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.util.HashMap;import java.util.Iterator;import java...
分类:
其他好文 时间:
2014-08-24 12:50:43
阅读次数:
295
输入数据如下:以\t分隔
0-3岁育儿百科 书 23
0-5v液位传感器 5
0-5轴承 2
0-6个月奶粉 23
0-6个月奶粉c2c报告 23
0-6个月奶粉在线购物排名 23
0-6个月奶粉市场前景 23
0-6个月配方奶粉 23
0.001g电子天平 5
0.01t化铝炉 2
0.01吨熔铝合金炉 2
0.03吨化镁炉 ...
分类:
其他好文 时间:
2014-08-24 11:43:42
阅读次数:
171
第一部分:core-site.xml?core-site.xml为Hadoop的核心属性文件,参数为Hadoop的核心功能,独立于HDFS与MapReduce。参数列表?fs.default.name?默认值 file:///?说明:设置Hadoop namenode的hostname及port,预...
分类:
其他好文 时间:
2014-08-23 15:13:50
阅读次数:
217
AttemptID:attempt_1390962167768_0001_m_000026_0 Timed out after 600 secs14/01/29 10:56:54 INFO mapreduce.Job: map 13% reduce 0%14/01/29 10:57:28 INFO ...
分类:
其他好文 时间:
2014-08-23 15:11:20
阅读次数:
591
问题:有如下数据文件 city.txt (id, city, value)cat city.txt1 wh 5002 bj 6003 wh 1004 sh 4005 wh 2006 bj 1007 sh 2008 bj 3009 sh 900需要按 city 分组聚合,然后从每组数据中取出前两条va...
分类:
其他好文 时间:
2014-08-22 22:25:40
阅读次数:
455
1、hadoop插件的参数配置 2、运行时的参数 3、运行结果
Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉,转换成本低,类似作用的Pig就...
分类:
其他好文 时间:
2014-08-21 19:27:44
阅读次数:
148