1.Tachyon简介Tachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享，就像Spark和 MapReduce那样。通过利用信息继承，内存侵入，Tachyon获得了高性能。Tachyon工作集文件缓存在内存中，并且让不同的 Jobs/Queries以及框架都能...
分类：
其他好文 时间：
2014-08-27 18:32:08
阅读次数：
454
故名思义，拆分fork+合并join。jdk1.7整合Fork/Join，性能上有大大提升。思想:充分利用多核CPU把计算拆分成多个子任务，并行计算，提高CPU利用率大大减少运算时间。有点像，MapReduce思路感觉大致一样。jdk7中已经提供了最简洁的接口，让你不需要太多时间关心并行时线程的通信...
分类：
其他好文 时间：
2014-08-27 16:09:38
阅读次数：
182
Hadoop MapReduce编程入门案例简析...
分类：
其他好文 时间：
2014-08-24 18:06:12
阅读次数：
207
package com.libc;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.util.HashMap;import java.util.Iterator;import java...
分类：
其他好文 时间：
2014-08-24 12:50:43
阅读次数：
295
输入数据如下：以\t分隔
0-3岁育儿百科 书 23
0-5v液位传感器 5
0-5轴承 2
0-6个月奶粉 23
0-6个月奶粉c2c报告 23
0-6个月奶粉在线购物排名 23
0-6个月奶粉市场前景 23
0-6个月配方奶粉 23
0.001g电子天平 5
0.01t化铝炉 2
0.01吨熔铝合金炉 2
0.03吨化镁炉 ...
分类：
其他好文 时间：
2014-08-24 11:43:42
阅读次数：
171
第一部分：core-site.xml?core-site.xml为Hadoop的核心属性文件，参数为Hadoop的核心功能，独立于HDFS与MapReduce。参数列表?fs.default.name?默认值 file:///?说明：设置Hadoop namenode的hostname及port，预...
分类：
其他好文 时间：
2014-08-23 15:13:50
阅读次数：
217
AttemptID:attempt_1390962167768_0001_m_000026_0 Timed out after 600 secs14/01/29 10:56:54 INFO mapreduce.Job: map 13% reduce 0%14/01/29 10:57:28 INFO ...
分类：
其他好文 时间：
2014-08-23 15:11:20
阅读次数：
591
问题：有如下数据文件 city.txt （id， city， value）cat city.txt1 wh 5002 bj 6003 wh 1004 sh 4005 wh 2006 bj 1007 sh 2008 bj 3009 sh 900需要按 city 分组聚合，然后从每组数据中取出前两条va...
分类：
其他好文 时间：
2014-08-22 22:25:40
阅读次数：
455
1、hadoop插件的参数配置 2、运行时的参数 3、运行结果
Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉，转换成本低，类似作用的Pig就...
分类：
其他好文 时间：
2014-08-21 19:27:44
阅读次数：
148
