码迷,mamicode.com
首页 >  
搜索关键字:mapreduce topk算法    ( 4057个结果
Tachyon Cluster: 基于Zookeeper的Master High Availability(HA)高可用配置实现
1.Tachyon简介Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能...
分类:其他好文   时间:2014-08-27 18:32:08    阅读次数:454
jdk7 并行计算框架Fork/Join
故名思义,拆分fork+合并join。jdk1.7整合Fork/Join,性能上有大大提升。思想:充分利用多核CPU把计算拆分成多个子任务,并行计算,提高CPU利用率大大减少运算时间。有点像,MapReduce思路感觉大致一样。jdk7中已经提供了最简洁的接口,让你不需要太多时间关心并行时线程的通信...
分类:其他好文   时间:2014-08-27 16:09:38    阅读次数:182
Hadoop MapReduce编程入门案例
Hadoop MapReduce编程入门案例简析...
分类:其他好文   时间:2014-08-24 18:06:12    阅读次数:207
利用mapreduce清洗日志
package com.libc;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.util.HashMap;import java.util.Iterator;import java...
分类:其他好文   时间:2014-08-24 12:50:43    阅读次数:295
Hadoop MapReduce纵表转横表
输入数据如下:以\t分隔 0-3岁育儿百科 书 23 0-5v液位传感器 5 0-5轴承 2 0-6个月奶粉 23 0-6个月奶粉c2c报告 23 0-6个月奶粉在线购物排名 23 0-6个月奶粉市场前景 23 0-6个月配方奶粉 23 0.001g电子天平 5 0.01t化铝炉 2 0.01吨熔铝合金炉 2 0.03吨化镁炉 ...
分类:其他好文   时间:2014-08-24 11:43:42    阅读次数:171
Hadoop实战-中高级部分 之 Hadoop作业调优参数调整及原理
第一部分:core-site.xml?core-site.xml为Hadoop的核心属性文件,参数为Hadoop的核心功能,独立于HDFS与MapReduce。参数列表?fs.default.name?默认值 file:///?说明:设置Hadoop namenode的hostname及port,预...
分类:其他好文   时间:2014-08-23 15:13:50    阅读次数:217
hadoop 点点滴滴(三)
AttemptID:attempt_1390962167768_0001_m_000026_0 Timed out after 600 secs14/01/29 10:56:54 INFO mapreduce.Job: map 13% reduce 0%14/01/29 10:57:28 INFO ...
分类:其他好文   时间:2014-08-23 15:11:20    阅读次数:591
Pig、Hive、MapReduce 解决分组 Top K 问题(转)
问题:有如下数据文件 city.txt (id, city, value)cat city.txt1 wh 5002 bj 6003 wh 1004 sh 4005 wh 2006 bj 1007 sh 2008 bj 3009 sh 900需要按 city 分组聚合,然后从每组数据中取出前两条va...
分类:其他好文   时间:2014-08-22 22:25:40    阅读次数:455
Win7下Eclipse中运行远程MapReduce程序
1、hadoop插件的参数配置 2、运行时的参数 3、运行结果
分类:Windows程序   时间:2014-08-21 22:57:45    阅读次数:443
Hbase和Hive之间的区别知多少?
Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉,转换成本低,类似作用的Pig就...
分类:其他好文   时间:2014-08-21 19:27:44    阅读次数:148
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!