码迷,mamicode.com
首页 >  
搜索关键字:mapreduce topk算法    ( 4057个结果
Demo of Python "Map Reduce Filter"
Here I share with you a demo for python map, reduce and filter functional programming that owned by me(Xiaoqiang). I assume there are two DB tables, that `file_logs` and `expanded_attrs` which re...
分类:编程语言   时间:2014-08-09 04:57:17    阅读次数:525
hive运行query语句时提示错误:org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:
hive> select product_id, track_time from trackinfo limit 5; Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks ...
分类:编程语言   时间:2014-08-08 17:52:46    阅读次数:313
使用hadoop eclipse plugin提交Job并添加多个第三方jar
来自:http://heipark.iteye.com/blog/1171923通过 "conf.set("tmpjars", jars);" 可以设置第三方jar,之前一直只是添加一个jar,运行OK,今天打算添加多个jar的时候发现mapreduce在运行时找不到 class(ClassNotF...
分类:系统相关   时间:2014-08-08 17:24:16    阅读次数:240
Dremel: Interactive Analysis of Web-Scale Datasets 1~6节算法思想部分翻译
Dremel是一个具有可扩展性和交互性,专用于分析只读嵌套数据的查询系统。它本身对多级操作数和柱状数据布局的融合使它得以在秒级的反应时间内对有万亿数量级行记录的表进行集成语句查询。这个系统在谷歌包含数以千计的CPU和PT级的数据量,并有着上千名使用者。这篇论文将会介绍Dremel的体系结构以及其实现,并阐述它如何实现基于MapReduce的计算。本文将呈现一种全新的嵌套式数据柱状存储方式并通过一个基于几千节点的样例系统实验分析性能。...
分类:Web程序   时间:2014-08-08 16:18:16    阅读次数:337
MapReduce三种路径输入
目前为止知道MapReduce有三种路径输入方式。1、第一种是通过一下方式输入:FileInputFormat.addInputPath(job, new Path(args[0]));FileInputFormat.addInputPath(job, new Path(args[1]));File...
分类:其他好文   时间:2014-08-08 15:09:26    阅读次数:2517
hadoop权威指南 chapter2 MapReduce
MapReduce MapReduce is a programming model for data processing. The model is simple, yet not too simple to express useful programs in. Hadoop can run MapReduce programs written in various languages...
分类:其他好文   时间:2014-08-08 12:44:23    阅读次数:231
0807—MapReduce的第一篇学习笔记
http://blog.csdn.net/v_july_v/article/details/66370141234
分类:其他好文   时间:2014-08-07 21:39:30    阅读次数:171
零基础学习hadoop到上手工作线路指导(编程篇)
问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ? 阅读此篇文章,需要...
分类:其他好文   时间:2014-08-07 19:24:50    阅读次数:405
MapReduce体系结构及各种算法(1)
MapReduce体系结构及各种算法(1)...
分类:其他好文   时间:2014-08-07 15:53:20    阅读次数:258
MapReduce体系结构及各种算法(2)
MapReduce体系结构及各种算法...
分类:其他好文   时间:2014-08-07 15:52:00    阅读次数:260
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!