码迷,mamicode.com
首页 >  
搜索关键字:mapreduce partitioner    ( 4100个结果
Hbase + Mapreduce + eclipse实例
前面bolg中提到了 eclipse操作单机版的Hbase列子  不熟悉的朋友可以去看看   eclipse 连接并操作单机版Hbase 本篇文章介绍一个 Mapreduce   读取   Hbase  中数据    并进行计算 列子    类似与    wordcount   不过  此时的输入  是从 Hbase中读取 首先  需要创建输入源...
分类:系统相关   时间:2015-01-09 17:25:34    阅读次数:161
MapReduce基础
这篇文章翻译自Yahoo的Hadoop教程,很久之前就看过了,感觉还不错。最近想总结一下以前学的东西,看到现在关于Hadoop的中文资料还比较少,就有了把它翻译出来的想法,希望能帮助到初学者。这只是Yahoo的Hadoop教程中很小的一部分,我下去还会选一些来翻译,一般来说只翻译讲原理的,操作类的就...
分类:其他好文   时间:2015-01-09 16:51:38    阅读次数:212
Hive[1] 初识 及 安装
本文前提是Hadoop & Java & mysql 数据库,已经安装配置好,并且 环境变量均已经配置到位一、Hive 基本介绍 Hive是Hadoop家族中一款数据仓库产品,Hive最大的特点就是提供了类SQL的语法,封装了底层的MapReduce过程,让有SQL基础的业务人员,也可以直接利用H....
分类:其他好文   时间:2015-01-09 14:03:57    阅读次数:151
Hadoop2.0源码包简介
Hadoop2.0源码包简介 1、解压源码包:   2、目录结构: hadoop-common-project:Hadoop基础库所在目录,如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。   hadoop-mapreduce-project:MapReduce框架的实现,在第一代MR即MRv1中,MapReduce由编程模型(map/redu...
分类:其他好文   时间:2015-01-08 18:03:28    阅读次数:159
高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南
# (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 > 为了部署HA集群,应该准备以下事情: * namenode服务器: 运行namenode的服务器应该有相同的硬件配置. * journalnode服务器:运行的journalnode进程...
分类:其他好文   时间:2015-01-08 13:33:04    阅读次数:166
Apache Pig的前世今生
最近,散仙用了几周的Pig来处理分析我们网站搜索的日志数据,感觉用起来很不错,今天就写篇笔记介绍下Pig的由来,除了搞大数据的人,可能很少有人知道Pig是干啥的,包括一些是搞编程的,但不是搞大数据的,还包括一些既不是搞编程的,也不是搞大数据的,而是从事其他行业的朋友..
分类:Web程序   时间:2015-01-08 07:14:32    阅读次数:261
Mapreuduce实现网络数据包的清洗工作
处理后的数据可直接放到hive或者mapreduce程序来统计网络数据流的信息,比如当前实现的是比较简单的http的Get请求的统计第一个mapreduce:将时间、十六进制包头信息提取出来,并放在一行(这里涉及到mapreduce的键值对的对多行的特殊处理,是个值得注意的地方)主要遇到两个问题: ...
分类:其他好文   时间:2015-01-07 20:42:16    阅读次数:193
第二部分 应用篇 第七章 MongoDB MapReduce
MongoDB MapReduce计算统计介绍。...
分类:数据库   时间:2015-01-07 15:02:05    阅读次数:192
【hadoop2.6.0】用C++ 编写mapreduce
hadoop通过hadoop streaming 来实现用非Java语言写的mapreduce代码。 对于一个一点Java都不会的我来说,这真是个天大的好消息。官网上hadoop streaming的介绍在:http://hadoop.apache.org/docs/r2.6.0/hadoop-ma...
分类:编程语言   时间:2015-01-07 12:51:28    阅读次数:151
Hadoop的辉煌还能延续多久?
Hadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位似乎一时难以动摇。谷歌文件系统与MapReduce我们先来探讨一下Hadoop的灵魂——MapRe...
分类:其他好文   时间:2015-01-07 00:37:16    阅读次数:179
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!