本文通过具体的实例，介绍如何使用hadoop中mapreduce程序解决平均数以及top N的相关问题。...
分类：
其他好文 时间：
2014-11-14 14:16:48
阅读次数：
199
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
在本教程中，您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表。下列步骤描述：
?如何使用提供在Azure门户的HBase的集群。
?如何启用和使用RDP访问HBase的外壳，并使用HBase的外壳创建HBase的示例表，添加行，然后列出表中的行。
?如何创建一个Hive表映射到一个现有的HBase的表，使用HiveQL查询数据在HBase的表。
?如何使用Microsoft HBase的REST客...
分类：
其他好文 时间：
2014-11-13 16:43:25
阅读次数：
377
hadoop环境描述：master节点：node1slave节点：node2，node3，node4远端服务器（python连接hive）：node29需求：通过hive查询到cdn日志中指定时间段内url访问次数最多的前10个urlps：用pig查询可以查询文章：http://shineforever.blog.51cto.com/1429204/1571124说明：python操..
分类：
编程语言 时间：
2014-11-06 17:50:01
阅读次数：
424
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
转自：http://blog.csdn.net/leoleocmm/article/details/86020811. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，...
分类：
其他好文 时间：
2014-11-04 17:05:01
阅读次数：
221
最近使用的一个集群hp1，因为维护集群的人不给力，节点总是过一段时间就掉一两个。今天发现重启hadoop时，HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉，所以写了一个小脚本，在这里记录一下，以后方便直接拿来使用。...
分类：
系统相关 时间：
2014-11-04 11:01:55
阅读次数：
163
Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据，每一个Map Reduce程序都离不开它们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的：TextInputFormat作为默认的...
分类：
其他好文 时间：
2014-11-01 11:25:17
阅读次数：
254
在hadoop中edits和fsimage是两个至关重要的文件，其中edits负责保存自最新检查点后命名空间的变化，起着日志的作用，而fsimage则保存了最新的检查点信息。这个两个文件中的内容使用普通文本编辑器是无法直接查看的，幸运的是hadoop为此准备了专门的工具用于查看文件的内容，这些工具分别为oev和oiv，可以使用hdfs调用执行。...
分类：
其他好文 时间：
2014-10-31 12:04:14
阅读次数：
339
前言 本文讲解Hadoop中的编程及计算模型MapReduce，并将给出在MapReduce模型下编程的基本套路。模型架构 在Hadoop中，用于执行计算任务(MapReduce任务)的机器有两个角色：一个是JobTracker，一个是TaskTracker，前者用于管理和调度工作，后者用于执行.....
分类：
其他好文 时间：
2014-10-29 18:42:56
阅读次数：
256
在Hadoop中，MapReduce的Java作业通常由编写Mapper和Reducer开始，接着创建Job对象，然后使用该对象的set方法设置Mapper和Reducer以及诸如输入输出等参数，最后调用Job对象的waitForCompletion(true)方法提交作业并等待作业的完成。尽管使用了寥寥数语就描述了作业的创建和提交，但实际情况要复杂的多，本篇文章将通过分析源代码来深入学习该过程。...
分类：
其他好文 时间：
2014-10-27 17:48:18
阅读次数：
152
