HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且通过MapReduce来实现分布式并行任务处理的程序支持。...
分类：
其他好文 时间：
2014-07-30 20:57:44
阅读次数：
238
随着科技的发展，信息的收集也越来越easy，再加上摩尔定律，大的数据量处理也成为了可能。什么是大数据，或许你有几千个人的基本信息、或许你有数百条购物记录，但这都不不是大数据，大数据至少在千万的数据量上。 大数据有什么作用？其实数据中是包括各种规律的，互联网时代的数据以不在那么直观，再加上超大...
分类：
其他好文 时间：
2014-07-30 20:22:14
阅读次数：
227
代码测试环境：Hadoop2.4应用场景：在Reducer端一般是key排序，而没有value排序，如果想对value进行排序，则可以使用此技巧。应用实例描述：比如针对下面的数据：a,5
b,7
c,2
c,9
a,3
a,1
b,10
b,3
c,1如果使用一般的MR的话，其输出可能是这样的：a 1
a 3
a 5
b 3
b 10
b 7
c 1
c 9
c 2从数据中可以看到其键是排序的，但...
分类：
其他好文 时间：
2014-07-30 17:29:34
阅读次数：
358
敏捷数据科学：用Hadoop创建数据分析应用（数据分析最佳实践入门敏捷大数据首作分步骤|全流程演示思路、工具与方法）【美】Russell Jurney(拉塞尔·朱尔尼) 著 冯文中 朱洪波 译ISBN 978-7-121-23619-82014年7月出版定价：49.00元 184页16开编辑推荐对大...
分类：
其他好文 时间：
2014-07-30 17:21:04
阅读次数：
253
3.4、创建Runbook自动化活动模板下面，小张需要在SystemCenter2012ServiceManager中提供自动化活动模板。1、在SystemCenter2012ServiceManager控制台中，选中库工作区，展开导航树中选择运行手册2、从已经创建的私有云，运行手册窗格中选择Runbook3、任务窗格中的内容将会更新..
分类：
其他好文 时间：
2014-07-30 12:29:15
阅读次数：
317
mapreduce中我们自定义的mapper和reducer程序在执行后有可能遇上出错退出的情况，mapreduce中jobtracker会全程追踪任务的执行情况，对于出错的任务mapreduce也定义了一套自己的处理方式。...
分类：
其他好文 时间：
2014-07-30 12:21:22
阅读次数：
209
一、Impala简介
Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。
二、Impala安装
1.安装要求...
分类：
其他好文 时间：
2014-07-30 09:59:03
阅读次数：
358
Cloudsim是一款开源的云计算仿真软件，它继承了网格计算仿真软件Gridsim的编程模型，支持云计算的研究和开发。它是一个自足的支持数据中心、服务代理人、调度和分配策略的平台，支持大型云计算的基础设施的建模与仿真，而且能够在Windows和Linux上跨平台执行。本文介绍的是利用Cloudsim...
分类：
其他好文 时间：
2014-07-30 09:48:53
阅读次数：
240
Hadoop学习笔记(6) ——重新认识Hadoop 之前，我们把hadoop从下载包部署到编写了helloworld，看到了结果。现是得开始稍微更深入地了解hadoop了。 Hadoop包含了两大功能DFS和MapReduce， DFS可以理解为一个分布式文件系统，存储而已，所以这里暂时就不深入....
分类：
其他好文 时间：
2014-07-30 09:44:03
阅读次数：
344
