Hadoop CDH版本的安装:参考文档http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/ 下载地址：http://archive.cloudera.com/cdh5/cdh/5/ 安装的版本为：hadoop-2.6.0-cdh ...
分类：
其他好文 时间：
2020-02-13 19:31:10
阅读次数：
79
摘要：Hadoop是一个由Apache基金会所开发的分布式基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算，特点是：高可靠性，高扩展性，高效性，高容错性。l ...
分类：
其他好文 时间：
2020-02-13 10:12:16
阅读次数：
64
基础概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十 ...
分类：
其他好文 时间：
2020-02-12 22:01:50
阅读次数：
67
一：设置静态IP （一）进入配置页面 （二）设置手动配置，IP，子网掩码，网关，DNS解析 1.使用ifconfig查看IP网络地址和子网掩码 网络地址192.168.58.X，子网掩码255.255.255.0 2.使用netstat -rn查看网关信息 （三）配置静态IP （四）网络服务重新启动 ...
分类：
系统相关 时间：
2020-02-12 18:43:35
阅读次数：
98
Sqoop概述 Sqoop是一款开源的工具，主要用于在Hadoop生态系统（Hadoop、Hive等)与传统的数据库(MySQL、Oracle等)间进行数据的传递，可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop导入原理： 在导入 ...
分类：
其他好文 时间：
2020-02-12 14:33:53
阅读次数：
82
一：Hadoop基本概念 一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce 二：Hadoop解决问题 1.海量数据的存储（HDFS） ...
分类：
其他好文 时间：
2020-02-12 13:07:41
阅读次数：
128
1.1 计数器 计数器的作用是用来统计数量的，用于记录特定事件的次数，分为内置计数器、自定义java枚举计数器、自定义Stream计数器三大类。用于质量分析，或应用级统计。分析计数器的值比分析一堆日志更高效。 计数器名称 计数器介绍 内置计数器 Hadoop自带的计数器，有特定的计数器名称。例如统计 ...
分类：
其他好文 时间：
2020-02-12 10:36:11
阅读次数：
69
Hadoop和Apache Spark究竟有什么异同。 解决问题的层面不一样 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，意味着您不 ...
分类：
其他好文 时间：
2020-02-12 00:20:53
阅读次数：
86
1、Hive导出数据有几种方式？如何导出数据（1）insert导出本地：insertoverwritelocaldirectory‘本地路径‘select*from表名;导出到HDFS：insertoverwritedirectory‘hdfs路径‘select*from表名;（2）hadoop命令hdfsdfs-get/user/hive/warehouse/st
分类：
其他好文 时间：
2020-02-11 11:50:10
阅读次数：
59
第一章 Hue的安装 === 1、Hue的介绍 === HUE= Hadoop User Experience ? Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Py ...
分类：
其他好文 时间：
2020-02-11 09:56:19
阅读次数：
70
