1. 参考说明参考文档： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNa... ...
分类：
其他好文 时间：
2018-05-23 10:23:37
阅读次数：
280
一、大数据特征 1. 数据体量巨大 2. 数据类型多样（文本，图像，视频，音频） 3. 价值密度低，商业价值高 4.速度要求快，数据输出输入的速度 二、大数据之核心 1.数据的存储 2. 数据的计算（处理） 三、Hadoop 1. Apache开源软件基金会开发的 2. 运行于大规模普通服务器上的 ...
分类：
其他好文 时间：
2018-05-21 10:37:33
阅读次数：
193
1. 规划1.1. 机器列表 NameNode SecondaryNameNode DataNodes 192.168.1.80 192.168.1.80 192.168.1.80 1.2. 机器列表 机器IP 主机名 用户组/用户 192.168.1.80 centosha... ...
分类：
其他好文 时间：
2018-05-20 20:10:57
阅读次数：
322
1. 规划1.1. 机器列表 NameNode SecondaryNameNode DataNodes 192.168.1.121 192.168.1.122 192.168.1.101 192.168.1.102 192.168.1.103 1.2. 机器列表 ... ...
分类：
其他好文 时间：
2018-05-20 20:08:51
阅读次数：
274
一：搭建的种类 1）本机模式 2）伪分布式模式 3）完全分布式模式 我们先来学习下搭建伪分布式模式。 二：要求 hadoop版本2.7.3，这个版本的hadoop有些小的bug但是不影响使用，电脑要求8G内存，最好加固态硬盘，会大大提升电脑的性能，centos6.5/6.8。 三：安装步骤 1.安装 ...
分类：
其他好文 时间：
2018-05-19 20:42:24
阅读次数：
2484
dom对象：document object model文档对象模型 文档：超文本标记文档 html xml 对象：提供了属性和方法 模型：使用属性和方法操作超文本标记性文档 可以使用js里面的DOM提供的对象，使用这些对象的属性和方法，对标记性文档进行操作 想要对标记性文档进行操作，首先需要对标记性 ...
分类：
Web程序 时间：
2018-05-18 23:32:10
阅读次数：
241
1.hive小文件合并cd hive /conf/hive-default输出合并合并输出小文件。输出时，若是太多小文件，每个小文件会与一个block进行对应，而block存在的意义是为了方便在namenode中存储，那么过多的block将会充斥namenode的表中，待集群规模增大和运行次数增大， ...
分类：
其他好文 时间：
2018-05-14 22:56:35
阅读次数：
148
异常描述 在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示： [plain] view plain copy [shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07 ...
分类：
编程语言 时间：
2018-05-14 18:13:05
阅读次数：
311
hadoop集群 动态添加或删除节点 在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线hdfs节点 1) 下线datanode namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,serve ...
分类：
其他好文 时间：
2018-05-13 19:10:07
阅读次数：
204
增删节点 数据迁移 一、所有事情开始之前，先要备份好cloudera manager的数据库，以及hadoop集群中的一些组件带的数据库。这里保存了很多元数据，像hive这种丢了很麻烦的。 二、如果需要换nameNode的存储目录 1、备份nameNode原始数据 cp -r /ddhome/dfs ...
分类：
其他好文 时间：
2018-05-13 19:06:53
阅读次数：
351
