基于Docker搭建大数据集群（六）Hive搭建 前言 之前搭建的都是1.x版本，这次搭建的是 hive3.1.2 版本的。。还是有一点细节不一样的 Hive现在解析引擎可以选择spark，我是用 spark 做解析引擎的，存储还是用的HDFS 我是在 docker 里面搭建的集群，所以都是基于do ...
分类：
其他好文 时间：
2019-09-27 12:19:45
阅读次数：
107
1:在Windows下配置Hadoop的运行环境 第一步：将hadoop2.7.5文件夹拷贝到一个没有中文没有空格的路径下面 第二步：在windows上面配置hadoop的环境变量： HADOOP_HOME，并将%HADOOP_HOME%\bin添加到path中 第三步：把hadoop2.7.5文件 ...
Hadoop简介 Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapR ...
分类：
其他好文 时间：
2019-09-25 12:47:34
阅读次数：
126
海量数据处理 分而治之 核心思想： 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序，次之随机读 一、HDFS概述 修改，先删除，再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据，以及每个文件块的列表，以及块所在datanode的信息。nameno ...
分类：
其他好文 时间：
2019-09-22 16:41:19
阅读次数：
92
1、什么是分库分表？ 在同一个系统（项目）中，把一张数据比较多的表放到不同的集群节点上， 这种模式称之为分库分表。 2、需求 使用mycat实现分库分表（HDFS:namenode datanode secondarynamdenode） 在整个mycat中也会使用到namenode和datanod ...
分类：
其他好文 时间：
2019-09-22 01:42:23
阅读次数：
81
Hadoop生态圈 摘要：一：基本构成：HDFS（Hadoop分布式文件系统）；Mapreduce（分布式计算框架）；HBASE（分布式列存数据库）； Zookeeper（分布式协作服务）；HIVE（数据仓库）；Pig(ad-hoc脚本）等。 二：详细了解一下其特性： Hadoop是一个由Apach ...
分类：
其他好文 时间：
2019-09-21 23:05:58
阅读次数：
119
知识地图 一：大数据基础 1.三次信息化浪潮： 2.信息科技为大数据时代提供技术支撑： 存储设备容量不断增加 CPU处理能力大幅提升 网络带宽不断增加 3.数据产生方式的变革促进=成大数据时代的来临（三个阶段）： 运营式系统阶段 用户原创内容阶段 感知式系统阶段 4.大数据的4个特点： 数据量大 数 ...
分类：
其他好文 时间：
2019-09-21 23:04:02
阅读次数：
237
hadoop简介 hadoop是基于Java语言开发的，具有很好的跨平台性，并且可以部署在廉价的计算机群众，hadoop的核心是分布式文件系统HDFS（hadoop distributed file system）和mapreduce,HDFS具有较高的读写速度和和好的容错性和可伸缩性并且具有大规模 ...
分类：
其他好文 时间：
2019-09-21 18:47:50
阅读次数：
87
大数据 概述 大数据是新处理模式才能具备更多的决策力，洞察力，流程优化能力，来适应海量高增长率，多样化的数据资产。 大数据面临的问题 怎么存储海量数据(kb，mb，gb，tb，pb，eb，zb) 怎么对数据进行降噪处理(对数据进行清洗，使得数据变废为宝，提取有用的数据，减少不必要的数据资源空间的释放 ...
分类：
其他好文 时间：
2019-09-21 14:57:06
阅读次数：
97
1、进入spark-shell窗口 2、 3、 hdfs://cdp是defaultFS，也可以不写，如下: 4、 参考:https://www.jianshu.com/p/57b20d9d7b4a?utm_campaign=maleskine&utm_content=note&utm_medium ...
分类：
系统相关 时间：
2019-09-21 14:52:27
阅读次数：
234
