Hadoop基础之环境搭建 环境搭建 本地环境 可以用于开发的单节点模式，没有分布式的概念 伪分布式环境 一个节点表示一整个集群，但是分布式的概念，一个节点充当分布式里的所有角色 完全分布式 一个集群中有N个节点，他们分别充当分布式中不同的角色，完成不同的任务 伪分布式环境搭建 下载安装包 Hado ...
分类：
其他好文 时间：
2020-10-26 11:17:07
阅读次数：
16
数据仓库及管理——星环
Transwarp - 首页星环主要从事大数据时代核心平台数据库软件的研发与服务，是唯一被Gartner列为国际主流Hadoop发行版厂商。其产品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, No...
分类：
其他好文 时间：
2020-10-24 11:51:18
阅读次数：
41
环境：192.168.117.132——zabbix server192.168.117.133——zabbix proxy 安装路径为/zabbix 安装zabbix server及zabbix agent 1.安装包下载 https://www.zabbix.com/download_sourc ...
分类：
其他好文 时间：
2020-10-24 10:28:34
阅读次数：
22
环境：192.168.117.132——zabbix server192.168.117.133——zabbix proxy 安装路径为/zabbix 安装php 1.安装包下载 https://www.php.net/downloads.php 本次使用稳定版7.2.34 2.安装依赖 yum i ...
分类：
Web程序 时间：
2020-10-24 09:55:38
阅读次数：
34
DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；
DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；
分类：
其他好文 时间：
2020-10-21 20:51:41
阅读次数：
21
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优和linux常见面试题 ...
分类：
系统相关 时间：
2020-10-20 16:23:11
阅读次数：
36
1.用自己的图，描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop （1）创建hadoop用户 （2）更新apt （3）安装SSH ，配置无密码SSH登录 （4）安装JAVA环境 （5）安装 Hadoop 2.7.1 （6）Hadoop伪分布式配置 （7）运行Hadoop伪分布式实 ...
分类：
其他好文 时间：
2020-10-18 09:54:43
阅读次数：
16
实验目的 ? 在 Linux（VM15pro/CentOS8） 环境下完成Hadoop-3.2.1伪分布式环境的搭建，并运行 Hadoop 自带的 WordCount 实例检测是否运行正常。 一、下载并配置java环境 ? Java 环境可选择 Oracle 的 JDK，或是 OpenJDK，现在一 ...
分类：
其他好文 时间：
2020-10-18 09:51:46
阅读次数：
25
到http://mirror.bit.edu.cn/apache/hbase/下载对应的Hbase版本 我这里下载的是hbase-2.2.6-bin.tar.gz版本，是较稳定的版本。 解压： tar -zxvf /home/hadoop/桌面/hbase-2.2.6-bin.tar.gz 移动位置 ...
分类：
系统相关 时间：
2020-10-18 09:47:54
阅读次数：
26
环境：Ubuntu 16.04 Cmake 3.10 一、下载源码 到官网http://dlib.net/或者github上https://github.com/davisking/dlib下载源码。 我这里下载的是dlib-19.18版本。 二、Cmake 解压源码。 tar xvf dlib-1 ...
分类：
编程语言 时间：
2020-10-18 09:44:21
阅读次数：
25
