0 概述 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 1 虚拟机准备 1）. 克隆虚拟机 2）. 修改克隆虚拟机的静态IP 3）. 修改主机名 4）. ...
分类：
系统相关 时间：
2020-07-12 22:11:59
阅读次数：
88
一、编译安装nginx 1、下载nginx # wget http://nginx.org/download/nginx-1.16.1.tar.gz 2、安装源码安装依赖软件：pcre-devel zlib-devel gcc gcc-c++ make 检测依赖是否安装 #rpm -q pcre-d ...
分类：
其他好文 时间：
2020-07-12 16:55:15
阅读次数：
71
1.下载安装 MySQL最新下载地址：https://dev.mysql.com/downloads/mysql/ 选择的是Linux 64位通用的二级制版本，这样不在需要进行编译安装，系统安装依赖库后就可以直接使用。 2. 安装依赖库 yum install numactl yum install ...
分类：
数据库 时间：
2020-07-12 14:58:44
阅读次数：
105
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
1 Hadoop是什么 2 Hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 Apache Hado ...
分类：
其他好文 时间：
2020-07-12 00:59:06
阅读次数：
92
从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类：
其他好文 时间：
2020-07-10 19:26:31
阅读次数：
86
目的：修改python解释器用于代码加密获取源码aptsourcepython2.7-minimal由于系统默认的python版本是2.7.16，下载的源码是2.7.16-2+deb10u1，直接编译安装，会导致系统命令如aptinstall无法执行，原因是包依赖冲突，因此要修改打包的版本号，修改的方式进入到源码目录，修改debian/changelog文件，我是直接把python2.7(2.7.
分类：
编程语言 时间：
2020-07-10 18:35:39
阅读次数：
85
Centos7.5 编译安装apr-util时报错:xml/apr_xml.c:35:19: fatal error: expat.h: No such file or directory 解决方案：yum install expat-devel 编译pcre 报错 error: Invalid C ...
分类：
Web程序 时间：
2020-07-10 13:39:29
阅读次数：
92
