一、下载jdk安装包 wget https://imcfile.oss-cn-beijing.aliyuncs.com/shizhan/file/liaoshixiong/jdk-8u231-linux-x64.tar.gz` 二、解压安装 tar zxvf jdk-8u231-linux-x64. ...
分类：
系统相关 时间：
2020-07-12 15:06:13
阅读次数：
96
1.下载安装 MySQL最新下载地址：https://dev.mysql.com/downloads/mysql/ 选择的是Linux 64位通用的二级制版本，这样不在需要进行编译安装，系统安装依赖库后就可以直接使用。 2. 安装依赖库 yum install numactl yum install ...
分类：
数据库 时间：
2020-07-12 14:58:44
阅读次数：
105
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark 解决办法： ...
1 Hadoop是什么 2 Hadoop三大发行版本 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 Apache版本最原始（最基础）的版本，对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 Apache Hado ...
分类：
其他好文 时间：
2020-07-12 00:59:06
阅读次数：
92
从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类：
其他好文 时间：
2020-07-10 19:26:31
阅读次数：
86
1.实现前后端代码分离，分布式部署 2.利用token替代session实现状态保持，token是有时效性的满足退出登录，token存入redis可以解决不同服务器之间session不同步的问题，满足分布式部署 3.利用sign，前端按照约定的方式组合加密生成字符串来校验用户传递的参数跟后端接收的参 ...
分类：
Web程序 时间：
2020-07-10 16:48:57
阅读次数：
82
集群启动顺序： NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程 ...
分类：
其他好文 时间：
2020-07-10 00:43:16
阅读次数：
97
package com.baway.loginfaildetect import java.util import org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.{CEP, PatternStr ...
分类：
其他好文 时间：
2020-07-10 00:15:34
阅读次数：
92
