二 HDFS部署 主要步骤如下：1． 配置Hadoop的安装环境；2． 配置Hadoop的配置文件；3． 启动HDFS服务；4． 验证HDFS服务可用。1‘ 查看是否存在hadoop安装目录 ls /usr/cstor/hadoop 如果没有，利用工具从本地导入hadoop安装文件。 查看jdk是否 ...
分类：
其他好文 时间：
2020-12-30 11:10:24
阅读次数：
0
背景：jenkins来构建前端服务，node版本需要10.22.0以上，而实际打包机上的版本为9.11.2，尝试通过nvm alias default v10.22.0修改默认版本解决 现象：jenkins job里shell执行显示node版本为v9.11.2，而使用同一用户进入打包机发现默认版本 ...
分类：
系统相关 时间：
2020-12-30 10:49:38
阅读次数：
0
需要准备 hadoop-2.6.0-cdh5.7.0 、jdk1.8.0_161 、zookeeper-3.4.5-cdh5.7.0、 hive-1.1.0-cdh5.7.0 1.在hadoop 的etc/hadoop/目录中的文件 core-site.xml 添加下面代码 ，其中颜色标记部分为你的 ...
分类：
其他好文 时间：
2020-12-29 11:30:43
阅读次数：
0
背景 操作系统是 centos 6，RabbitMQ 3.8.1. 服务器突然无法连接，重启后查看/var/log/messages，报错日志如下： epmd: erlang mapper daemon cant fork 2'nd time Cannot allocate memory epmd: ...
分类：
系统相关 时间：
2020-12-29 11:23:04
阅读次数：
0
scnzzh@zubt1:~/zzh$ str='I love python.' scnzzh@zubt1:~/zzh$ echo ${str/'python'/'shell'} I love shell. ...
分类：
系统相关 时间：
2020-12-29 11:16:57
阅读次数：
0
一、镜像仓库 镜像存储中的核心概念仓库（Repository）是镜像存储的位置。Docker 注册服务器（Registry）是仓库存储的位置。每个仓库包含不同的镜像。Docker Hub 是Docker官方提供公共仓库，提供大量的常用镜像，由于国内网络原因经常连接Docker Hub会比较慢，所以我 ...
分类：
其他好文 时间：
2020-12-29 11:03:26
阅读次数：
0
hadoop1.X架构 架构模型 分布式文件系统核心模块: namenode:集群中的主节点,管理元数据(文件的大小,文件的位置,文件的权限)。 secondaryNameNode:辅助namenode管理元数据信息。 dadanode:集群当中的从节点,主要存储集群中的各种数据。 分布式数据计算核 ...
分类：
其他好文 时间：
2020-12-28 11:29:22
阅读次数：
0
CMD 和 ENTRYPOINT 指令都是用来指定容器启动时运行的命令。单从功能上来看，这两个命令几乎是重复的。单独使用其中的一个就可以实现绝大多数的用例。但是既然 doker 同时提供了它们，为了在使用中不至于混淆，本文试图把它们的用法理清楚。 exec 模式和 shell 模式 CMD 和 EN ...
分类：
其他好文 时间：
2020-12-28 11:24:03
阅读次数：
0
天天都在说优化Dockerfile。到底怎么优化，优化后的检验指标又是什么？没有考虑清楚行动目的，隔空放炮，必然徒劳无功。笔者最近准备在CI上增加安全检测，在分析案例样本的时候，找到了比较流行的struts2漏洞，其中S2-052远程代码执行漏洞的利用方式就是在POST请求中添加恶意代码或命令。如Demo片段所示。<command><string>touch</str
分类：
系统相关 时间：
2020-12-25 13:21:15
阅读次数：
0
hive作为一个sql查询引擎，自带了一些基本的函数，比如count(计数)，sum(求和)，有时候这些基本函数满足不了我们的需求，这时候就要写hive hdf(user defined funation)，又叫用户自定义函数。 UDF 创建与使用步骤 继承org.apache.hadoop.hiv ...
分类：
其他好文 时间：
2020-12-25 13:07:42
阅读次数：
0
