AWK 去重 awk '{a[$1]++}{!b[$0]++}END{for (i in a) print i,"-",a[i]}' 源文件 {a[$1]++} ：表示你需要去重的那一列，放到数组A中 //计数 !b[$0]++ 去重 AWK 消除字符 awk -F " " '{gsub(/ /," ...
分类：
系统相关 时间：
2020-04-09 00:17:36
阅读次数：
79
1.shell的操作命令 hdfs命令有两种风格：hadoop fs、hdfs dfs 两种命令均可使用，效果相同。 1）查看子命令 hadoop fs、hdfs dfs 2）如果查看hdfs或hadoop子命令信息 hdfs dfs -help shellCmd hadoop fs -help s ...
分类：
系统相关 时间：
2020-04-07 00:23:00
阅读次数：
155
vim 文本编辑器sed awk 行编辑器sed 的基本工作方式是：? 将文件以行为单位读取到内存（模式空间）? 使用sed的每个脚本对该行进行操作? 处理完成后输出该行sed 的替换命令 s：# 将单行的old字符串替换成new字符串，仅替换第一次? sed ’s/old/new/’ filena ...
分类：
其他好文 时间：
2020-04-06 23:52:26
阅读次数：
75
愿醉卧沙场可未有匹夫之勇。 第三周学记 第三周主要学习正则表达式和Shell编程 1.正则表达式基本字符 2.扩展正则表达式 3.grep,sed,awk文本处理工具使用 4.Shell脚本基本格式和构成 5.Shell基本逻辑 6.Shell算术运算 7、Shell条件判断 ...
分类：
系统相关 时间：
2020-04-06 00:04:54
阅读次数：
124
概述： 这篇文章是为了介绍使用kubeadm安装Kubernetes集群（可以用于生产级别）。使用了Centos 7系统。 PS: 篇幅有点长，但是比较详细、比较全面 一、Centos7 配置说明 1.1 Firewalld（防火墙） CentOS Linux 7 默认开起来防火墙服务（firewa ...
分类：
Web程序 时间：
2020-04-03 23:46:25
阅读次数：
94
Centos Linux添加环境变量到PATH的方法在 Linux CentOS 系统上安装完 Hadoop 后，为了使用方便，需要将 Hadoop 命令加到系统命令中，如果在没有添加到环境变量之前，执行“hadoop fs”命令时，则会提示命令不存在的错误，如下所示： 方法一1. export P ...
分类：
系统相关 时间：
2020-04-03 19:56:56
阅读次数：
89
场景： 在写ESP8266 web服务的时候，免不了要将自己设计的网页html和css等文件放入到固件中。在arduino中有fs可以进行上传文件，然后通过文件系统读出。那在ESP-IDF中该怎么办呢。有几个思路 1. 通过flash_download_tools 直接向固定地址写入文件。然后在代码 ...
分类：
Web程序 时间：
2020-04-02 01:23:25
阅读次数：
141
#检查磁盘使用率超过90%，并且后台进程没有rman在跑，就运行 /data/script/del_dg_arch.sh 脚本清理归档 a=`df -m /data |tail -n 1|awk '{print int($5)}'` b=`ps -ef|grep rman|grep -v grep| ...
分类：
系统相关 时间：
2020-04-01 10:37:22
阅读次数：
80
前提 Hive 需要是 2.0以上版本 Tez配置 下载好tar包后，将tar包上传到HDFS集群路径下 hadoop fs -put /opt/software/apache-tez-0.9.1-bin.tar.gz/ /tez 将Linux本机上的tar包解压 Hive配置 在hive/conf ...
分类：
其他好文 时间：
2020-03-31 22:43:48
阅读次数：
632
实现轮询效果 1. 进入Docker进行操作 1 docker rm -f $(docker ps -a |awk ‘{print $1}’) # 删除所有docker,方便重新开始 2 docker run -itd --name=web1 -p 192.168.220.135:81:80 ngi ...
分类：
其他好文 时间：
2020-03-31 22:39:30
阅读次数：
79
