正则表达式 基础正则表达式、 grep结合正则实现精确匹配 元字符匹配 . # 匹配换行符以外的任意一个字符 正则表达式“.”只能匹配一个字符，但可以是任意字符 [ ]# 匹配中括号中任意一个字符，注意只能匹配一个字符 次数匹配（字符数量） * # 前一个字符匹配任意多次 如果正则表达式写成“aa* ...
分类：
系统相关 时间：
2021-03-17 14:06:06
阅读次数：
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
算术运算 加减乘除，指数运算，取模等等 利用$RANDOM生成1-100的随机数 任意一个随机正整数除以100的余数都是介于0-99之间，再加上1，就是1-100之间的随机数 [23:11:31 root@C8-3-55 ~]#echo $((RANDOM%100+1)) 50 [23:16:50 ...
分类：
系统相关 时间：
2021-03-16 14:08:01
阅读次数：
0
collect_time.sh脚本需求： 遍历/dz目录下所有以A开头的文件夹，读取该文件夹下的time.log的首行内容，依次写入脚本的路径参数/lj/times.txt中。 编写collect_time.sh: #!/bin/bash file="time.log" readDir="/dz" ...
分类：
系统相关 时间：
2021-03-16 13:55:14
阅读次数：
0
zsh + oh my zsh 使用 切换bash 切换bash chsh -s /bin/bash 切换zsh chsh -s /bin/zsh 安装 oh my zsh ! 插件地址 https://github.com/ohmyzsh/ohmyzsh/tree/master/plugins 主 ...
分类：
其他好文 时间：
2021-03-16 13:54:23
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
阿里云实时计算负责人 - 王峰（莫问）/ FFA_2020-Flink as a Unified Engine - Now and Next-V4 2020年Flink 基于Flink 的流批一体数仓 基于Flink流批一体数据湖架构 PyFlink Flink Native on K8S 双链路数 ...
分类：
其他好文 时间：
2021-03-16 11:59:14
阅读次数：
0
DC-5 存活探测 端口扫描 从80入手 conract提交后，发现日期有变化，并且参数变量可控，猜测文件包含 尝试包含/etc/passwd 从日志文件入手 尝试写入shell 失败了很多次，恢复快照后，ip变了 反弹shell 返回交互式 中途断了一次，换了端口 python反弹 提权（/bin ...
分类：
其他好文 时间：
2021-03-16 11:54:54
阅读次数：
0
数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈，ABtest等等 OLAP（On-Line Analytical Processing）：在线分析处理，主要用于支持企业决策管理分析。 ...
分类：
其他好文 时间：
2021-03-16 11:54:33
阅读次数：
0
