一、记录 1. 实时监控网卡流量脚本：https://www.kafan.cn/edu/5611612.html awk 'BEGIN{ OFMT="%.3f"; devf="/proc/net/dev"; while(("cat "devf) | getline) { if($0 ~ /:/ && ...
分类：
系统相关 时间：
2021-06-08 23:46:04
阅读次数：
0
前言 开发人员一般是在电脑上面安装了IDE完成日常的开发任务，因为项目业务需求，用户想要在线写JS脚本，纯粹的字符串，很“费用户”。那就需要一个在线JS编译器，需要轻量级，好用，语法高亮，自动换行，语法提示灯功能。 Brace 轻量 自动提示 语法高亮 自动换行 序号 代码高亮 自动缩进 更换主题 ...
分类：
Web程序 时间：
2021-06-08 23:33:11
阅读次数：
0
1. Hadoop 概览Google 三篇论文（GFS -> HDFS，Map-Reduce -> MR，BigTable -> HBase）是 Hadoop 的思想之源。Hadoop 生态非常庞大，其最初两大核心是 HDFS 和 MR，分别负责存储和计算（Hadoop 1.x 中，MR 既负责计算 ...
前言 在window服务器上有些脚本没办法设置自动启动，但是每次开机都要手动启动，非常的麻烦。 设置 创建一个新的记事本 编写win脚本 C: CD C:\Users\Acer\Desktop\ #进入脚本的目录下 start test.bat #启动某个脚本 更改记事本的后缀名为.bat 打开文件 ...
一．sqoop的简单概论 1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 2. sqoop的介绍 sqoop是连接 ...
分类：
其他好文 时间：
2021-06-08 22:45:15
阅读次数：
0
最近发现一个能够任意生成各种数据的python库：faker，可以借助它来生成各种数据，例如姓名、地名、日期、电话号码等（各种有意义、无意义的假数据） git地址：https://github.com/joke2k/faker 文档：https://faker.readthedocs.io/en/s ...
分类：
其他好文 时间：
2021-06-07 20:58:38
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类：
数据库 时间：
2021-06-07 20:36:05
阅读次数：
0
上一次，我们讲到了如何去搭建一个前端工具库的工程，那么今天我们来聊一聊如何去将其打包输出。 需求 事情是这个样子的。我有一个这样的需求，或者是我发现有这么一个需求。就是有时候吧，我也不想搞的那么复杂，我就想写一个简简单单的demo，引入一个JS脚本，CTRL + S一按，浏览器一打开，啪的一下，我就 ...
分类：
其他好文 时间：
2021-06-07 20:19:03
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-06-07 20:05:58
阅读次数：
0
HDFS客户端环境准备 1．根据拷贝编译后的hadoop jar包到非中文路径 2．配置HADOOP_HOME环境变量 3. 配置Path环境变量 4．创建一个Maven工程HdfsClientDemo 5．导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr ...
分类：
其他好文 时间：
2021-06-06 19:12:37
阅读次数：
0
