yarn的安装和简单使用 yarn是一款取代npm的包管理工具 yarn的优点 速度超快。 Yarn 缓存了每个下载过的包,所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率,因此安装速度更快。 超级安全。 在执行代码之前,Yarn 会通过算法校验每个安装包的完整性。 超级可靠。 使用 ...
分类:
其他好文 时间:
2020-06-25 09:58:03
阅读次数:
61
一.sql语句优化 (1)mysql 执行流程 客户端: 发送连接请求,然后发送增删改查sql语句进行执行 服务端: 1.连接层:提供和客户端连接的服务,在tcp协议下, 提供多线程并发的技术,让多个用户登录到mysql中. show processlist; 查看所有登录到mysql的用户进程 2 ...
分类:
编程语言 时间:
2020-06-24 00:32:56
阅读次数:
105
让MySQL为我们记录执行流程 我们可以开启profiling,让MySQL为我们记录SQL语句的执行流程 查看profiling参数 shell > select @@profiling; 进行更改 shell > set profiling = 1; 执行语句 select * from emp ...
分类:
数据库 时间:
2020-06-23 01:17:05
阅读次数:
99
注意:开启日志聚集功能,需要重新启动nademanager,resourcemanager,historymanager 1. 配置yarn-site.xml <!--日志聚集功能开启--> <property> <name>yarn.log-aggregation-enable</name> <v ...
分类:
其他好文 时间:
2020-06-22 13:03:16
阅读次数:
50
数据来源层 数据库 日志 视频,ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka(存储少量数据) 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类:
其他好文 时间:
2020-06-22 00:56:04
阅读次数:
83
1.x MapReduce:计算+调度 HDFS:数据存储 Common:辅助工具 2.x MapReduce:计算 Yarn:资源调度 HDFS:数据存储 Common:辅助工具 ...
分类:
其他好文 时间:
2020-06-21 23:45:14
阅读次数:
83
主机1:ResourceManager 处理客户端请求 监控NodeManager 启动或监控ApplicationMaster(干的活儿,单个任务) 资源的分配与调度 主机2:NodeManager 管理单个节点上的资源 处理ResourceManager的命令 处理ApplicationMase ...
分类:
其他好文 时间:
2020-06-21 22:52:28
阅读次数:
43
原文地址:https://blog.csdn.net/yw00yw/article/details/81354533 yarn的简介: Yarn是facebook发布的一款取代npm的包管理工具。 yarn的特点: 速度超快。 Yarn 缓存了每个下载过的包,所以再次使用时无需重复下载。 同时利用并 ...
分类:
其他好文 时间:
2020-06-21 19:38:15
阅读次数:
54
本节目录 一 前戏 二 中间件介绍 三 自定义中间件 四 中间件的执行流程 五 中间件版登陆认证 六 xxx 七 xxx 八 xxx 一 前戏 我们在前面的课程中已经学会了给视图函数加装饰器来判断是用户是否登录,把没有登录的用户请求跳转到登录页面。我们通过给几个特定视图函数加装饰器实现了这个需求。但 ...
分类:
其他好文 时间:
2020-06-21 13:24:50
阅读次数:
41
我们经常使用 npm i xxx -S or yarn add xxx 甚至于使用脚手架会出现以下问题: 备注:以下是我使用umi脚手架创建AntD项目时出现的错误 如果你从npm拉下来的依赖是编译完成的文件,那么可以正常运行。但很多NodeJS Npm依赖是跨平台的,也就是说要不你去下载相关依赖在 ...
分类:
其他好文 时间:
2020-06-21 12:10:33
阅读次数:
85