1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
sentry缺点： 1、组件只支持hive、hdfs、impala 不支持hbase,stome等 show roles; create role admin_zr; 0: jdbc:hive2://cbp5.chinaoly.com:10000/> grant all on server serv ...
分类：
其他好文 时间：
2021-04-06 14:49:20
阅读次数：
0
1. 避坑总结 版本10以前默认开启webPreferences的enableRemoteModule，版本10以后需要手动开启，默认为false 2. 常用模块 remote remote 模块为渲染进程（web页面）和主进程通信（IPC）提供了一种简单方法 shell shell 模块提供与桌面 ...
分类：
其他好文 时间：
2021-04-06 14:21:16
阅读次数：
0
Linux下su与su -命令的本质区别 su命令和su -命令最大的本质区别就是： 前者只是切换了root身份，但Shell环境仍然是普通用户的Shell； 而后者连用户和Shell环境一起切换成root身份了。只有切换了Shell环境才不会出现PATH环境变量错误。su切换成root用户以后，p ...
分类：
系统相关 时间：
2021-04-06 14:01:20
阅读次数：
0
1 安装 sudo apt-get install zsh 2 修改默认shell chsh -s /bin/zsh 3 配置passwd sudo vim /etc/passwd root:x:0:0:root:/root:/bin/bash改成root:x:0:0:root:/root:/bin ...
分类：
系统相关 时间：
2021-04-05 12:42:45
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
hdfs会为每一个用户创建一个回收站目录:/usr用户名/.Trash/,每一个用户在Shell命令行删除的文件/目录，会进入到对应的回收站目录中，在回收站中的数据都有一个生命周期，也就是说当回收站中的文件/目录在一段时间之内没有被用户恢复的话，HDFS就会自动将这个文件/目录彻底删除。 默认情况下 ...
分类：
其他好文 时间：
2021-04-05 12:30:22
阅读次数：
0
windows开发gin项目，最后生成linux 可以直接运行的文件 1.vs code 终端运行: PS L:\ginProject>set GOARCH=amd64PS L:\ginProject> set GOOS=linuxPS L:\ginProject> go build -o test ...
分类：
系统相关 时间：
2021-04-05 12:11:44
阅读次数：
0
