2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
sentry缺点： 1、组件只支持hive、hdfs、impala 不支持hbase,stome等 show roles; create role admin_zr; 0: jdbc:hive2://cbp5.chinaoly.com:10000/> grant all on server serv ...
分类：
其他好文 时间：
2021-04-06 14:49:20
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
mvn install:install-file -DgroupId=com.hadoop.XXXXX -DartifactId=hadoop-XXXXX -Dversion=0.4XXXXX -Dpackaging=jar -Dfile=/hadoopXXXX.jar ...
分类：
编程语言 时间：
2021-04-05 12:04:49
阅读次数：
0
1、hive-site.xml解读 hive的远程模式，mysql连接配置。 <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value><!--mysql的user--> <description>U ...
分类：
其他好文 时间：
2021-04-05 11:57:53
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
准备文本文件从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-30 13:26:11
阅读次数：
0
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类：
其他好文 时间：
2021-03-30 13:18:46
阅读次数：
0
# 下载 官网地址:https://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz ################清理原有mysql环境################### ...
分类：
数据库 时间：
2021-03-30 13:06:10
阅读次数：
0
