1.血统机制 RDD只支持粗粒度转换，即只记录单个块上执行的单个操作。将创建RDD的一系列Lineage（即血统）记录下来，以便恢复丢失的分区。RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。 RDD与RDD ...
分类：
其他好文 时间：
2020-04-06 17:52:36
阅读次数：
154
使用netty的开源框架 Dubbo：阿里开源的高性能rpc通讯框架 RocketMQ：阿里出品的高性能消息队列 Spark：为大规模数据处理设计的一款计算引擎 Elasticsearch,Cassandra,Flink,Netty-SocketIO,Spring5,Play,Grpc... Net ...
分类：
Web程序 时间：
2020-04-06 00:28:27
阅读次数：
121
大数据安全系列的其它文章 https://www.cnblogs.com/bainianminguo/p/12548076.html 安装kerberos https://www.cnblogs.com/bainianminguo/p/12548334.html hadoop的kerberos认证 ...
分类：
其他好文 时间：
2020-04-06 00:21:08
阅读次数：
411
本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark系列的第一篇文章。 最近由于一直work from home节省了很多上下班路上的时间，加上今天的LeetCode的文章篇幅较小，所以抽出了点时间加更了一篇，和大家分享一下最近在学习的spark相关的内容。看在我这么拼的 ...
分类：
其他好文 时间：
2020-04-05 13:48:29
阅读次数：
100
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL？如果大家了解Hive的话，应该知道它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRedu ...
分类：
数据库 时间：
2020-04-05 13:33:32
阅读次数：
113
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****************************启动集群命令： start-all.sh启动zookeeper： zkServer.sh start 启动journal ...
分类：
Web程序 时间：
2020-04-05 00:40:06
阅读次数：
101
./dev/make-distribution.sh —tgz —name h32hive -Pyarn -Phadoop-3.2.1 -Dhadoop.version=3.2.1 -Phive -Phive-thriftserver -DskipTests +++ dirname ./dev/ma ...
分类：
其他好文 时间：
2020-04-04 21:00:49
阅读次数：
101
在spark ml pipeline的特征提取和转换阶段，有一种transformer可以将机器学习训练数据中常见的字符串列（例如表示各种分类）转换为数值索引列，以便于计算机处理。它就是StringIndexer。它支持的索引范围为[0, numLabels)（不支持的会编码为numLabels）， ...
分类：
其他好文 时间：
2020-04-04 09:34:33
阅读次数：
69
1. 业务说：“…… bulabula……，这个需求很简单，怎么实现我不管？” 面对霸气侧漏的业务需求，由于没有大数据知识储备，咱心里没底，咱也不敢问，咱也不敢说，只能静下来默默储备、默默寻觅解决方案。 关注“一猿小讲”公众号的小伙伴们，今天有福啦，因为今天我们将一起跳出系统之外，共同迈入大数据之 ...
分类：
其他好文 时间：
2020-04-04 09:24:57
阅读次数：
80
