1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
安装包 ambari-2.7.3.0-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-GPL-3.1.0.0-centos7-gpl.tar.gz Ambari Ambari 跟 ...
分类：
其他好文 时间：
2021-06-23 16:52:56
阅读次数：
0
为什么要分库分表? 将承受并发的能力提升3倍 将大数据了拆成多份 提升sql效率 用过哪些分库分表中间件/不同中间件的优缺点 cobar TDDL 只支持基本的crud操作 atlas 社区不咋维护了 sharding-jdbc(集成client) 运维成本低 缺点是耦合系统版本 mycat(pro ...
分类：
数据库 时间：
2021-06-23 16:37:48
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
简介： 云原生是一种新型技术体系，是云计算未来的发展方向。今天，阿里云李飞飞将和我们分享何为云原生、云原生如何与分布式有机结合，以及云原生技术如何帮助客户迈入数字原生时代。 作者 | 飞刀来源 | 阿里技术公众号 云原生是一种新型技术体系，是云计算未来的发展方向。今天，我来谈谈何为云原生、云原生如何 ...
分类：
数据库 时间：
2021-06-22 18:24:41
阅读次数：
0
MongoDB概述 MongoDB是一款NoSQL类型的文档型数据库。 NoSQL NoSQL是一种非关系型DMS，不需要固定的架构，可以避免joins链接，并且易于扩展。NoSQL数据库用于具有庞大数据存储需求的分布式数据存储。NoSQL用于大数据和实时Web应用程序。 MongoDB特点 面向文 ...
分类：
数据库 时间：
2021-06-20 18:39:42
阅读次数：
0
Pandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素 ...
分类：
编程语言 时间：
2021-06-20 18:20:09
阅读次数：
0
Pandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素 ...
分类：
编程语言 时间：
2021-06-20 18:16:15
阅读次数：
0
选题的背景为什么要选择此选题？要达到的数据分析的预期目标是什么？ 小说是文化的一种载体,在古今中外的历史中都占据着重要的地位。人蒙对小说的需求也并不相同，如何在大量的小说里选取自己喜欢的小说，成为了问题，基于Python的数据爬虫技术是目前使用最广泛的方法之一，它能够以最快捷的方式展示用户体验数据， ...
分类：
编程语言 时间：
2021-06-20 17:51:57
阅读次数：
0
平衡树入门——替罪羊树 1 简介 替罪羊树是一颗重量平衡树，不需要旋转，但是非常暴力，据说常数很小，但是我写的替罪羊树跑不过 Treap ，可能常数比较大。。。 2 数据结构解析 2.1 节点结构体 struct node{ int val,l,r,cnt,size,allsize,not_dele ...
分类：
其他好文 时间：
2021-06-20 17:42:23
阅读次数：
0
