本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用 ...
分类：
其他好文 时间：
2020-06-22 18:50:44
阅读次数：
295
一、如何理解“递归” 递归是一种应用非常广泛的算法（或者编程技巧）。 二、递归的三个条件 1、一个问题的解可以分解为几个子问题的解 2、这个问题与分解之后的子问题，除了数据规模不同，求解思路完全一样 3、存在递归终止条件 三、如何编写递归代码 写递归代码最关键的是找到如何将大问题分解为小问题的规律， ...
分类：
编程语言 时间：
2020-06-17 18:19:45
阅读次数：
58
1. flink简介 1.1 什么是flink Apache Flink是一个分布式大数据处理引擎，可以对有限数据流（如离线数据）和无限流数据及逆行有状态计算（不太懂）。可以部署在各种集群环境，对各种大小的数据规模进行快速计算。 1.2 flink的架构体系 具体见文档 2. flink的安装 修改 ...
分类：
其他好文 时间：
2020-06-16 00:38:14
阅读次数：
46
所谓不均衡指的是不同类别的样本量差异非常大。从数据规模上分为大数据分布不均衡和小数据分布不均衡两种。 大数据分布不均衡：数据规模大，其中的小样本类的占比较少。但从每个特征的分布来看，小样本也覆盖了大部分或全部特征。 例如：1000万条数据，其中占比50万条的少数分类样本属于这种情况。 小数据分布不均 ...
分类：
其他好文 时间：
2020-06-08 22:11:31
阅读次数：
235
计算乘法很简单，但是如果数据规模过大就会超时了，所以就有了快速幂这个算法。 原理： 如果b是奇数，就有ab=a * a(b-1) 如果b是偶数，就有ab=a(b/2) *a^(b/2) 举个例子 2^4 24 = 22 * 22 22 = 21 * 21 21 = 2 = 20 2^0 = 1 （例 ...
分类：
其他好文 时间：
2020-06-06 12:56:06
阅读次数：
55
一、衡量一个排序算法 1.1、排序算法的执行效率 最好情况、最坏情况、平均情况时间复杂度 时间复杂度的系数、常数 、低阶 时间复杂度反应的是数据规模 n 很大的时候的一个增长趋势，所以它表示的时候会忽略系数、常数、低阶。 但是实际的软件开发中，我们排序的可能是10个、 100个、 1000个这样规模 ...
分类：
编程语言 时间：
2020-06-03 23:16:57
阅读次数：
75
一、HDFS优缺点 优点： 高容错性 数据自动保存多个副本 某一个副本丢失后，它可以自动恢复 适合处理大数据 数据规模，可以达到PB级 文件规模，能够处理百万规模的文件数量 可构建在廉价机器上，通过多副本保证可靠性 缺点： 不适合低延时数据访问 不适合对大量小文件进行存储 存储大量小文件，他会占用N ...
分类：
其他好文 时间：
2020-06-01 23:45:55
阅读次数：
68
吴翰清?（道哥）眼中的机器智能：计算机的再发展 阿里妹导读：人类社会的发展离不开技术的革新。一项新技术的成熟需要经历哪些考验？为什么说对于计算机、AI 的发展而言，算力和数据都是重要的生产资料？如何实现数据的智能化？通过本文，吴翰清（道哥）将从人类社会的发展讲起，梳理总结技术革新的规律和脉络，分享他 ...
分类：
其他好文 时间：
2020-05-31 16:05:32
阅读次数：
74
数据结构的三要素 1.逻辑结构 数据元素之间的逻辑关系。 分为线性关系与非线性关系，线性关系：线性表、栈、队列；非线性关系：树、图、集合 2.物理结构 顺序存储（逻辑上相邻的元素存储在物理结构上相邻的存储单元里） 链接存储 索引存储 散列存储 3.数据的运算 算法时间复杂度 一个算法随着数据或者说输 ...
分类：
其他好文 时间：
2020-05-08 23:00:56
阅读次数：
125
NoSQL的四大种类 NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代，虽然RDBMS很优秀，但是面对快速增长的数据规模和日渐复杂的数据模型，RDBMS渐渐力不从心，无法应对很多数据库处理任务，这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚 ...
分类：
数据库 时间：
2020-05-06 12:12:17
阅读次数：
86
