大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 ...
分类：
其他好文 时间：
2021-03-15 11:29:44
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
介绍 分而治之是一个有效的处理大数据的方法，著名的MapReduce就是采用这种分而治之的思路。简单的说，如果要处理1000个数据，但是我们不具备处理1000个数据的能力，只可以处理10个数据。我们可以将这个任务分成100份，每份处理10个，并将最后的结果进行合成，形成1000个数据的处理结果。 把 ...
分类：
编程语言 时间：
2021-03-10 13:02:18
阅读次数：
0
1.union 和 union all 前者可以去重 select sex,address from test where dt='20210218' union all select sex,address from test where dt='20210218'; + + +--+ | sex ...
分类：
其他好文 时间：
2021-03-08 14:17:52
阅读次数：
0
介绍 SqlSugar是一款 老牌 .NET 开源ORM框架，并且在第一时间兼容.NET5，由果糖大数据科技团队维护和更新 ，Github star数仅次于EF 和 Dapper 优点： 简单易用、功能齐全、高性能、轻量级、服务齐全、有专业技术支持一天18小时服务 支持数据库：MySql、SqlSe ...
分类：
数据库 时间：
2021-03-08 13:59:25
阅读次数：
0
HTML 什么是HTML HTML：Hyper Text Markup Language（超文本编辑语言） HTML的发展史 HTML5优势 世界知名浏览器厂商对HTML5的支持 市场的需求 跨平台 W3C标准 W3C World Wide Web Consortium 成立于1944年，Web技术 ...
分类：
Web程序 时间：
2021-03-08 13:28:42
阅读次数：
0
hadoop大数据集群搭建过程中，需要使用到zookeeper进行主从管理和控制，那我们就安装一套集群环境 1、下载zookeeper 登录zookeeper.apache.org官网，找到Getting Started下边的Download。 进去之后我们选择一个版本，比如选择3.6.2，进去后选 ...
分类：
其他好文 时间：
2021-03-06 14:45:39
阅读次数：
0
首先，Python作为一门全场景编程语言，当前在IT互联网行业内确实有比较广泛的应用，而且与Java语言主要应用在IT互联网行业不同，Python在传统行业领域的应用也非常普遍，相信随着云计算、大数据、人工智能等技术平台逐渐开始在传统行业领域开始落地应用，Python语言还有较大的上升空间。 当前世 ...
分类：
编程语言 时间：
2021-03-06 14:39:49
阅读次数：
0
