前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性 ...
分类：
Web程序 时间：
2021-03-17 14:57:32
阅读次数：
0
IDEA整合SSM框架学习 项目实践及遇到的问题 一、SSM框架整合，项目实践 1.1 依赖导入，pom.xml <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> ...
分类：
其他好文 时间：
2021-03-17 14:49:21
阅读次数：
0
pip install setuptools pip install kafka-python执行以上两个命令就可以安装成功。说明：setuptools是kafka-python的依赖库 ...
分类：
编程语言 时间：
2021-03-17 14:49:03
阅读次数：
0
处在数字化时代的浪潮中，相信大家对于“数据”都不会陌生。无论对于企业还是个人，数据已经成为了数字化时代的“石油”。早在几年前马云就曾提出过一个观点——未来将会实现从IT时代向DT时代的变革。而在几年后的今天，我们切实感受到了大数据所带来的滚滚红利。 ? 在享受大数据红利的同时，也同样要注意数据的安全 ...
分类：
其他好文 时间：
2021-03-17 14:23:44
阅读次数：
0
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了，因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类：
其他好文 时间：
2021-03-17 14:04:41
阅读次数：
0
设计模式介绍 设计模式是程序员在面对同类软件工程设计问题所总结出来的有用的经验，模式不是代码，而是某类问题的通用解决方案，设计模式（Design pattern）代表了最佳的实践。这些解决方案是众多软件开发人员经过相当长的 一段时间的试验和错误总结出来的 设计模式的本质提高软件的维护性，通用性和扩展 ...
分类：
其他好文 时间：
2021-03-16 12:00:38
阅读次数：
0
新增了五个教程： Python 和 Jupyter 机器学习入门 零、前言 一、Jupyter 基础知识 二、数据清理和高级机器学习 三、Web 爬取和交互式可视化 Python 数据科学和机器学习实践指南 零、前言 一、入门 二、统计和概率回顾和 Python 实践 三、Matplotlib 和高 ...
分类：
Web程序 时间：
2021-03-15 11:11:19
阅读次数：
0
功能模块分析 1.首页（菜单功能）2.添加学生信息3.删除学生信息4.显示学生信息5.修改学生信息6.按照学生年龄排序 代码如下： def main(): while True: printmenu() #打印菜单 number = int(input("请输入功能对应的数字：")) if numb ...
分类：
编程语言 时间：
2021-03-11 20:36:31
阅读次数：
0
Spark的五种JOIN策略解析 JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容： 影响JOIN操作的因素 Spark中JOIN执行的5种策略 Spa ...
分类：
其他好文 时间：
2021-03-10 13:42:57
阅读次数：
0
