在上一章中SpringBoot整合RabbitMQ，已经详细介绍了消息队列的作用，这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的，高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势，被广泛用来记录日志 ...
分类：
编程语言 时间：
2020-10-13 17:35:42
阅读次数：
33
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套，均为笔者自己参加面试或者一些读者分享给我的题目，保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程，其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类：
其他好文 时间：
2020-10-13 17:19:39
阅读次数：
26
1.集群的数据迁移 在工作中经常会遇到redis集群的扩容的场景，因为当一个集群服务器中的内存不够用无法支撑更大数据量的缓存或者并发量不够（个人理解），就会将原有的集群扩展。集群扩容需要将集群中原有的master节点上的槽位以及数据迁移到新加入的master节点上。 每个槽都把要里面的数据迁移完才能 ...
分类：
其他好文 时间：
2020-10-09 21:40:42
阅读次数：
46
最近事情有点多，一直没有更博客（原来目标是每天更新博客，每天都能进步一点点） 但最近状态却差了下来 少了更多的专注力 对于学校里的那点奖学金我也不是很在乎Hhhh（毕竟就两三千而已，工资的三分之一） 很多东西没了就没了，也不多揣测他人，也许有的人会因奖学金展露真的面目，但这也算是个机会来看看别人真品 ...
分类：
其他好文 时间：
2020-10-09 21:25:06
阅读次数：
24
个推运维平台高级网络工程师山川随着互联网公司规模的扩大，企业对成本控制和数据安全的需求越来越高，大部分公司往往会自建机房，而非租用云服务器。个推在互联网数据中心（InternetDataCenter，简称IDC）网络规划和运营方面也经历了几次的迭代和变迁，同时，我们也对数据中心网络发展的历程进行了总结。我们将围绕IDC网络运营规划的基本要求、传统PC时代的网络架构、移动互联网和大数据时代的IDC网
分类：
其他好文 时间：
2020-10-09 21:23:35
阅读次数：
21
任何专业的开发者都应该明白，实现方法服从于功能需求，而功能需求体现在接口定义中。 所以，必须要先确定接口定义，然后才能开始实现，这是基本规则，我们所说的说的『早点发现问题早点改，防止到后面大家再返工』是完全正确的工程态度，无可厚非。 相反，大家有时遇到的后端反问『你都开发完了吗』，这种开发者（我不在 ...
分类：
其他好文 时间：
2020-10-09 21:01:16
阅读次数：
23
大数据是指无法在一定时间范围内用常规软件工具进行处理和分析的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能的海量、高增长率和多样性的信息资产
分类：
其他好文 时间：
2020-10-08 18:36:53
阅读次数：
17
shuffle阶段 概念 shule 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shule。 一张图看懂Mapreduce全过程 概念解释 Collect阶段 ...
分类：
其他好文 时间：
2020-10-05 21:45:42
阅读次数：
32
集群分发脚本xsync在/usr/local/bin目录下，创建xsync文件[root@yh-hadoop101bin]#pwd/usr/local/bin[root@yh-hadoop101bin]#chmod777xsync[root@yh-hadoop101bin]#lltotal4-rwxr-xr-x1rootroot487Sep2913:58xsync[root@yh-hadoop10
分类：
其他好文 时间：
2020-10-05 21:32:21
阅读次数：
19
在数据管理领域，我们一直致力于让数据为我们提供价值，为此我们付出大量的努力和投入。在过去二十年，各大企业都在着手搭建数据仓库。当我们费尽艰辛搭建好数据仓库并成功用于线上运行时，发现我们将花费更多时间为数据科学家、分析师做数据准备。分析他们的数据需求，提供闪闪发光的数据报表。这将占用数据维护人员80%的时间投入，这个投入是偏高的，包含如沟通、反查、校正等大量重复和不必要投入。如何提升数据管理能力？我
分类：
其他好文 时间：
2020-09-23 23:53:26
阅读次数：
38
