LSM(Log-Structured MergeTree) 树 LSM树核心思想是放弃部分读能力,换取写入的最大化能力。LSM 树的核心思路其实非常简单,就是假定内存足够大,因此不需要每次有数据更新就必须将数据写入到磁盘中,而可以先将最新的数据驻留在内存中,等到积累到足够多之后,再使用归并排序的方式 ...
分类:
其他好文 时间:
2020-10-16 11:14:04
阅读次数:
23
这是一份涵盖了Java相关29个技能的Java架构进阶学习资料,绝对是全网最好全完整的一个学习文档资料了。下面给大家介绍一下这份【BAT面试手册】都有哪些知识点的详细解析。 需要领取完整版的老铁请转发+关注,然后添加我的VX(tkzl6666)获得免费领取方式! 1、JVM 线程 JVM内存区域 J ...
分类:
编程语言 时间:
2020-10-16 10:27:24
阅读次数:
24
递归(面试高频题) 就是一个方法,自身调用自身,但递归不适用于较大数据计算,会导致计算器内存不足从而崩溃 递归包含两个部分: 递归头:什么时候不调用自身方法。如果没有递归头,就会陷入死循环。 递归体:什么时候需要调用自身方法。 递归的算法公式 package weiwei.method;public ...
分类:
其他好文 时间:
2020-10-13 17:48:50
阅读次数:
43
在上一章中SpringBoot整合RabbitMQ,已经详细介绍了消息队列的作用,这一种我们直接来学习SpringBoot如何整合kafka发送消息。 kafka简介 kafka是用Scala和Java语言开发的,高吞吐量的分布式消息中间件。高吞吐量使它在大数据领域具有天然的优势,被广泛用来记录日志 ...
分类:
编程语言 时间:
2020-10-13 17:35:42
阅读次数:
33
猫场面试题第 1 套 以下为我为大家整理的猫场面试题第一套,均为笔者自己参加面试或者一些读者分享给我的题目,保证真实和准确性。 1 框架部分 1.1 Spark 提交 job 流程 所谓提交流程,其实就是我们开发人员根据需求写的应用程序通过 Spark 客户端提交给 Spark 运行环境执行计算的流 ...
分类:
其他好文 时间:
2020-10-13 17:19:39
阅读次数:
26
NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,当元数据有更新或者添加元数据时,修改内存中的元数据会把操作记录追加到edits日志文件中,这里不包括查询操作。如果NameNode节点发生故障,可以通过FsImage和Edits的合并,重新把元数据加载到内存中,此时SecondaryNameNode专门用于fsImage和edits的合并。
分类:
其他好文 时间:
2020-10-12 20:32:44
阅读次数:
26
1.集群的数据迁移 在工作中经常会遇到redis集群的扩容的场景,因为当一个集群服务器中的内存不够用无法支撑更大数据量的缓存或者并发量不够(个人理解),就会将原有的集群扩展。集群扩容需要将集群中原有的master节点上的槽位以及数据迁移到新加入的master节点上。 每个槽都把要里面的数据迁移完才能 ...
分类:
其他好文 时间:
2020-10-09 21:40:42
阅读次数:
46
个推运维平台高级网络工程师山川随着互联网公司规模的扩大,企业对成本控制和数据安全的需求越来越高,大部分公司往往会自建机房,而非租用云服务器。个推在互联网数据中心(InternetDataCenter,简称IDC)网络规划和运营方面也经历了几次的迭代和变迁,同时,我们也对数据中心网络发展的历程进行了总结。我们将围绕IDC网络运营规划的基本要求、传统PC时代的网络架构、移动互联网和大数据时代的IDC网
分类:
其他好文 时间:
2020-10-09 21:23:35
阅读次数:
21
hadoop安装 1. 安装jdk a.复制jdk-xx.tar.gz 到~Downloads b.解压 c. 移动到/soft ; 创建软连接ln -s /soft/jdk-xxx jdk d.配置环境变量 [/etc/enviroment] JAVA_HOME=/soft/jdk PATH=". ...
分类:
其他好文 时间:
2020-10-09 21:22:17
阅读次数:
27
<repositories> <repository> <id>hadoop</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos</url> </repository> <dependency> <groupId> ...
分类:
其他好文 时间:
2020-10-08 19:30:36
阅读次数:
21