一、大数据框架三种语义???? 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类：
其他好文 时间：
2021-04-09 13:27:18
阅读次数：
0
[云计算]浅谈文件存储、块存储、对象存储 参考红帽：https://www.redhat.com/zh/topics/data-storage/file-block-object-storage 参考胖墩哥博客：https://www.cnblogs.com/jimlau/p/11926282.ht ...
分类：
其他好文 时间：
2021-04-09 12:55:16
阅读次数：
0
[云计算]OpenStack - Nova Nova在OpenStack中的位置 Nova是Openstack最核心的服务模块，负责管理和维护云计算环境的计算资源，负责整个云环境虚拟机生命周期的管理。 Nova系统架构 Nova架构 Nova组件 组件 功能 一般部署位置 nova-api 接受re ...
分类：
其他好文 时间：
2021-04-08 13:06:54
阅读次数：
0
[云计算]OpenStack - Glance Glance在OpenStack中的位置 Glance在OpenStack中主要为实例创建提供公共镜像服务能力以及镜像、虚拟机快照管理功能。 Glance系统架构 组件 功能 Glance-api 类似nova-api，接受REST API请求，通过其 ...
分类：
其他好文 时间：
2021-04-08 13:05:59
阅读次数：
0
[云计算]OpenStack - Cinder Cinder在OpenStack中的位置 Cinder是OpenStack的一个组件，从Folsom版本从Nova-Volume中分离出来，为云平台提供统一接口，按需分配的，持久化的块存储服务（类似于Amazon EBS服务）。 Cinder的核心功能 ...
分类：
其他好文 时间：
2021-04-08 13:05:14
阅读次数：
0
[云计算]OpenStack - Swift Swift在OpenStack中的位置 Swift是OpenStack云存储服务的重要组件，它提供了高可用、分布式、持久性、大文件的对象存储服务。此外Swift还可以利用一系列的便宜硬件存储设备，提供安全、可靠的存储服务。 Swift特点 完全对称、面向 ...
分类：
编程语言 时间：
2021-04-08 13:04:48
阅读次数：
0
本文是我司在工信部信息通信研究院“2021算网融合产业发展论坛暨CCSA TC610 WG4技术年会”上的主题演讲，介绍了Laxcus集群操作系统的产品定位、功能组成、生态建设，大数据、人工智能在系统的角色，其中部分内容略有删减。 ...
分类：
其他好文 时间：
2021-04-07 11:12:35
阅读次数：
0
与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选... ...
分类：
其他好文 时间：
2021-04-07 10:30:18
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
2.1 序列化概述 1）什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。 反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。 2）为什么要序列化 一般来说，“活的”对象只生存在内存里，关机断电 ...
分类：
其他好文 时间：
2021-04-06 14:52:31
阅读次数：
0
