[云计算]OpenStack - Swift Swift在OpenStack中的位置 Swift是OpenStack云存储服务的重要组件,它提供了高可用、分布式、持久性、大文件的对象存储服务。此外Swift还可以利用一系列的便宜硬件存储设备,提供安全、可靠的存储服务。 Swift特点 完全对称、面向 ...
分类:
编程语言 时间:
2021-04-08 13:04:48
阅读次数:
0
本文是我司在工信部信息通信研究院“2021算网融合产业发展论坛暨CCSA TC610 WG4技术年会”上的主题演讲,介绍了Laxcus集群操作系统的产品定位、功能组成、生态建设,大数据、人工智能在系统的角色,其中部分内容略有删减。 ...
分类:
其他好文 时间:
2021-04-07 11:12:35
阅读次数:
0
与现在相对热门的Clickhouse引擎相比,Druid对高并发的支持相对较好和稳定,但是Clickhouse在任务队列模式中的数据查询能力十分出色,但是对高并发支持不够友好,需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多,在数据的查询引擎层通常都具有两种或者以上的OLAP引擎,选... ...
分类:
其他好文 时间:
2021-04-07 10:30:18
阅读次数:
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能,因此它开始出现。因此,引入了Apache Spark,因为它可以实时执行流处理,也可以处理批处理。 除了实 ...
分类:
其他好文 时间:
2021-04-06 15:01:09
阅读次数:
0
2.1 序列化概述 1)什么是序列化 序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输。 反序列化就是将收到字节序列(或其他数据传输协议)或者是磁盘的持久化数据,转换成内存中的对象。 2)为什么要序列化 一般来说,“活的”对象只生存在内存里,关机断电 ...
分类:
其他好文 时间:
2021-04-06 14:52:31
阅读次数:
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类:
其他好文 时间:
2021-04-05 12:37:34
阅读次数:
0
1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类:
其他好文 时间:
2021-04-05 12:32:51
阅读次数:
0
mvn install:install-file -DgroupId=com.hadoop.XXXXX -DartifactId=hadoop-XXXXX -Dversion=0.4XXXXX -Dpackaging=jar -Dfile=/hadoopXXXX.jar ...
分类:
编程语言 时间:
2021-04-05 12:04:49
阅读次数:
0
1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。在经过了数年的发展之后,目前已得到众多云计算厂商的支持并 ...
分类:
其他好文 时间:
2021-04-01 13:35:25
阅读次数:
0
考的是某年 \(FJWC\) 的题。 \(T1\) 比较简单的构造题,但自己考试的时候犯了个 \(zz\) 错误,把边权搞错了,就只拿了 \(50\) 分。 \(T2\) 大数据结构题,一开始想打暴力的,但要分类讨论好多种情况,就没写。 \(T3\) 思维题,打死都想不出正解的那照片那种。 T1 直 ...
分类:
其他好文 时间:
2021-04-01 13:19:13
阅读次数:
0