承接上一篇HDFS实验,学习入门课后的实验真的是以简单为主，后续估计得每个组件一一击破。 Hbase介绍 Hbase是一个分布式的、面向列的开源数据库，源于Google的一篇论文《BigTable：一个结构化的数据的分布式存储系统》。HBase中确定一个元素，需要提供表名，行，列族名，列。因为是以列 ...
分类：
其他好文 时间：
2020-07-05 10:24:53
阅读次数：
74
一、Redis 简介： Redis是一个开源的、基于内存的数据结构存储器，可以用作数据库、缓存和消息中间件。 Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted ...
分类：
数据库 时间：
2020-07-03 17:09:08
阅读次数：
77
1.Redis介绍 Redis说白了就是个存放Key-Value数据接口的内存存储系统，主要用作数据库缓存和消息代理。 内部支持sring，hash，list，set，sorted-set五种数据结构。Redis支持Lua脚本，可以通过集群部署的方式实现高可用。 2.Redis安装 2.1 Wind ...
分类：
其他好文 时间：
2020-07-02 16:46:52
阅读次数：
73
一、服务概述 镜像服务 (glance) 允许用户发现、注册和获取虚拟机镜像。它提供了一个 REST API，允许您查询虚拟机镜像的 metadata 并获取一个现存的镜像。您可以将虚拟机镜像存储到各种位置，从简单的文件系统到对象存储系统—-例如 OpenStack 对象存储, 并通过镜像服务使用。 ...
分类：
其他好文 时间：
2020-06-29 17:10:51
阅读次数：
98
#缓存策略 ##缓存的实际用处 接单大厅 物流仓库等 ##缓存的场景 计算的结果，如：反射对象缓存 请求的结果，如：DNS缓存 临时共享数据，如：会话存储 热点访问内容页：如：商品详情 热点变更逻辑数据，如：秒杀的存储库，排行榜 ##缓存的策略 越接近最终的输出结果，效果越好 缓存命中率越高越好 # ...
分类：
其他好文 时间：
2020-06-28 22:37:09
阅读次数：
71
Hadoop是一个能够对海量数据进行分布式处理的系统架构，主要包含3大块：分布式存储系统HDFS(Hadoop Distributed File System)分布式存储层、分布式计算框架MapReduce分布式计算层、资源管理系统YARN(Yet Another Resource Negotiat... ...
分类：
其他好文 时间：
2020-06-27 11:40:19
阅读次数：
93
一、简介 Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based ...
分类：
Web程序 时间：
2020-06-27 00:19:37
阅读次数：
77
一、流处理 1.1 静态数据处理 在流处理之前，数据通常存储在数据库，文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储，采用 MapReduce 进行数据查询或分析，这就是典型的静态数据处理架构。 1.2 流 ...
分类：
其他好文 时间：
2020-06-26 20:02:43
阅读次数：
49
redis和memcached的区别详解 Redis 和 Memcache 都是基于内存的数据存储系统。Memcached是高性能分布式内存缓存服务；Redis是一个开源的key-value存储系统。与Memcached类似，Redis将大部分数据存储在内存中，支持的数据类型包括：字符串、哈希 表、 ...
分类：
系统相关 时间：
2020-06-26 12:47:09
阅读次数：
58
etcd是coreOS使用golang开发的分布式，一致性的kv存储系统，因其易用性和高可靠性被广泛运用于服务发现、消息发布和订阅、分布式锁和共享配置等方面，也被认为是zookeeper的强有力的竞争者。作为分布式kv，其底层使用raft算法实现多副本数据的强一致性。etcd作为raft开源实现的标 ...
分类：
其他好文 时间：
2020-06-24 21:47:54
阅读次数：
74
