1、Spark基于内存进行运算 2、Spark核心是SprintContext,是程序的入口 3、RDDs是提供抽象的数据集,通过RDDS可以方便对分布在各个节点的数据进行计算,而且忽略细节 4、RDDs与Stream API 5、RDDs采用类似延时加载,计算功能 6、RDDs的combineBy ...
分类:
其他好文 时间:
2017-07-11 12:17:41
阅读次数:
210
Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的,也就是说无论你的持久化策略选择的是什么,只要用到了redis的复制功能,就一定会有内存快照发生,那么首先要注意你的系统内存容量规划,原因可以参考我上一篇文章中提到的Redis磁盘IO问题。 Redis复制流程在Slav ...
分类:
其他好文 时间:
2017-07-08 11:11:52
阅读次数:
231
Alluxio是一种基于内存的分布式文件系统,支持不同的缓存替换策略,来替换内存中的文件快。Alluxio中的文件时以文件块形式组织,其中文件通过自己实现的inode数据结构记录文件属性并索引。 下面首先介绍几种不同的缓存策略,这些缓存策略被广泛的应用在web,数据库,文件系统中。 1 基于访问频率 ...
分类:
其他好文 时间:
2017-07-06 21:26:06
阅读次数:
274
1. Redis简介 Redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。 1.1 特点 支持更多数据类型 和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(so ...
分类:
其他好文 时间:
2017-07-05 13:31:27
阅读次数:
209
一、solr的基本概念 大家可以把solr搜索引擎看成一个数据库,不过是基于内存的。它可以存储信息,并且根据你的查询条件返回你想要的信息。 1、collection和core的概念 collection和core其实可以看成功一个概念,都是同一种数据格式的集合,可以对照数据库中的一张表。 在solr ...
分类:
其他好文 时间:
2017-07-03 12:24:51
阅读次数:
251
一、Redis是什么? Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis支持网络、可基于内存亦可持久化的、日志型、Key-Value数据库,并提供多种语言的API。 Redis通常被称为数据结构服务器,因为值(value)可以是 字符串(String ...
分类:
其他好文 时间:
2017-06-29 15:25:42
阅读次数:
262
Redis简介Redis(REmoteDIctionaryServer)是完全开源免费的使用ANSIC语言编写,遵守BSD协议,支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。它通常被称为数据结构服务器,因为值(value)可以是字符串(String),哈希(Map),列表(list),集合(set..
分类:
其他好文 时间:
2017-06-22 16:45:58
阅读次数:
242
presto是什么 是Facebook开源的,完全基于内存的并?计算,分布式SQL交互式查询引擎 是一种Massively parallel processing (MPP)架构,多个节点管道式执? ?持任意数据源(通过扩展式Connector组件),数据规模GB~PB级 使用的技术,如向量计算,动 ...
分类:
其他好文 时间:
2017-06-21 16:52:05
阅读次数:
248
Redis是一个基于内存的数据库,其不仅读写速度快,每秒可以执行大约110000的写操作,81000的读取操作,而且其支持存储字符串,哈希结构,链表,集合丰富的数据类型。所以得到很多开发者的青睐。加之其支持主从、持久化等功能,3.0版本开始正式提供分片技术、让其在大型互联网应用中大显身手,本文通过实 ...
分类:
其他好文 时间:
2017-06-19 00:35:51
阅读次数:
174
一 概述 1.Redis是什么? Redis是使用C语言编写的基于内存且支持持久化的、高性能的key-value的noSQL数据库,主要储存访问量较大、更改频繁、安全要求不高的数据。 2.NoSQL 非关系型数据库。关系型数据库是基于关系模型建立的数据库,关系模型体现的是现实世界中实体间的关联关系。 ...
分类:
其他好文 时间:
2017-06-18 19:27:05
阅读次数:
141