Apache Kudu是由Cloudera开源的存储引擎,可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展,使用Raft协议进行一致性保证,并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结 合紧密。本文将为您介绍Kudu的一些基本 ...
分类:
Web程序 时间:
2017-08-18 14:27:26
阅读次数:
269
恢复内容开始 一、数据分片相关: 数据分片:系统水平扩展。数据分片存的各个机器上 数据复制:保证数据的高可用性,保证读操作的效率,客服端从多个备份数据中选择物理距离较近的读取,提高单次读取效率 数据路由:分片后找到某条记录的存储位置 缺点:数据一致性 二、数据分片和路由的抽象模型 二级映射: 1、k ...
分类:
其他好文 时间:
2017-08-17 21:37:28
阅读次数:
185
Session管理是企业级Java中的一部分。随着现在的趋势朝着微服务以及可水平扩展的原生云应用发展,传统的session管理逐渐暴露出自己的不足。 本文阐述spring session API如何革新过去的session管理的不足。先阐述一下当前session管理中的问题,然后深入介绍Spring ...
分类:
编程语言 时间:
2017-08-04 14:27:27
阅读次数:
262
本文翻译自Elasticsearch官方指南的life inside a cluster一章。 ES就是为高可用和可扩展而生的。扩展能够通过购置性能更强的server(垂直扩展或者向上扩展,Vertical Scale/Scaling Up),亦或是通过购置很多其它的server(水平扩展或者向外扩 ...
分类:
其他好文 时间:
2017-07-05 21:11:40
阅读次数:
208
一、简介Kafka是Apache下的一个子项目,是一个高性能跨语言分布式发布/订阅消息队列系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark都支持与Kafka集成。Kafka适合做什么?官方文档介绍,它通常被..
分类:
其他好文 时间:
2017-06-12 22:33:45
阅读次数:
236
Kafka起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 1 概述 Kafka与传统消息系 ...
分类:
其他好文 时间:
2017-06-09 23:35:14
阅读次数:
316
JStorm中的并行( parallelismction )介绍 JStrom中。一个计算任务通过多台机器使得计算分解为多个独立并行执行在集群内执行的任务(tasks)。从而得到水平扩展。JStorm中,一个任务(task)就是一个能够执行在集群内不论什么节点的一个spout或一个bolt实例。 要 ...
分类:
Web程序 时间:
2017-05-28 17:26:21
阅读次数:
870
Kafka架构 如上图所示,一个典型的kafka集群中包含若干producer(可以是web前端产生的page view,或者是服务器日志,系统CPU、memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干consumer group,以及一个Z ...
分类:
其他好文 时间:
2017-05-23 12:17:23
阅读次数:
422
在企业中,随着公司业务的扩张,用户量的增大,单一节点应用无法支撑正常的业务逻辑,比较常见的现象是访问速度变慢,甚至超时,严重时可能会造成系统宕机。为了尽量减少宕机的风险,单一节点系统需要进行水平扩展,采用分布式-分而治之的方式对海量请求进行处理,分摊单个节点的压力,使系统整体高可用。但分布式也会带来 ...
分类:
系统相关 时间:
2017-05-20 18:23:45
阅读次数:
328
mysql的复制功能是 大规模,高性能应用的基础。 分担读负载。水平扩展 是通过二进制日志进行复制,是异步的。 只记录成功执行的修改事件,出现错误的和回滚的是不会纪录的。 日志路径 查看日志 ROW格式,mysql官方推荐的方式 row格式直接是查看不了的,需要加上 -vv 参数 如果删除,更新,段 ...
分类:
数据库 时间:
2017-05-19 11:10:57
阅读次数:
221