一、topic下引入partition的作用：topic是逻辑的概念，partition是物理的概念。为了性能考虑，如果topic内的消息只存于一个broker，那这个broker会成为瓶颈，无法做到水平扩展。kafka通过算法尽可能的把partition分配到集群的不同服务器上。partition也可以理解为segment的封装。一个partition对应多个segment。一个segment包
分类：
其他好文 时间：
2018-01-22 19:20:22
阅读次数：
116
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 背景介绍 Kafka创建背景 Kafka是一个消息系统，原本开发自Li ...
分类：
其他好文 时间：
2018-01-21 16:23:21
阅读次数：
154
基础设施环境 # 总体採用 centos6.5 + nginx + tomcat7.0 负载均衡:nginx 配置，使用 nginx 作为负载均衡。权重配置。 在web层做到水平扩展、 以及配置日志格式，支持db、cache调用次数。响应时间，做全站的监控、 支持相应參数的配置，方便日后做大数据营销 ...
分类：
编程语言 时间：
2018-01-17 01:20:05
阅读次数：
188
集群搭建 一：静态网络集群 1.简介 ? 当ActiveMQ面对大量消息存储和大量Client交互时，性能消耗将会达到单个broker极限，此时我们需要对ActiveMQ进行水平扩展。ActiveMQ提供了“network”机制，可以把多个broker实例“串联”一起，形成“Forward Brid ...
分类：
其他好文 时间：
2018-01-03 13:59:53
阅读次数：
159
Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏 ...
分类：
其他好文 时间：
2017-12-22 17:32:32
阅读次数：
235
在学习几年编程之后，你会发现所有的问题都没有简单、快捷的解决方案，很多问题都需要权衡和妥协，而本文介绍的就是数据库在并发性能和可串行化之间做的权衡和妥协 - 并发控制机制。 如果数据库中的所有事务都是串行执行的，那么它非常容易成为整个应用的性能瓶颈，虽然说没法水平扩展的节点在最后都会成为瓶颈，但是串 ...
分类：
数据库 时间：
2017-12-07 00:06:43
阅读次数：
206
非关系型数据库和关系型数据库的差别： 非关系型数据库的优势： 1. 性能NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。 2. 可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。 关系型数据库的优势： 1. 复杂查询 ...
分类：
数据库 时间：
2017-11-29 00:12:14
阅读次数：
189
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。Spark streaming集成... ...
分类：
其他好文 时间：
2017-11-26 16:54:55
阅读次数：
233
Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。一、kafka体系架构一个典型的K... ...
分类：
其他好文 时间：
2017-11-26 11:01:03
阅读次数：
196
非关系型数据库和关系型数据库的差别：非关系型数据库的优势：1. 性能NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。2. 可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。关系型数据库的优势：1. 复杂查询可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询。2. 事务支持使得对于安全性能很高的数据访问
分类：
编程语言 时间：
2017-11-25 21:45:21
阅读次数：
204
