码迷,mamicode.com
首页 >  
搜索关键字:kafka 基本概念    ( 13632个结果
Ruby on Rails开发Web应用的基本概念
Web应用架构C/S架构Web应用从最初就採用C/S架构。Server负责监听client请求,提供资源,Client向server发起请求并渲染页面。两者通过TCP/IP协议栈之上的HTTP协议通信。多层架构在Web 2.0时代,随着交互性的要求,这个架构变得更为复杂。Server须要提供更复杂的...
分类:Web程序   时间:2014-07-11 08:55:50    阅读次数:180
kafka入门二:Kafka的设计思想、理念
本节主要从整体角度介绍Kafka的设计思想,其中的每个理念都可以深入研究,以后我可能会发专题文章做深入介绍,在这里只做较概括的描述以便大家更好的理解Kafka的独特之处。本节主要涉及到如下主要内容: Kafka设计基本思想Kafka中的数据压缩Kafka消息转运过程中的可靠性Kafka集群镜像复制Kafka 备份机制 一、kafka由来      由于对JMS日常管理的过度开支和...
分类:其他好文   时间:2014-07-11 00:59:04    阅读次数:246
漫游kafka实战篇之搭建Kafka开发环境
上篇文章中我们搭建了kafka的服务器,并可以使用Kafka的命令行工具创建topci,发送和接收消息。下面我们来搭建kafka的开发环境。 大家开发环境需要引入kafka的jar包,一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中,这种比较简单了。不过我们使用另一种更加流行的方式,使用maven管理jar包依赖。 创建好maven项目后,在...
分类:其他好文   时间:2014-07-11 00:12:15    阅读次数:313
漫游Kafka入门篇之简单介绍
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序成为producers. 将预订topics并消费消息的程序成为consumers. Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker....
分类:其他好文   时间:2014-07-11 00:01:24    阅读次数:197
kafka入门三:写第一个Kafka应用
一、整体看一下Kafka 我们知道,Kafka系统有三大组件:Producer、Consumer、broker 。 producers 生产消息并推(push)送给brokers,consumers从brokers把消息提取(pull)出来。 二、开发一个Producer应用          Producers用来生产消息并把产生的消息推送到Kafka...
分类:其他好文   时间:2014-07-10 23:07:37    阅读次数:263
漫游Kafka设计篇之效率优化
Kakfa在提高效率方面做了很大努力。Kakfa的一个主要使用场景是处理网站活动日志,吞吐量是非常大的,每个页面都会产生好多次写操作。读方面,假设每个消息只被消费一次,读的量的也是很大的,Kafka也尽量使读的操作更轻量化。 我们之前讨论了磁盘的性能问题,线性读写的情况下影响磁盘性能问题大约有两个方面:太多的琐碎的I/O操作和太多的字节拷贝。...
分类:其他好文   时间:2014-07-10 22:24:30    阅读次数:260
漫游Kafka设计篇之数据持久化
4.2 Persistence(持久化) 不要畏惧文件系统! Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢,这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。 在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s,但是随即写的速度却是...
分类:其他好文   时间:2014-07-10 21:59:28    阅读次数:260
初步学习C++:C++的基本概念
开始学习C++,先从最基本的概念开始,让自己有一个系统的知识概念...
分类:编程语言   时间:2014-07-10 19:54:29    阅读次数:155
grep命令以及正则表达式,算数运算.
最近一段时间一直在学习算术运算和正则表达式以及条件判断,连续看了四五遍,基本概念已经能够搞清楚了,实际操作中容易把正则表达式和算术运算以及条件判断混淆.看来还是要勤加联系.今天终于是有勇气来总结这两周的学习.在这之前,因为在练习这些逻辑概念性的知识经常会用到grep命..
分类:其他好文   时间:2014-07-10 18:42:52    阅读次数:595
HDFS详解
【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是,HDFS中,如果一...
分类:其他好文   时间:2014-07-10 16:51:14    阅读次数:304
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!