windows 下部署kafka 日记 转一、下载去apache 的官网（http://kafka.apache.org/downloads.html）下载最新的二进制版的压缩包。目前的最新版本是kafka_2.11-0.8.2.1.tgz。二、解压直接解压到D 盘根目录下。三、修改配置文件注意版本...
分类：
Windows程序 时间：
2015-09-01 18:13:19
阅读次数：
7003
概述 kafka是由LinkedIn设计的一个高吞吐量、分布式、基于发布订阅模式的消息系统，使用scala编写，它可以水平扩展、可靠性、异步通信和高吞吐量等特性而被广泛使用。 基本概念 Topic：Kafka把接收的消息按种类划...
分类：
其他好文 时间：
2015-08-31 17:45:21
阅读次数：
219
PacificA是微软的在基于log的分布式存储系统中的复制技术。由于配置管理器维护着当前配置的真实情况，因此主节点不必保持不变。这是因为配置的本地视图在不同服务器上是不必同步的。特别是，我们必须避免这样的情况，一个老主节点和一个新主节点都在同一时间处理查询-老主节点可能没有意识到一个重配置信息已经...
分类：
其他好文 时间：
2015-08-31 17:19:14
阅读次数：
376
经常看到一些词一起出现，今天总结下。 日后再看All from Apache Offical Docs1/apache kafka what is kafka? kafka is a distributed, partipationed, replicated commit log serv...
分类：
其他好文 时间：
2015-08-31 11:29:46
阅读次数：
204
这个文档是?Cloudera Distribution of Apache Kafka?1.3.x. 其他版本的文档在Cloudera Documentation. Using Kafka with Flume 在CDH 5.2.0 及更高的版本中, Flume 包含一个Kafka source and sink。使用它们可以...
分类：
Web程序 时间：
2015-08-29 17:21:58
阅读次数：
338
由于做数据处理时，经常遇到maven 下载依赖包错误，下面我将自己下载好的repository 分享下 里边包含：Hadoop ，storm ,sprk ,kafka ,等 压缩后500多M。 http://pan.baidu.com/s/1pJN2ScV 如有问题请联系: chaoren399@1...
分类：
其他好文 时间：
2015-08-28 00:36:13
阅读次数：
113
kafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。支持通过kafka服务器和消费机集群来分区消息。支持Hadoo...
分类：
Web程序 时间：
2015-08-27 18:32:36
阅读次数：
184
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实 时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读...
分类：
Web程序 时间：
2015-08-27 18:32:29
阅读次数：
302
往kafka发送消息时失败，抛出错误信息：kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries。列出分析过程和解决方案，遇到问题的朋友可参考。...
分类：
其他好文 时间：
2015-08-27 13:33:24
阅读次数：
24863
实际上kafka对机器的需求与Hadoop的类似。原来，对于Linkin这样的互联网企业来说，用户和网站上产生的数据有三种：需要实时响应的交易数据，用户提交一个表单，输入一段内容，这种数据最后是存放在关系数据库(Oracle,MySQL)中的，有些需要事务支持。活动流数据，准实时的，例如..
分类：
其他好文 时间：
2015-08-25 17:03:36
阅读次数：
237
