最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:53:54
阅读次数：
174
最近写完storm实时统计pv.uv.ip的项目后，前端服务器用flume进行收集，逐步把所有的服务器都增加上。增加的差不多时。Kafka报了如下类似错误：4709[main]WARNkafka.producer.async.DefaultEventHandler-Producerequestwithcorrelationid214faileddueto[datasift,0]:kafka.commo..
分类：
其他好文 时间：
2015-04-16 17:51:53
阅读次数：
161
INFO BlockManagerMaster: Registered BlockManagerException in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils...
分类：
其他好文 时间：
2015-04-13 18:12:53
阅读次数：
252
Kafka——分布式消息系统架构ApacheKafka是2010年12月份开源的项目，采用scala语言编写，使用了多种效率优化机制，整体架构比较新颖（push/pull），更适合异构集群。设计目标：(1) 数据在磁盘上的存取代价为O(1)(2) 高吞吐率，在普通的服务器上每秒也能处理几十万条消息(...
分类：
其他好文 时间：
2015-04-11 13:01:35
阅读次数：
163
我在网上搜了很多资料 说是zookeeper的问题，修改更改server.properties下的host.name,zookeeper.connect的localhost 为ip地址? 怎么也不管用 后来就单独建了一个项目，发现没有问题。结论是jar包冲突，逐个删除...
分类：
其他好文 时间：
2015-04-10 18:13:04
阅读次数：
179
Kafka可以配置使用JMX进行运行状态的监控，既可以通过JDK自带Jconsole来观察结果，也可以通过Java API的方式来.
关于监控指标的描述，可以参考：http://kafka.apache.org/documentation.html#monitoring
开启JMX端口
修改bin/kafka-server-start.sh，添加JMX_PORT参数，添加后样...
分类：
其他好文 时间：
2015-04-10 18:07:24
阅读次数：
363
1、下载kafka? https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.2.0/kafka_2.10-0.8.2.0.tgz ? ?tar -xzf kafka_2.10-0.8.2.0.tgz ? cd kafka_2.10-0.8.2.0 2、启动服务 ? ? 启动zookeeper服务 启动...
分类：
其他好文 时间：
2015-04-09 17:56:44
阅读次数：
101
最近做日志分析，发现logstash较符合自己的需求，Logstash:做系统log收集，转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助。一般使用shipper作为log收集、indexer作为log转载。Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类：
其他好文 时间：
2015-04-09 17:52:55
阅读次数：
524
Kafka+Storm+HDFS整合实践本文导读：1 前言2 Kafka安装配置3 Storm安装配置4 整合Kafka+Storm5 整合Storm+HDFS6 整合Kafka+Storm+HDFS7 参考链接
分类：
其他好文 时间：
2015-04-08 16:21:02
阅读次数：
127
