INFO BlockManagerMaster: Registered BlockManagerException in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils...
分类：
其他好文 时间：
2015-04-13 18:12:53
阅读次数：
252
##下载解压##
[grid@hadoop4 ~]$ wget http://mirrors.cnnic.cn/apache/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz
[grid@hadoop4 ~]$ tar -zxf apache-flume-1.5.2-bin.tar.gz
[grid@hadoop4 ~]$ mv apache-flu...
分类：
Web程序 时间：
2015-04-12 21:13:34
阅读次数：
151
Kafka——分布式消息系统架构ApacheKafka是2010年12月份开源的项目，采用scala语言编写，使用了多种效率优化机制，整体架构比较新颖（push/pull），更适合异构集群。设计目标：(1) 数据在磁盘上的存取代价为O(1)(2) 高吞吐率，在普通的服务器上每秒也能处理几十万条消息(...
分类：
其他好文 时间：
2015-04-11 13:01:35
阅读次数：
163
我在网上搜了很多资料 说是zookeeper的问题，修改更改server.properties下的host.name,zookeeper.connect的localhost 为ip地址? 怎么也不管用 后来就单独建了一个项目，发现没有问题。结论是jar包冲突，逐个删除...
分类：
其他好文 时间：
2015-04-10 18:13:04
阅读次数：
179
Kafka可以配置使用JMX进行运行状态的监控，既可以通过JDK自带Jconsole来观察结果，也可以通过Java API的方式来.
关于监控指标的描述，可以参考：http://kafka.apache.org/documentation.html#monitoring
开启JMX端口
修改bin/kafka-server-start.sh，添加JMX_PORT参数，添加后样...
分类：
其他好文 时间：
2015-04-10 18:07:24
阅读次数：
363
项目需要C++代码与flume对接，进而将日志写入HDFS。flume原生为java代码，原先的解决方案是通过JNI调用flume java方法。但是由于一来对jni的调用效率的担心，二来C++调用JNI需要照顾local reference和GC的问题，被搞得头痛了。一怒之下，重写代码了，使用C+...
分类：
编程语言 时间：
2015-04-09 19:15:42
阅读次数：
161
1、下载kafka? https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.2.0/kafka_2.10-0.8.2.0.tgz ? ?tar -xzf kafka_2.10-0.8.2.0.tgz ? cd kafka_2.10-0.8.2.0 2、启动服务 ? ? 启动zookeeper服务 启动...
分类：
其他好文 时间：
2015-04-09 17:56:44
阅读次数：
101
最近做日志分析，发现logstash较符合自己的需求，Logstash:做系统log收集，转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助。一般使用shipper作为log收集、indexer作为log转载。Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类：
其他好文 时间：
2015-04-09 17:52:55
阅读次数：
524
基于flume-ng中原有exec的source类型，通过tail依赖于操作系统去监听文件内容变化，其次，不支持断点续传的功能，特此，自行开发了一个组件，大家可以看看，一起探讨：
https://github.com/cwtree/flume-filemonitor-source
望各位不吝指教！...
分类：
Web程序 时间：
2015-04-09 15:32:12
阅读次数：
209
