log4j2依赖org.apache.logging.log4jlog4j-web2.4runtimekafka 依赖org.apache.kafkakafka_2.100.8.2.0log4j2.xml123456789192.168.194.110:9092101112131415161718M...
分类：
其他好文 时间：
2015-09-30 19:35:06
阅读次数：
346
一,添加硬盘 1>挂载好新硬盘后输入fdisk -l命令看当前磁盘信息 2>可以看到除了当前的第一块硬盘外还有一块sdb的第二块硬盘，然后用fdisk /dev/sdb 进行分区 3>进入fdisk命令，输入h可以看到该命令的帮助，按n进行...
分类：
其他好文 时间：
2015-09-30 13:07:25
阅读次数：
177
在对消息进行存储和缓存时，Kafka依赖于文件系统。（Page Cache）线性读取和写入是所有使用模式中最具可预计性的一种方式，因而操作系统采用预读（read-ahead）和后写（write-behind）技术对磁盘读写进行探测并优化后效果也不错。预读就是提前将一个比较大的磁盘块中内容读入内存，后...
分类：
其他好文 时间：
2015-09-30 06:24:05
阅读次数：
279
kafka是为分布式环境设计的,因此如果日志文件,其实也可以理解成消息数据库,放在同一个地方,那么必然会带来可用性的下降,一挂全挂,如果全量拷贝到所有的机器上,那么数据又存在过多的冗余,而且由于每台机器的磁盘大小是有限的,所以即使有再多的机器,可处理的消息还是被磁盘所限制,无法超越当前磁盘大小.因此...
分类：
其他好文 时间：
2015-09-30 06:20:50
阅读次数：
426
【ZooKeeper】服务注册、服务发现、客户端负载均衡、Offset偏移量分布式存储。kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）...
分类：
其他好文 时间：
2015-09-30 06:20:11
阅读次数：
247
引言 Kafka中的Message是以topic为基本单位组织的，不同的 topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定 的)，每个partition存储一部分Message...
分类：
其他好文 时间：
2015-09-29 19:07:13
阅读次数：
192
前言: 上周末自己学习了一下Kafka，参考网上的文章，学习过程中还是比较顺利的，遇到的一些问题最终也都解决了，现在将学习的过程记录与此，供以后自己查阅，如果能帮助到其他人，自然是更好的。======================================================.....
分类：
其他好文 时间：
2015-09-29 13:05:32
阅读次数：
279
基本操作 本节将列一下在Kafka集群上的最常用的操作。所有在本节被提到的工作都可以$KAFKA_HOME/bin目录下找到；并且每个工具都会较详细的打印命令的所有可能的选项。 添加和移除Topic 你可以手动创建一个Topic也...
分类：
其他好文 时间：
2015-09-26 16:02:25
阅读次数：
145
sink写入到rabbitmq的实例 package?org.apache.flume;
import?org.apache.flume.conf.Configurable;
import?org.apache.flume.sink.AbstractSink;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory...
分类：
Web程序 时间：
2015-09-25 11:30:11
阅读次数：
340
1.安装jdk。 2.下载解压flume，修改bin/netcat-memory-logger.conf，内容如下： agent1.sources?=?sources1
agent1.channels?=?channels1?
agent1.sinks?=?sinks1
agent1.sources.sources1.type?=?netca...
分类：
Web程序 时间：
2015-09-24 17:54:37
阅读次数：
416
