大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向当前相关的项目有hadoop、Spark、Aaka、kafka、flink等等，使用语言有java、scala、python等等对大数据有兴趣者可以参考王老师提供的相关内容，具体如下：王家林的第一个中国梦：免费为全社会培养...
分类：
其他好文 时间：
2015-11-14 20:39:03
阅读次数：
393
欢迎访问：鲁春利的工作笔记，学习是一种信仰，让时间考验坚持的力量。Kafka主要的shell脚本有[hadoop@nnodekafka0.8.2.1]$ll
总计80
-rwxr-xr-x1hadoophadoop9432015-02-27kafka-console-consumer.sh
-rwxr-xr-x1hadoophadoop9422015-02-27kafka-console-producer.sh
-rwxr-xr..
分类：
系统相关 时间：
2015-11-13 19:14:42
阅读次数：
1196
（转）http://www.cnblogs.com/davidwang456/p/4178056.htmlExploring Message Brokers: RabbitMQ, Kafka, ActiveMQ, and Kestrel--reference[This article was ori...
分类：
其他好文 时间：
2015-11-13 14:37:09
阅读次数：
346
1. 首先启动zookeeper2. 启动kafka3. 核心代码生产者生产消息的java代码，生成要统计的单词package streaming;import java.util.Properties; import kafka.javaapi.producer.Producer; impo...
分类：
编程语言 时间：
2015-11-12 17:56:35
阅读次数：
493
原文：http://www.aboutyun.com/thread-9341-1-1.html 问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存...
分类：
其他好文 时间：
2015-11-11 16:51:26
阅读次数：
308
官网http://kafka.apache.org/多生产者多消费者多topic和多分区多消费者组。每组中消息不能重复消费，组间不影响启动RunKafka(){ cd $kafka_home nohup ./bin/zookeeper-server-start.sh ./config/z...
分类：
其他好文 时间：
2015-11-11 16:13:58
阅读次数：
332
一．平台环境介绍:1．系统信息：项目信息系统版本:Ubuntu14.04.2LTS\n\l用户：*****密码：******Java环境：openjdk-7-jre语言：en_US.UTF-8，en_US:en磁盘：每台vda为系统盘(50G),vdb为数据盘(200G)挂载于/storage目录hcloud15最为DB，第二块磁盘为2000G主机范围：192.168.21.7..
分类：
数据库 时间：
2015-11-10 01:52:59
阅读次数：
1073
介绍 Meta相比于kafka的一个重要特性就是消息高可用方案的实现，我们称之为HA方案。消息在发送到broker之后立即写入磁盘才返回客户端告诉消息生产者消息发送成功，通过unflushThreshold和unflushInterval两个参数...
分类：
Web程序 时间：
2015-11-09 21:06:28
阅读次数：
560
Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费Kakfa特点：解耦：消息系统在处理过程中插入一个隐含、基于数据的接口层。冗余....
分类：
其他好文 时间：
2015-11-09 20:58:24
阅读次数：
440
1、 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2、一个独立的Flume进程称之为Agent,包含组件Source、Channel、Sink SourceFl...
分类：
Web程序 时间：
2015-11-09 20:53:59
阅读次数：
278
