最近Hue+Solr 方案原型验证有了一些进展。正好也收到了Google的大数据专家Sam的来件询问进展，我答复如下： Sam, 你好。 已经把Kafka＋flume＋solr的实时索引搭建起来了， 现在用实时事件统计的场景在测试数据(当前方案为kafka storm mysql)，solr现在数据... ...
分类：
其他好文 时间：
2016-12-19 21:36:08
阅读次数：
383
坑太多 --写在片首语 看着Kylin官网(http://kylin.apache.org/docs16/tutorial/cube_streaming.html)里的轻描淡写，似乎只要一步步按着它的步骤来做，就可以很快跑通并得到期待的果子 。但，然并卵。。。这次的实践让我很清醒地了解到， 在开源的 ...
分类：
其他好文 时间：
2016-12-18 01:40:49
阅读次数：
488
使用定时器发送后结果如下kafka代码下载Java代码15.安装kafkacd/usr/local/wgethttp://mirror.bit.edu.cn/apache/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgztarxfkafka_2.10-0.10.0.0.tgzln-s/usr/local/kafka_2.10-0.10.0.0/usr/local/kafkachown-Rhdfs:hadoop/usr/local/kafka_..
分类：
编程语言 时间：
2016-12-16 20:16:34
阅读次数：
453
1. hbase sink介绍 1.1 HbaseSink 1.2 AsyncHbaseSink 2. 配置flume 3. 运行测试flume 4. 使用RegexHbaseEventSerializer来处理些HBASE的值 5. 效率测试 1. hbase sink介绍 1.1 HbaseSi ...
分类：
Web程序 时间：
2016-12-16 14:07:02
阅读次数：
413
MQ框架的比较 MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。 第一部分：RabbitMQ,ActiveMq,ZeroMq比较 1、 TPS比较 一 Ze ...
分类：
其他好文 时间：
2016-12-15 14:26:40
阅读次数：
1100
消息中间件MessageQuene 解耦且可扩展：业务复杂度的提升带来的也是耦合度的提高，消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 冗余：有些业务在处理过程中如果失败了，数据在未 ...
分类：
其他好文 时间：
2016-12-15 14:19:32
阅读次数：
203
Kafka源码编译阅读环境搭建开发环境：OracleJava1.7.0_25+Idea+Scala2.10.5+Gradle2.1+Kafka0.9.0.1一、Gradle安装配置Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了，因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——..
分类：
其他好文 时间：
2016-12-14 22:16:03
阅读次数：
3221
消息中间件KafkaKafka它本质上是一个消息系统，不同于传统的企业信息队列系统，它是以近乎实时的方式处理流经一个公司的所有数据，目前已经服务于LinkedIn、Netflix、Uber以及Verizon，并为此建立了实时信息处理平台。应用场景：1.Kafka可以应用于消息系统，比如，当下较为热门..
分类：
其他好文 时间：
2016-12-13 16:38:16
阅读次数：
116
查看kafka/libs 下的库文件，知道kafka的版本号： find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'[root@kafka1 kafka]# find ./libs/ -name \*kafka_\* | h ...
分类：
其他好文 时间：
2016-12-12 19:05:40
阅读次数：
233
背景：Kafka消息总线的建成，使各个系统的数据得以在kafka节点中汇聚，接下来面临的任务是最大化数据的价值，让数据“慧”说话。 环境准备： Kafka服务器*3。 CDH 5.8.3服务器*3，安装Flume,Solr,Hue,HDFS,Zookeeper服务。 Flume提供了可扩展的实时数据 ...
分类：
Web程序 时间：
2016-12-11 03:14:50
阅读次数：
517
